Moment Generationg Function

Moment Generating Function

“我们需要更多的特征来描述分布，例如峰度，偏度，除了常用的平均值，方差，这些特征统一称为矩，那么有没有一个函数能够计算所有矩呢？当然有，矩母函数，你就可以通过微分来计算各种矩，而不是从定义的积分算，你肯定知道微分比积分容易吧！”

「矩」（moment）的实际含义

物理意义

数学中矩的概念来自物理学。在物理学中，矩是表示距离和物理量乘积的物理量，表征物体的空间分布。由其定义，矩通常需要一个参考点（基点或参考系）来定义距离。如力和参考点距离乘积得到的力矩（或扭矩），原则上任何物理量和距离相乘都会产生力矩，质量，电荷分布等。

数学意义

矩是物体形状识别的重要参数指标。在统计学中，矩表征随机量的分布。如一个“二阶矩”在一维上可测量其“宽度”，在更高阶的维度上由于其使用于橢球的空间分布，我们还可以对点的云结构进行测量和描述。其他矩用来描述诸如与均值的偏差分布情况（偏态），或峰值的分布情况（峰态）

定义在实数域的实函数相对于值c的n阶矩为：

$$\mu_n^{\prime}=\int_{-\infty}^{\infty}(x-c)^n f(x) d x$$

如果点表示概率密度，则第零阶矩表示总概率（即1），一阶（原点）矩则表示期望：

$$E(x)=\int_{-\infty}^{\infty} x f(x) d x$$

在方差等定义中，则将期望视作矩的中心，因为中心矩可以更好的体现关于分布形状的信息，而原点矩则体现的是关于原点的分布状况。

$$\operatorname{Var}(x)=\int_{-\infty}^{\infty}[x-E(x)]^2 f(x) d x$$

高阶矩则用作测量一个分布的重尾程度，通常用于金融分析中，比如说极小的概率赔1000w，也极其恐怖。

矩生成函数（moment generating function）

矩生成函数，顾名思义，是用于生成矩的函数。随机变量$X$的矩生成函数定义为：

$$M_X(t)=\mathbb{E}(e^{tx}),\quad t\in R$$

如果 $X$ 具有连续概率密度函数 $f(x)$, 则它的矩生成函数由下式给出:

$$\begin{aligned} M_X(t) & =\int_{-\infty}^{\infty} e^{t x} f(x) \mathrm{d} x \\ & =\int_{-\infty}^{\infty}\left(1+t x+\frac{t^2 x^2}{2!}+\cdots\right) f(x) \mathrm{d} x \\ & =1+t m_1+\frac{t^2 m_2}{2!}+\cdots \end{aligned}$$

其中 $m_i$ 是第 $i$ 个矩。 $M_X(-t)$ 是 $f(x)$ 的双边拉普拉斯变换。

对MGF取n次导数，并令t=0，则可以得到n阶矩$E(x^n)$

$$E\left(X^n\right)=\left.\frac{d^n}{d t^n} M G F_x(t)\right|_{t=0}$$ $$\begin{aligned} & E(X)=\left.\frac{d}{d t} M G F_x(t)\right|_{t=0}=M G F_x^{\prime}(0) \\ & E\left(X^2\right)=\left.\frac{d^2}{d t^2} M G F_x(t)\right|_{t=0}=M G F_x^{\prime \prime}(0) \end{aligned}$$

而求微分肯定比求积分容易，这也就是矩生成函数的意义所在。