Antkillerfarm Hacking V7.0

数学狂想曲(三)——随机变量的特征函数, 概率分布(1)

2016-12-25

随机变量的特征函数

特征函数(Characteristic function)是描述随机变量概率分布的重要工具,其定义如下。

设随机变量X的CDF为\(F_X(x)\),则其特征函数定义为:

\[\varphi_X(t)=E(e^{itX})=\int_{-\infty}^{+\infty}e^{itx}\mathrm{d}F_X(x)\]

其中,\(i=\sqrt{-1}\),并且

\[e^{itx}=\cos(tx)+i\sin(tx)\]

根据上述定义,\(\varphi_X(t)\)是\(F_X(x)\)的傅立叶变换。因此\(\varphi_X(t)\)和\(F_X(x)\)包含相同的信息,且是一一对应的。特别的,若X的PDF \(f_X(x)\)存在,则可通过傅立叶逆变换得到:

\[f_X(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}e^{-itx}\varphi_X(t)\mathrm{d}t\]

特征函数具有连续可微等良好的分析性质,因此对于那些矩母函数(Moment Generating Function,MGF)不存在的分布(如柯西分布和对数正态分布)很有用处。

特征函数本质上不是概率论的内容,而属于函数论的内容。不用傅立叶变换,用拉普拉斯变换、希尔伯特变换等等,也可能产生类似效果,当然具体结论会颇有不同。

概率分布(1)

进入正题之前,先介绍两个函数:贝塔函数和伽马函数。

贝塔函数

\[B(\alpha,\beta)=\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx\]

伽马函数

\[\Gamma(\theta)=\int_{0}^{\infty}x^{\theta-1}e^{-x}dx\]

http://cos.name/2013/01/lda-math-gamma-function/

神奇的Gamma函数

这篇文章对伽马函数的历史由来,讲的比较透彻。

简单来说,伽马函数就是阶乘算子在复数域的扩展。

伽马函数有以下一些性质:

\[\Gamma(x+1)=x\Gamma(x)\] \[\Gamma(n)=(n-1)!,n为整数\] \[{\Gamma(1-x)\Gamma(x)}=\frac{\pi}{\sin(\pi x)},x\in{(0,1)}\] \[\Gamma({1 \over 2})=\sqrt{\pi}\] \[B(m,n) = \frac{\Gamma(m)\Gamma(n)}{\Gamma(m+n)}\]

上式中的B函数,也就是现在的Beta函数。

对Gamma函数的定义做一个变形,就可以得到如下式子:

\[\int_0^{\infty} \frac{x^{\alpha-1}e^{-x}}{\Gamma(\alpha)}dx = 1\]

取积分中的函数作为概率密度,就得到一个形式最简单的Gamma分布的密度函数:

\[Gamma(x|\alpha) = \frac{x^{\alpha-1}e^{-x}}{\Gamma(\alpha)}\]

如果做一个变换\(x=\beta t\),就得到Gamma分布的更一般的形式:

\[Gamma(t|\alpha, \beta) = \frac{\beta^\alpha t^{\alpha-1}e^{-\beta t}}{\Gamma(\alpha)}\]

其中\(\alpha\)称为shape parameter,主要决定了分布曲线的形状; 而\(\beta\)称为rate parameter或者inverse scale parameter(\(1/\beta\)称为scale parameter),主要决定曲线有多陡。

参考:

http://blog.csdn.net/u010945683/article/details/48950063

贝塔、伽马分布

排列组合

排列组合是高中数学的内容,这里仅列出公式,以备参考。

\[P^m_n=\frac{n!}{(n-m)!}\] \[C^m_n=\frac{P^m_n}{m!}=\frac{n!}{m!(n-m)!}\]

\(C^m_n\)有时也被记作\(\binom{n}{m}\),注意这两种表示法的上下标的顺序。

伯努利试验

伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互独立地进行的一种随机试验。其特点是该随机试验只有两种可能结果:发生或者不发生。然后我们假设该项试验独立重复地进行了n次,那么我们就称这一系列重复独立的随机试验为n重伯努利试验,或称为伯努利概型。

n重伯努利试验导出了两个重要的分布。

二项分布

n重伯努利试验中,事件A发生K次的概率是:

\[\Pr(X = k) = \binom n k p^k(1-p)^{n-k}\]

其中,p为单次试验中,事件A发生的概率。

这种分布,被称为二项分布(Binomial Distribution)。特别的,当n=1时,被称为伯努利分布。

几何分布

几何分布(Geometric distribution)有两个定义:

1.在n重伯努利试验中,试验k次才得到第一次成功的概率:

\[\Pr(X = k) = (1-p)^{k-1}\,p\,\]

1.在n重伯努利试验中,第一次成功之前,失败k次的概率:

\[\Pr(Y=k) = (1 - p)^k\,p\,\]

显然\(Y=X-1\)。

二项分布的极限

二项分布实际上有两个极限分布。

如上所述,二项分布有两个参数n和p。

如果p为定值,\(n\to\infty\),则极限分布为正态分布。正态分布的性质参见《图像处理理论(二)》

如果\(p\to 0,n\to\infty\),则极限分布为泊松分布(Poisson distribution)。

泊松分布

泊松分布有两个定义:

定义一:一个随机变量X, 只能取值非负整数(x=0,1,2,…),且相应的概率为\(e^{-\lambda }\frac{\lambda ^x}{x!}\),则称该变量服从poisson分布。

定义二:假定一个事件在一段时间内随机发生,且符合以下条件:

(1)将该时间段无限分隔成若干个小的时间段,在这个接近于零的小时间段里,该事件发生一次的概率与这个极小时间段的长度成正比。

(2)在每一个极小时间段内,该事件发生两次及以上的概率恒等于零。

(3)该事件在不同的小时间段里,发生与否相互独立。

则该事件称为poisson process。

比如,一段时间t内,电话交换站收到的呼叫次数k,就是泊松分布的。很显然,呼叫次数和时间是有关系的,时间越长,呼叫次数越多。反之,\(t\to 0\),则\(k\to 0\)。这正好符合二项分布的泊松极限的定义。

泊松分布的独特之处,还在于它的两个要素t和k,一个是连续型随机变量,另一个是离散型随机变量。无形之中,它成为了这两类变量之间的桥梁。与此相关的数学分支,一般被称为泊松分析。

仍以上面的例子为例,如果反过来,求两次来电的时间间隔t,则t符合指数分布

参考:

https://www.zhihu.com/question/26441147

泊松分布的现实意义是什么,为什么现实生活多数服从于泊松分布?

http://www.ruanyifeng.com/blog/2015/06/poisson-distribution.html

泊松分布和指数分布:10分钟教程

http://blog.csdn.net/kicilove/article/details/78655856

数据科学家应知必会的6种常见概率分布

https://mp.weixin.qq.com/s/PIKvYvXd9PaVHFi_I0U4cw

一文读懂泊松分布,指数分布和伽马分布

https://mp.weixin.qq.com/s/BySEOOgPpTispZi_XBER4w

Poisson过程

贝塔分布和共轭先验分布

\[f(x;\alpha,\beta)=\frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)}\]

贝塔分布的PDF(probability density function)和CDF(cumulative distribution function)如下图所示:

从上图可以看出它是个百变星君,它可以是凹的、凸的、单调上升的、单调下降的;可以是曲线也可以是直线。由于Beta分布能够拟合如此之多的形状,因此它在统计数据拟合中,被广泛使用。

下面来讲一下Beta分布的推导,并引出共轭先验分布的概念。

设一事件A的概率\(p(A)=\theta\),为了估计\(\theta\)的值,作了n次独立观察,其中事件A出现的次数为X。显然X服从二项分布\(X\sim B(n,\theta)\)。

因此:

\[p(X=x\mid \theta)= \binom{n}{x}\theta^{x}(1-\theta)^{n-x}\]

利用贝叶斯公式,我们首先需要确定先验概率\(p(\theta)\)。在未得到其余信息前,我们只能认为\(\theta\)在(0,1)上均匀分布(即\(\theta\sim Uniform(0,1)\)),这是一种不失偏颇的先验估计。

则联合概率分布为:

\[p(x,\theta)=p(x\mid \theta)p(\theta)\]

边缘概率分布:

\[\begin{align}p(x)&=\int_{0}^{1}p(x,\theta)d\theta=\int_{0}^{1}\binom{n}{x}\theta^{x}(1-\theta)^{n-x}d\theta\\ &=\binom{n}{x}B(x+1,n-x+1)=\binom{n}{x}\frac{\Gamma(x+1)\Gamma(n-x+1)}{\Gamma(n+2)}\end{align}\]

综合以上,可得\(\theta\)的后验分布:

\[p(\theta\mid x)=\frac{p(x,\theta)}{p(x)}=\frac{\theta^{(x+1)-1}(1-\theta)^{(n-x+1)-1}}{B(x+1,n-x+1)}\]

因此:\(\theta \mid x\sim Beta(x+1,n-x+1)\)

考虑到\(Uniform(0,1)=Beta(1,1)\),因此在这个例子中,先验分布和后验分布,实际上是同一类型的分布。这种情况被称为共轭先验分布。

上述过程的形式化描述为:

\[Uniform(\theta)+B(n,\theta)\to Beta(x+1,n-x+1)\]

\[先验参数分布+数据分布\to 后验分布\]

定义:设\(\theta\)是某分布中的一个参数,\(\pi(\theta)\)是其先验分布。假如由抽样信息算得的后验分布\(\pi(\theta \mid x)\)与\(\pi(\theta)\)同属于一个分布族,则称\(\pi(\theta)\)是\(\theta\)的共轭先验分布

从这个定义可以看出,共轭先验分布是对某一分布中的参数而言的,离开指定参数及其所在的分布,谈论共轭先验分布是没有意义的。

常见的共轭先验分布:

总体分布 参数 共轭先验分布
二项分布 成功概率 贝塔分布
泊松分布 均值 伽马分布
指数分布 均值倒数 伽马分布
正态分布(方差已知) 均值 正态分布
正态分布(方差未知) 方差 倒伽马分布

共轭先验分布中,由于先验分布和后验分布都是同一个分布族,因此有利于简化计算。同时,先验参数往往会传递到后验分布,这样就能够比较方便的确定参数的实际意义。

参考:

http://blog.csdn.net/u010945683/article/details/49149815

共轭先验分布

https://mp.weixin.qq.com/s/B-yvH8ecirsROfYZ5CcZjg

一文读懂正态分布与贝塔分布

https://mp.weixin.qq.com/s/4uia4ijUUaumc2PNvCEWiw

“共轭分布”是什么?

多项分布和狄利克雷分布

伯努利试验只有两个可能的实验结果,如果实验结果的个数超过2个,那么二项分布就变成了多项分布(multinomial distribution):

\[f(x_1,\ldots,x_k;n,p_1,\ldots,p_k)=\frac{n!}{x_1!\cdots x_k!} p_1^{x_1} \cdots p_k^{x_k}\]

多项分布对应的共轭先验分布是狄利克雷分布(Dirichlet distribution):

\[f \left(x_1,\cdots, x_{K}; \alpha_1,\cdots, \alpha_K \right) = \frac{1}{\mathrm{B}(\boldsymbol\alpha)} \prod_{i=1}^K x_i^{\alpha_i - 1}\tag{1}\]

这里引入向量表示的贝塔函数:

\[\mathrm{B}(\boldsymbol\alpha) = \frac{\prod_{i=1}^K \Gamma(\alpha_i)}{\Gamma\left(\sum_{i=1}^K \alpha_i\right)},\qquad\boldsymbol{\alpha}=(\alpha_1,\cdots,\alpha_K)\]

狄利克雷分布的密度函数如下所示(3维):

上面的图,实际上是个4维图,只不过用一个平面上的三角形代表实验结果的3维而已。这也是一种高维数据可视化的方法。

Fork me on GitHub