多元正态分布参数估计学习

多元正态分布及其参数估计

主要介绍多元正态分布，其原因是多元统计分析的主要方法是建立在多元正态分布的假设之上的。尽管实际分析数据可能不会严格服从多元正态分布的，但有三个原因使多元正态分布在实际中有着广泛的应用：一是，正态分布在许多情况下确实能作为真实总体的一个近似；二是，根据中心极限定理，不论总体的分布如何，许多统计量的分布是近似正态分布的；三是，很多检验统计量的分布对正态分布条件是稳健的，即原始资料对正态的偏离对检验结果影响不大。

一、多元正态分布密度函数

若p维随机向量X?X1,X2?Xp的概率密度函数为

???f?x1,?xp??1?2??p?1???1????exp?X???X???? 1?2??2其中?是p维向量，?是p阶正定矩阵，则称X?X1,X2?Xp服从p维正态分布，简记为X~Np??,??

多元正态随机向量具有以下的性质：

1、若X~Np??,??，其协差阵?是对角阵，则X?X1,X2?Xp的各分量是相互独立的随机变量。

2、多元正态分布随机向量的任何一个分量子集的分布仍然服从正态分布。

3、多元正态分布随机向量X?X1,X2?Xp的任意线性变换仍然是服从多元正态分布。若X~Np??,??，令Y?AX，A为p阶方阵，则Y~Np?A?,A?A??

二、多元正态分布的数字特征

根据证明，若X~Np??,??，则E?X????????????D?X???，即?恰好是多维随机向量

X的均值向量，?恰好是多维随机向量X的协差阵。

??1?????2?其中???????????p???11?12??1p?????21?22??2p????

???????????p1?p2??pp?三、多元正态分布的参数估计

在实际应用中，多元正态分布中的均值向量?和协差阵?通常是未知的，需要由样本资料来估计，而参数估计的方法很多，这里用最常见的最大似然估计法给出估计量，用样本均值向量估计总体均值向量，用样本协差阵估计总体协差阵。

一般情况下，从多元正态总体中按照随机原则，抽取容量为n的样本（样本的定义见下面），则资料阵为

?x11??x21X?????x?n1x12x22?xn2?x1p??X??1???????x2p?X??2?????X,X,?,X?12p??? ??????????xnp??X??n??设每个样品是相互独立的，则利用最大似然估计可求出

1n??X??X?i??ni?1?n???xi1??i?1?n?1??xi2?? ?i?1n????n??x???ip??i?1?1n?? ??????X?XX?X??i??i?n?1i?1?n2???xi1?X1??i?1?1??n?1????????xi?1ni2?X2?2?????Xx?Xi11ipp?i?1?n????xi2?X2??xip?Xp?? i?1????n2???x?X?ipp?i?1????xn?分别是?,?的无偏估计。 ?,?根据数理统计的证明?

样本

在统计上，对多维随机向量的研究和对一维随机变量的研究是一样的，要通过样本资料来推断总体的，为此，针对样本情况下，多维随机向量的表示形式可如下进行。

如对于某个容量为n的样本资料，实际上就是对p个随机变量X1,X2,?,Xp进行n次观察，所得数据形式如下：

?x11??x21X?????x?n1x12x22?xn2?x1p??X1?????x2p??X2??

????????????xnp???Xn?我们常把每一次观察（对向量的一次观察）叫做一个样品。

附录：

clear all;

load tempdata;

sigma=tempdata.sigma; n=length(sigma); mu=zeros(1,n);

data=mvnrnd ( mu, sigma, 1000 );

mean=sum(data)./1000;%对均值向量的参数估计

%对协方差矩阵进行参数估计 mean=ones(1000,1)*mean;

cov=((data-mean)'*(data-mean))./(1000-1);

%拟合效果比较，还不错。误差在0.1之内 error=cov-sigma;