《模式识别》试题库

量为?1，?2，证明对于贝叶斯最小错误概率分类器，错误概率分布是

PB????(1/2)dm1exp(?z2/2)dz 2?其中，dm是这两个均值向量之间的马氏距离。该函数是dm的增函数。

提示：对数似然比u?lnp(x|w1)?lnp(x|w2)是一个随机变量，且服从高斯分布：

?122?122???dm,dm?，?x??1；和???,，?x??2。据此计算错误概率。 ?dmdm?22????

4.20．证明假设每个向量都遵循高斯概率密度函数分布，在（2。19）的最大似然概率检测

x??1(?2)if等价于

p?x|?1?l12?p?x|?2??(?)?2

d??2m2m1,x|?1?dm???i2,x|?2?ln???????2ln? ?12这里

d??,x|??是?ii和x之间关于

?矩阵的的马氏距离。

i4.21．如果?1??2??，证明上个问题成为

这里

??2??1??x?????

T?1??ln??12??1???2??

4.22．在二维两类问题中，每一类?1,?2都服从以下分布：

rp?x|?1??rp?x|?2???1rrTrr?exp??2(x??1)?x??1?? 22??1?2?1?1?1rrTrr?exp??2(x??2)?x??2?? 22??2?2?2?1其中

?r1?(1,1)，??(1.5,1.5)T2rT22???，12?0.2假设P(?)?P(?)，设计一个贝叶斯分

12类器，满足

（a） 错误分类概率最小

（b） 具有损失矩阵?的平均风险最小

?01?????

0.50??使用一个伪随机的数值产生器，从每一个类中得到100个特征向量。按照上面的概率密度函数。使用这

T个分类器去分类已经产生的向量。对于每个事例中的错误概率是多少？用?2?(3.0,3.0)重复这个实

r验。

4.23．重复上面的实验，特征向量服从以下分布：

1r?1 p?x|?i??exp??212?2??rr?x??i??T?1?rr?x???

i??而且

?1.010.2?????

0.21.01??T2并且

?1??1,1?，???1.5,1.5?

T提示：一个高斯随机向量的线性变换仍然是一个高斯随机向量。注意

?1.010.2??10.1??10.1??0.21.01???0.11??0.11? ???????1.10.3?4.24．二维两类问题，假设两类服从同一正态分布，其协方差矩阵为????，均值

?0.31.9?rrr向量分别为?1?(0,0)T,?2?(3,3)T。试用贝叶斯分类器对向量x?(1.0,2.2)T进行分类。

4.25．假设在两类一维问题中p?x|?1?服从高斯分布?(?,?2)，p?x|?2?服从a到b之间的

?b????a????G均匀分布。证明贝叶斯错误概率的上限为G?其中G?x??P?y?x?，???，

??????并且y服从高斯N(0,1)分布。

r?ln(p(xk;?))r4.26．证明随机向量的均值是0。 ??r4.27．在掷硬币的游戏实验中，正面（1）出现的概率是q，反面出现的概率是（1-q）。设xi，i=1,2,…，

N是这个实验的结果，xi??0,1?，证明q 的最大似然估计是

提示：

似然函数是：

1?qMLN?x

i?1iN

P(X;q)??qi?1Nxi?1?q?ii?1?x?i

证明ML结果是下列方程的解

q?ixi?1?q??N??x???ixi???qN??ixi???0? ?1?q?4.28．随机变量x服从高斯N??,?2?分布，?未知。给定该变量的N个观测值，设L（?）

为?的对数似然函数：L(?)?ln(p(x;?))。试求该随机变量的Cramer-Rao界：

?2L?????E??2?。将该结果与?的ML估计值的方差进行比较，有何结论？假如这个未??????知参数是方差?，结论又如何？。

24.29．证明假如似然函数是高斯函数有未知的均值?，和协方差矩阵?，然后ML估计如下给出

1??N:?xk?1Nk

T

1??N::????xk????xk???k?1?N?????:

4.30．随机变量x 服从Erlang分布，概率密度函数为

p?x;????2xexp???x?u?x? 其中u(x)是一个阶跃函数

?1 u?x????0, x?0, x?0

假设x的N个观测值x1，…，xN ，证明?的最大似然估计为

??ML?2N?k?1xkN

4.31．随机变量x是服从正态分布?(?,?)，其中未知参数?服从Rayleigh分布，其概率

密度函数为

2?exp(??2/2??) p???? 2??2试证明?的最大后验概率估计为

?MAP? ?Z(1?1?4R/Z2) 2R其中，

Z?1?2?xk?1Nk, R?N2???12

?4.32. 证明对于对数正态分布

2??(lnx??)1?,x?0 exp?? p(x)?2??2??x2???最大似然估计为

?? ML1?N???lnxk?1Nk

4.33．若已知一个随机变量x的均值和方差：

???xp(x)dx，

?? ?2??(x??)2p(x)dx

????试证明，该随机变量概率密度函数的最大熵估计服从高斯分布N(?,?2)

4.34．P为一个随机点x位于某区间h的概率。给定x的N个观测值，其中有k个落入区