一非参数经验贝叶斯估计共57页文档

发布时间:2021-09-21 08:20:21

第3.4节 经验贝叶斯估计
一、非参数经验贝叶斯估计 二、参数经验贝叶斯估计

0、背景与意义
贝叶斯估计存在的问题:先验分布的确定
如何客观地确定先验分布?
根据历史资料数据(即经验)确定该问题的先 验分布,其对应的贝叶斯估计称为经验贝叶斯估计. 该方法是由Robbins在1955年提出的.
经验贝叶斯估计分类(共两类)
非参数经验贝叶斯估计 参数经验贝叶斯估计

一、非参数经验贝叶斯估计
1、问题引入 例1(p109例3.20) 设 随 机 变 量 X 服 从 泊 松 分 布 ,

p (x|?)? ?xe? x, (x?0 ,1 ,2 , ;??0 )
? ? x!
设 参 数 的 先 验 分 布 为 G ( ) , 则 X 的 边 缘 分 布 为

? e ? ?? xx

? ? m G (x )?0

d G (), x !

(x? 0 ,1 ,2 , )

? ? 对 于 先 验 分 布 G (),在 * 方 损 失 下 , 可 求 得 的

贝 叶 斯 估 计 为

???p(?| x)dG(x)

? dG(x)

?E(?|

x)?

0
??p(?|

x)dG(x)

?0

?1 ?? ? x?1e?? dG ( x )
? x! 0
?1 ?? ? xe?? dG ( x )
x! 0 ? (x?1)mG(x?1)
mG(x)

如果先验分布 G(x)未知,该 如何计算?

2、经验贝叶斯决策函数 当先验分布未知时,如何利用历史资料(经验资
料)(X1,X2, ,Xn)T的信息得到最优贝叶斯估计? 定义3.11 任 何 同 时 依 赖 于 历 史 样 本 ( X 1 ,X 2 ,,X n ) T 和 当 前 样 本 X 的 决 策 函 数 d n ? d n ( X | X 1 ,, X n ) 称 为 经 验 贝 叶 斯 决 策 函 数
如 何 计 算 经 验 贝 叶 斯 估 计 d n ? d n ( X |X 1 ,, X n )

经 验 贝 叶 斯 估 计 d n ? d n ( X | X 1 ,, X n ) 的 计 算 方 法 :
( 1 ) 根 据 贝 叶 斯 估 计 风 险 函 数 的 定 义 可 知 d n ? d n (X |X 1 , ,X n ) 的 风 险 为
R G (dn|X 1, ,X n)
? ? ?? [? L (?,dn(x|x1,x2, xn)p(x|?)dx]dG (?)
注 : 此 结 果 包 含 了 X 1 ,X n , 而 X 1 ,X n 为 随 机 变 量 ,
因 而 , 该 风 险 仍 包 含 有 随 机 性 , 需 要 对 此 风 险 再 求 一 次 期 望 , 即

(2)计 算 期 望 , 可 得 R G *(dn)?E (R G (dn|X 1, ,X n))
? ?R G (dn|X 1, ,X n)m G (x 1,x2, ,xn)d x 1d x2 d xn
使得上式达到最小的决策函数为经验贝叶斯决策函数
定义 渐*最优贝叶斯决策函数
? ? 设 F * 为 先 验 分 布 族 , 参 数 的 先 验 分 布 为 G ( ) , 若
对 于 任 何 G (?)? F *,有
? lni? m ?RG *(dn)?RG(dG)
则 称 d n 为 渐 * 最 优 经 验 贝 叶 斯 决 策 函 数 , 若 d n 为 的 估 计 , 则 d n 为 渐 * 最 优 经 验 贝 叶 斯 估 计 .

例2(续例p109例3.20)
? 在 先 验 分 布 G () 未 知 时 , 如 何 计 算
dG(x)?(x?1m )m G(Gx()x?1)
由 于 历 史 样 本 X 1 , X 2 ,X n 均 是 从 分 布 m G ( x ) 中 抽 取 的 独 立 样 本 , 故 由 这 些 样 本 可 以 对 m G ( x ) 估 计 , 根 据 泊 松 分 布 特 性 可 以 得 到 m G (x )的 估 计 为
m ? G ( x 1 ,x 2 , ,x n ,x ) ? n 1 ? 1 { ( x 1 ,x 2 , ,x n 中 等 于 x 的 个 数 ) ? 1 }

用 m ? G ( x 1 , x 2 ,, x n , x ) 代 替 m G ( x ) , 可 得 其 经 验 贝 叶 斯 估 计 量 为 dn(X |X 1,X 2, ,X n)?(X ? m 1 ?)G m ?(G X (X )? 1 )
例3(p110例3.21) 设 随 机 变 量 X 的 分 布 密 度 为

p(x|?)?

1

?(x??)2
e2

? ?2? 的 先 验 分 布 为 G ( ) , ? ? ( a , b ) ? ( ? ? , ? ? ) . 在 * 方 损 失 下 ,

?的 贝 叶 斯 估 计 为

dG(x)

?

x

?

mG' ( mG(

x) x)

由 于 密 度 函 数 比 较 难 估 计 , 我 们 可 以 选 用 非 参 数 密 度
估 计 法 ( 如 核 估 计 , 最 * 邻 密 度 估 计 ) , 得 到 m ? G ( x )
? 于 是 可 以 得 到 的 经 验 贝 叶 斯 估 计 为
dn(X|X1,X2, ,Xn)?X?m m ??G G ' ((X X))
由这两个例子可以看到,经验贝叶斯估计一方面依赖
贝叶斯估计理论,同时也依赖于非参数估计方法。

二、参数经验贝叶斯估计

? 定理4.1 设 f () 为 任 一 固 定 的 函 数 , 满 足 条 件

(1)f(?)?0,?? ? ,

(2)0??? gn(t|?)f(?)d ???



Df ?{??g gn n((tt||??))ff((??))d?: n?1,2, }

是共轭先验分布族,其中

n
? ?? ? q (x| )? p (x i| )? g n (t| )h (x 1 ,x 2 , ,x n )

i? 1

例4(p126例4.10) 设 (X 1 ,X 2 , ,X n )T 是 来 自 总 体
B(1,?)的一个样本,试寻求?的共轭先验分布?

解 其似然函数为

n

n

? ? ? ? ? ? n
q(x| )?

xi(1?)1?xi ?? i? 1xii(1?)n?? i? 1xi

i? 1
? ? ? ?n x(1 ?)n ? n x? g n (t| )1 ,
??? ? 其 中 g n ( t |) ? t( 1 ? ) n ? t , 选 取 f () ? 1 , 则

? D f ?{1? ?tt((1 1? ? ? ?))n n ? ? ttd ?:n?1 ,2, ,t?0,1 ,2, } 0

显然此共轭分布族为?分布的子族,因而,两点 分布的共轭先验分布族为?分布.
常见共轭先验分布

总体分布

参数

共轭先验分布

二项分布

成功概率p

?分布?(?,?)

泊松分布

均值?

?分布?(??)

指数分布

均值的倒数?

?分布?(??)

正态分布 (方差已知)
正态分布(均 值已知)

均值? 方差??

正态分布N(?,??) 倒?分布

二、参数经验贝叶斯估计
1、贝叶斯风险的定义 由第一小节内容可知,给定损失函数以后,风 险函数定义为
? ? ? ? R (,d ) ? E ?( L (,d ( X ) ) ? ? ? L (,d ( x ) ) q ( x |) d x
此积分仍为?的函数,在给定?的先验分布?(?)时,定义
R (d )? E ?(R (?,d ))? ?? R (?,d )π (?)d ?
为决策函数d在给定先验分布?(?)下的贝叶斯风险,简 称为d的贝叶斯风险.

2、贝叶斯风险的计算 当X与?都是连续性随机变量时,贝叶斯风险为
R (d )? E (R (?,d ))? ?? R (?,d )π (?)d ?
? ?? ?? L (?,d (x ))q (x|?)π (?)d x d ?
? ?? ?? L (?,d (x ))h (?|x )g (x )d x d ?
? ?? g (x ){?? L (?,d (x ))h (?|x )d ?} d x

当X与?都是离散型随机变量时,贝叶斯风险为
R (d)?E (R (?,d))

??g(x){?L(?,d(x))h(?|x)}

x

?

注 由上述计算可以看出,贝叶斯风险为计算两次 期望值得到,即

R (d )? E (E ?(L (?,d (X )))

此风险大小只与决策函数d有关,而不再依赖 参数?. 因此以此来衡量决策函数优良性更合理

1、贝叶斯点估计
定义4.6 若总体X的分布函数F(x,?)中参数?为随机 变量,?(?)为?的先验分布,若决策函数类D中存在 一个决策函数使得对决策函数类中的任一决策函数 均有
R (d*)?infR (d), ? d? D d? D
? 则 称 d * ( X ) 为 参 数 的 贝 叶 斯 估 计 量

注 1、贝叶斯估计是使贝叶斯风险达到最小的决策 函数.
2、不同的先验分布,对应不同的贝叶斯估计

2、贝叶斯点估计的计算 *方损失下的贝叶斯估计

定理4.2

设?的先验分布为?(?)和损失函数为
L(?,d)?(??d)2

则?的贝叶斯估计为
d * (x )? E (?|X ? x )? ?? ?h (?|x )d ?
? ? 其 中 h (|x ) 为 参 数 的 后 验 分 布 .

证 首先对贝叶斯风险做变换
? ?? ? ? m i n R ( d ) ? m i n m ( x ) {[? d ( x ) ] 2 h (|x ) d } d x ??
? m a x a .s?? [?? d (x )]2h (?|x )d ?
又因为
??[??d(x)]2h(?|x)d?
???[??E(?|x)?E(?|x)?d(x)]2h(?|x)d?
??? [??E (?|x )]2h (?|x )d ?? ?? [E (?|x )? d (x )]2h (?|x )d ? ? 2 ?? [??E (?|x )][E (?|x )? d (x )]h (?|x )d ?

又因为 E(?|x)????h(?|x)d? 则
? ? ? ? ? ?? [? E (|x ) ] [E (|x )? d (x ) ] h (|x ) d
? ? ? ? ? ? [E (|x )? d (x ) ] ?? [? E (|x ) ] h (|x ) d
? ? ? ? [ E (|x ) ? d ( x ) ] [ E (|x ) ? E (|x ) ] ? 0
? 因而 [? ? d(x)]2h(? | x)d? ?
?? [? ? E(? | x)]2h(? | x)d? ?
? ? ? [E(? | x) ? d(x)]2h(? | x)d?
显 然 , 当 d ?* ( x ) ? E (|x ) a . s 时 , R ( d ) 达 到 最 小 .

定理4.3 设?的先验分布为?(?)和损失函数为加 权*方损失
L(?,d)??(?)(??d)2
则?的贝叶斯估计为
d*(x)? E(?(?)?| x) E(?(?)| x)
证明略,此证明定理4.2的证明类似.

定理4.4 设参数?为随机向量,先验分布为?(?) 和损失函数为二次损失函数
L (?,d)?(d??)TQ (d??)

其中Q为正定矩阵,则?的贝叶斯估计为后验分布

h(?|x)的均值向量,即
d*(x) ? E(? | x)

?

??E(?1
?

|

x)

? ? ?

??E(?p | x)??

??? ? 其 中 参 数 向 量 为 ? (1 ,2 , ,p ) .

注 定理表明,正定二次损失下,?的贝叶斯估计

不受正定矩阵Q的选取干扰,表现出其稳健性.

证 在二次损失下,任一个决策函数向量d(x)=
( d 1 ( x ) ,d 2 ( x ) , ,d n ( x ) ) T 的 后 验 风 险 为
E [(d??)TQ (d??)|x]
? ? ? E [ ( ( d ? d * ) ? ( d * ? ) ) T Q ( ( d ? d * ) ? ( d * ? ) ) |x ]
? 又 由 于 E (d *?|x )? 0 ,因 而
E [(d??)TQ (d??)|x]
? ? ? ( d ? d * ) T Q ( d ? d * ) ? E [ ( d * ? ) T Q ( d * ? ) |x ]
其中第二项为常数,而第一项非负,因而只需当
d? d * (x )时 , 风 险 达 到 最 小 .

定义4.7 设d=d(x)为决策函数类D中任一决策函数,
损失函数为L(?,d(x)),则L(?,d(x)),对后验分布h(?|x)的
数学期望称为后验风险,记为
R (d|x )? E [L (?,d (x ))] ?? ? ? ? ?? ?? i L L ((??,id ,d ((xx )))h )h (?(?|ix |)xd)x , , ??为 为 离 连 散 续 型 型 随 随 机 机 变 变 量 量 . ,
注 如果存在一个决策函数,使得
R (d*|x )?in fR (d|x ), ? d? D d
则称此决策为后验风险准则下的最优决策函数,或称 为贝叶斯(后验型)决策函数。

定理4.5 对给定的统计决策问题(包含先验分布给 定的情形)和决策函数类D,当贝叶斯风险满足如下条
件:
infR(d)?? , ? d?D d
则 贝 叶 斯 决 策 函 数 d*(x )与 贝 叶 斯 后 验 型 决 策 函 数 d* *(x )是 等 价 的 .
证明从略
定理表明:如果决策函数使得贝叶斯风险最小, 此决策函数也使得后验风险最小,反之,也成立.

定理4.6 设?的先验分布为?(?)和损失函数为

L(?,d)?|d??|,
则?的贝叶斯估计为
? d * ( x )? { 后 验 分 布 h (|x ) 的 中 位 数 }

证 设m为h(?|x)的中位数,又设d=d(x)为?的另一

估计,为确定期间,先设d>m,由绝对损失函数的定

义可得

?m?d,

??m,

L(?,m)?L(?,d)?? ?2??(m?d), m???d,

? ?d?m,

??d,

又由于
? ? 当 m ? ? d 时 , 2 ? ( m ? d ) ? 2 d ? ( m ? d ) ? d ? m

则 L (?,m )?L (?,d)?? ? ?d m ? ? m d,,

??m , ??m ,

由于m是中位数,因而

P {??m |x}?1, P {??m |x}?1,

2

2

则有

? ? R ( m |x ) ? R ( d |x ) ? E ( L ( , m ) ? L ( , d ) |x ) ? ? ? ( m ? d ) P { ? m |x } ? ( d ? m ) P { ? m |x }

?(m?d)1?(d?m)1?0

2

2

于是,当d>m时

R (m |x)?R (d|x)

同理可证,当d<m时 R (m |x)?R (d|x)

? 因而 d * ( x ) ? m ? { 后 验 分 布 h (|x ) 的 中 位 数 }

定理4.7 设?的先验分布为?(?)和损失函数为
L(?,d)????kk10((d????d)),,dd????,,
则?的贝叶斯估计为
? d * (x )? {后 验 分 布 h (|x )的 k 1k ? 1 k 0上 侧 分 位 数 }
证 首先计算任一决策函数d(x)的后验风险
? ? ? ? ?
? R ( d |x ) ? E [ L (,d ( x ) ) ] ?L (,d ( x ) ) h (|x ) d x ? ?

?? ? ? d

? ?

? ? ? ? ? k 1 ( d ? ) h (|x ) d x ? dk 0 (? d ) h (|x ) d x

?? ? d
? ? ( k 1 ? k 0 )? ? ( d ? ) h (|x ) d x ? k 0 ( E (|x )? d )

为了得到R(d|x)的极小值,关于等式两边求导:

? R d (d (d |)x)?(k1?k0)? d ?h (?|x)dx?k0?0

? ? ? ? 即 dh (|x )d x?k 0 ? ? ? h (|x )d x?k 1

? ?

k 1? k 0 d

k 1? k 0

? 则 d * (x )? {后 验 分 布 h (|x )的 k 1k ? 1 k 0上 侧 分 位 数 }

例5(p131 例4.11) 设总体X服从两点分布B(1,p), 其中参数p未知,而p在[0,1]上服从均匀分布,样本 ( X 1 , X 2 ,, X n ) 来 自 总 体 X , 损 失 函 数 为 * 方 损 失 , 试求参数p的贝叶斯估计与贝叶斯风险?

解 *方损失下的贝叶斯估计为:

? d * (x )? E (p |X ? x )?p h (p |x )d p ?


q(x|p)π(p) q(x|p)π(p)

? h(p|x)? m (x)

?1 q(x|p)π(p)dp

0

n

n

n

n

?xi

? n? xi

?xi

? n? xi

pi?1 (1?p) i?1 1

pi?1 (1?p) i?1

?n

n

?n

n

? ? ? ? 1

xi

? n? xi

pi?1 (1?p) i?1 1dp

( xi ?1,n?1? xi)

?0

i?1

i?1

? ? 其 中 ( a ,b )?1x a ? 1 (1 ? x )b ? 1 d x? ? (a )? (b ),则

0

n

n

? (a ? b )

?xi

? n? xi

pi?1 (1? p) i?1 ?(n?2)

h(p| x)? n

n

?(?xi ?1)?(n?1??xi)

i?1

i?1

n

n

? xi

? n? xi

p i?1 (1? p) i?1 (n ? 1)!

?

n

n

(? xi )!(n ? ? xi )!

i ?1

i ?1

? d*(x)? ph(p|x)dp ?

n

n

(n?1)!

? 1

xi?1

? n? xi

?n

n

? pi?1 (1?p) i?1 dp 0

(?xi)!(n??xi)!

i?1

i?1

n

n

? ? ? ? ? (

n

(n?1)!
n
xi)!(n?

( xi ?1)!(n? xi)!

i?1

i?1

xi)!

(n?2)!

i?1

i?1

n
? xi ? 1
? i?1 n?2

其贝叶斯风险为

? R (p ?)? E ?( R (,d ) )? ?? E [ L (p ,d )|p ] π (p ) d p

n

? ? 1E(p ??p)2dp? 1E(i?1xi ?1?p)2dp

? ? 0

0 n?2

? ? 1
?(n?2)2

0 1E (nxi?1?(n?2)p)2dp i? 1

n

? E( xi ?1?(n?2)p)2

i?1n

n

? ? ? E ( x i)2? 2 ( 1 ? (n ? 2 )p )E ( x i)? ( 1 ? (n ? 2 )p )2

i? 1

i? 1

又因为

n
(? xi ) B(n, p)

i ?1

n

n

? ? 则 Ex i?n p ,E ( x i)2?n p (1 ?p )?(n p )2

n i? 1

i? 1

? E ( x i? 1 ? (n ? 2 )p )2? n p (1 ?p )? (1 ? 2 p )2

i? 1

? 所以

R (p ?)?(n? 12)2

1np(1?p)?(1?2p)2dp
0

1 4?n n?4

1

?(n?2)2( 3 ? 2 ?1)? 6 ( n ? 2 )

而 p 的 最 大 似 然 估 计 为 X ,其 贝 叶 斯 风 险 为 1 ?1 6 n6 n ? 2

例6(p133 例4.12) 设总体X服从正态分布N(?,1), 其中参数?未知,而?服从标准正态布在N(0,1),样本 ( X 1 , X 2 ,, X n ) 来 自 总 体 X , 损 失 函 数 为 * 方 损 失 , 试求参数?的贝叶斯估计?
解 *方损失下的贝叶斯估计为:
d * (x )? E (?|X ? x )? ?? ?h (?|x )d ?

h (?|x)?q(xm |? (x )π )(?)??? ? ? ? q q ((x x||? ?))π π ((? ?))d?

? ? ? ?

(
??
??(

21?)nexp{?1 2i? n1(xi ??)2} 21?)nexp{?1 2i? n1(xi ??)2}

1 exp{?1?2} 2? 2 1 exp{?1?2}d? 2? 2

? ? ? ? (

( 2?1)n?1exp{?1 2[i? n1xi2?(n?1)?2?2?nx]} 2?1)n?1exp{?1 2i? n1xi2}??? ?exp{?1 2[(n?1)?2?2?nx]}d?

? ? ? (

(

1

1n

exp{? [

2?)n?1

2 i?1

xi2?(n?1)?2?2?nx]}

21?)nexp{?12i? n1 xi2}exp{?2(nn? 2 1)(x)2}(n1?1)2

化简
得h (?|x )?(n 2 ? ?1 )1 2ex p {?n 2 ? 1 (??n n ? x 1 )2}

d*(x)?? ?????h(?|x)d?

? n ? 11
? ? ? ?( )2

? ?

n ? 1

ex p {? (

?n x)2}d

? 2 ? ?

2 n ? 1

? nx 1 n

?? n?1 n?1i?1

xi

?x

其 贝 叶 斯 风 险 为 1?R (x )?D (X )?1

n ? 1

nn

例7(p134 例4.13) 设总体X服从均匀分布U(0,?),
其中参数?未知,而?服从pareto分布,其分布函数与
密度函数分别为
F (?)? 1 ? (? ?0)?,?? ?0 , ?(?)? ? ?? ?? 0 ? 1,?? ?0 ,
?? ? ? 其 中 0 ? ? 1 , 和 0 ? 0 为 已 知 , 该 分 布 记 为 P a ( ,0 ) ,
? ?? ? ? 的 数 学 期 望 为 E ()?? 0 1 ,(X 1 ,X 2 , ,X n ) 来 自
总 体 X , 损 失 函 数 为 绝 对 值 损 失 和 * 方 损 失 时 ,
试求参数?的贝叶斯估计?



h(?|x)?q(xm |?(x )π )(?)??? ? ? ? q q((x x||??))π π ((??))d?

? ? ? ? ??? 1?((ii? n ? n1 1??1 1 ?))?? ?? ?0??? ??? 0 ? ? 0 ? 1 1d???? 1???? ?n n?? ??? ? 0 ? 0 ? ? ?1 1d?(?1?m ax{x1,

,xn,?0})

?

?n???1 ??0?

?(???nn??)??11n?? , (???1)

? ?? (??n)?1n??
显 然 h (|x ) 仍 为 p a r e t o 分 布 P a (? n ,1 ) .

根据定理4.6可知,绝对值损失对应的贝叶斯估计为 后验分布的中位数,即

F(?B)?1?(??B 1 )??n

?1 2



d*(x)

???B

?

1
2??n?1

根据定理4.4可知,*方损失对应的贝叶斯估计为

后验分布的均值,即

?? ? ?? ? ? d * (x )? ? ??? ? n n ? 1 1 ?? ? n n ? 1 m a x { x 1 , ,x n ,0 }

例8(p135 例4.14) 设总体X服从伽玛分布?(r,?),
? ? ? 其 中 参 数 r 已 知 ,的 先 验 分 布 为 ? (,) , ( X 1 , X 2 ,,
X n ) 来 自 总 体 X , 损 失 函 数 取 * 方 损 失 和 损 失 函 数
L(?,d)??2(d?1)2 ?
试求参数?的贝叶斯估计?
? ? 解 由 于 E (X )? r,因 此 , 人 们 更 感 兴 趣 - 1 估 计 ,
?的 后 验 分 布 为
h(?|x)?q(xm |?(x )π )(?)??0 ?? q q((x x||??))π π ((??))d?

? ? ? ?

? n

r

i?1

?(r)

x e r?1 ??xi i

? ??
0

n i?1

r

?(r)

x e r?1 ??xi i

?? ???1e??? ?(?)
?? ???1e???d? ?(?)

n

? e ? nr ?? ?1

?? ( xi ? ? )
i ?1

?

n

? ? ? e ? d ??

nr ?? ?1

?? ( xi ? ? )
i ?1

0

n

? ? ( xi ? )??nr
? ? i?1

n

e ? nr???1

??( xi??)
i?1

?(??nr)

? 则 - 1 在 * 方 损 失 下 的 贝 叶 斯 估 计 为

d*(x)????1?E (??1|x)

n

? ? ( xi ? )??nr
? ? ? i?1

n

1 e ? d ??

nr???1

??( xi??)
i?1

? ? ? ?( ?nr) 0

n

n

? ? ( xi ??)??nr
? i?1
? ?(??nr)

(

?(??nr?1)
n
? xi ? )??nr?1

xi ??
? i?1
??nr?1

i?1

由 定 理 4.3可 知 , ?- 1在 L (?,d)??2(d??1)2下 的 贝
叶 斯 估 计 为

d*(x)???-1 ?E(E?(2??2?|1x|)x)

n

? ( xi ? ? )??nr

i ?1

? ?

?(? ? nr)
n

n

? ? e ? d? ??

nr ?? ?1

?? ( xi ?? )
i?1

0

? ( xi ? ? )??nr i ?1 ? ?(? ? nr)

n

? ? e ? d? ?? 2

nr ?? ?1

?? ( xi ?? )
i?1

0

n

? ? ? e ? d ??

nr ??

?? ( xi ? ? )
i ?1

?0

n

? ? ? e ? d ??

nr ?? ?1

?? ( xi ?? )
i ?1

0

n

n

? ? ? ( xi ? )??nr?2
? i?1
? ?(??nr?2)

(

?(??nr?1)
n
? xi ? )??nr?1

xi ??
? i?1
??nr?1

i?1

? ?? ?? ?n nrr? ?1 1.??n 1r?1(i? n1xi??)

3、贝叶斯估计的误差

在计算?的估计时,用到了?的后验分布,因此考 察估计值与真实值之间的误差时,也应考虑?的后验分 布,误差定义如下:

定义4.8 参数?的后验分布为h(?|x),其贝叶斯估计
? ?? 为 ? , 则 (??)2 的 后 验 期 望 为

? ? M S E (??-?)2?E ?|x(??-?)2

1

称 其 为 ? 的 后 验 均 方 差 , 而 其 * 方 根 [ M S E (?|x ) ] 2

称 为 后 验 标 准 误 差 , 其 中 符 号 E ?|x 表 示 对 条 件 分 布

h (?|x )求 期 望 。

后验均方差与后验方差的关系
? ? 1 、 当 ?? E (|x ) 时 , 则 均 方 误 差 为 ? ? ? ? M S E ( ? |x ) ? E ?|x ( E (|x ) -) 2 ? v a r (|x )
? ? 2 、 当 ?? E (|x )时 , 则 均 方 误 差 达 到 最 小 , 因 ? 而 后 验 均 值 E (|x )是 较 好 的 贝 叶 斯 估 计 .这 是 因 为
? ?? ? ? M S E ( ? |x ) ? E ? |x ( ( ? ? E (|x ) - ( E (|x ) ? ) ) 2
? ? ? ? E ?|x (?? E (|x )2? v a r (|x )
? ? ? ? ? ( ? ? E (|x ) 2 ? v a r (|x ) ? v a r (|x )

后验均方差与后验方差的优点
1、二者只依赖与样本,不依赖参数?.
2、二者的计算不依赖与统计量的分布,即抽 样分布
3、贝叶斯估计不考虑无偏性,因为贝叶斯估计 只考虑出现的样本,不考虑没出现的样本.

4、贝叶斯区间估计
? ? 定义 当 为 连 续 型 随 机 变 量 时 , 给 定 1 - , 当
P {a? ?? b|x }? 1 - ?,
? 则 称 区 间 [ a , b ] 为 参 数 的 贝 叶 斯 区 间 估 计 . ? ? 定义 当 为 离 散 型 随 机 变 量 时 , 给 定 1 - , 当
P {a? ?? b|x }? 1 - ?,
? 则 称 区 间 [ a , b ] 为 参 数 的 贝 叶 斯 区 间 估 计 .

定义4.9 设参数?的后验分布为h(?|x),对给定的
?? 样 本 X ? ( X 1 , X 2 ,, X n ) T 和 概 率 1 - ( 0 ? ? 1 ) , 若 ?? ?? 存 在 两 个 统 计 量 , ? L ? ? L ( X ) 和 ? U ? ? U ( X ) , 使 得
P {??L?????U|x}?1??
?? ? ? 则 称 区 间 [ ? L , ? U ] 为 参 数 的 置 信 度 为 1 ? 的 贝 叶 斯
?? 置 信 区 间 , 或 简 称 为 的 1 ? 的 可 信 区 间 , 而 满 足
?? ? ??? P { ? ? L | x } ? 1 ? 的 ? L 为 的 1 ? 单 侧 置 信 下 限 , 满
?? ? ??? 足 P { ? ? U |x } ? 1 ? 的 ? U 为 的 1 ? 单 侧 置 信 上 限 .

注 贝叶斯置信区间依赖于先验分布,不需要抽样 分布,计算相对简单.
正态分布均值的贝叶斯置信区间
例9(p137例4.15) 设 X ? (X 1 ,X 2 , ,X n ) T 是 来 自 正
?? ? ? 态 总 体 N (,2 ) 的 一 个 样 本 , 其 中 2 已 知 , 取 的
? ? ? ? 先 验 分 布 为 正 态 分 布 N ( ,2 ) , 参 数 ,2 已 知 , 试
? ? 求 参 数 的 置 信 度 为 1 - 的 置 信 区 间 .
解 首先计算参数?的后验分布
h(?|x)?q(xm |?(x )π )(?)??? ? ? ? q q((x x||??))π π ((??))d?

? ? ( ?? ? ? ??(

2?1?0)nexp{?2?102i? n1(xi??)2} 2?1?0)nexp{?2?102i? n1(xi??)2}

21 ??2exp{?1 2(???)2} 21 ??2exp{?1 2(???)2}d?

? ? ? ? (

( 2?)1n?1??0nexp{?1 2[?102 i? n1(xi ??)2??12(???)2}

1
2?)n?1??0n

??? ?exp{?1 2[?102 i? n1(xi ??)2??12(???)2}d?

?(?0?2?2???2)?12exp{?1 2(??(?x0? ? ?20 0? ? ?2 2?? ???2 ?)? ??21?2)2}

由此可见

?|x ? ? ??? ? ? N(x0 0 ? ?2 2? ??2?2,( 0 ?2??2)?1)

?

?

x?0?2 ? ?2
0

? ?? ?2 ?? ?2

(?0?2 ?? ?2)?1 2

N(0,1)

于是可得

P{

?

?

x?0?2 ? ?2
0

(?0?2 ??

? ?? ?2 ?? ?2
) ?2 ?1 2

? u? } ?1??
2

置信区间为

? ? ??? ? ? [x

0?2? 0?2?

?2
?2 ?(

0?2??2)?12u?]
2

例10(p138例4.16) 对某儿童进行智力测验,设测验
结果服从N(?,100),其中?为心理学中儿童的智商, ?的 先验分布为N(100,225),试求?的置信为0.95的贝叶斯 置信区间.
解 将相关数据代入上述置信区间公式可得: ?的 置信度为0.95的置信区间为
[94.07, 126.69] 而用表3.2(不用先验分布)可得?的置信度为0.95的 置信区间为 [95.4, 134.6]

作业
*题四 p146 5,6,7,8,9,10 11

谢谢!


相关文档

  • 车库顶板上施工电梯加固方案及验算
  • 第十一章 方差分析与试验设计-70页文档
  • 七章节常用试验设计及其统计分析共125页文档
  • 25.3用频率估计概率课件数学初中教育教育专区.ppt1-19页文档
  • 自考第十一章通货膨胀会计三——现时成本会计-48页文档
  • 1、研究性学*开设的目的与意义-12页文档资料
  • 猜你喜欢

  • 备餐及供餐操作规程
  • 营销中心副总经理个人简历
  • 奥鹏心理健康培训测试与答案(必过满分版)
  • 百年中国的伦理学研究_万俊人
  • XX年春一年级数学下册期末试卷(北师版)
  • 部编版《道德与法治》九年级上册第四单元{和谐与梦想}试题及答案
  • 管理学 海底捞案例分析.分析[优质ppt]
  • 大学物理下 真空中的静电场
  • 非公有制企业党建典型汇报材料
  • 高考物理大一轮复*选修3_3第3课时热力学定律与能量守恒课件
  • Linux vs Window
  • 2019高中二年级上学期物理教学工作计划语文
  • 青阳县鑫磊非金属材料有限公司企业信用报告-天眼查
  • 人教版三年级上册语文期末试卷(2018新版教材)
  • 总结报告-述职报告范文(学院保卫处长) 精品
  • 2006—2007学年度北京市高三物理西城区2007年高三抽 ...(371K)
  • 三根电加热管和三相电怎么连接
  • 2020春北京课改版二年级数学下册-第6单元-第六单元检测1
  • leetcode-53. 最大子序和
  • 带有令的词语有哪些
  • 张家港市金港镇万鸿熟食店企业信息报告-天眼查
  • 励志电影放牛班的春天影精选篇800字五篇
  • 数控车工中级理论知识复*资料
  • 甘肃广林房地产开发有限公司(企业信用报告)- 天眼查
  • 创造高校与校企之间的双赢格局
  • (建设工程合同)建设工程施工合同(港口)
  • 新员工转正工作个人总结
  • adb查看某个文件是否存在_ADB文件及文件夹操作
  • 军校学员的入党志愿书-党团工会模板
  • 案例教学法在体育保健学课程教学中的应用分析
  • 2019版高考数学一轮复*第十二章不等式选讲第69讲绝对值不等式课件201805072196
  • 基团贡献人工神经网络集成法估算有机物熔点的研究
  • 妈富隆和米非司酮治疗围绝经期功能失调性子宫出血的疗效及对性激
  • 中考语文-2018年初中语文中考模拟复*冲刺测试题(18) 最新
  • java精确到小数点一位_java精确到小数点后一位
  • 大班幼儿教育论文
  • 潮州市潮安区丰盛工贸有限公司(企业信用报告)- 天眼查
  • 我国上市公司内部控制披露问题研究
  • 中医偏方治疗夏季上火牙痛
  • 苏科版生物八年级下册:25.2 关注家庭生活安全 课件(共23张PPT)
  • 19考研指导:辞职考研还来得及吗?
  • 三种方法求两个数最大公因数
  • 电脑版