充分统计量

Definition：
称统计量U=ϕ(X1,X2,…,Xn)U=\phi(X_1,X_2,\dots,X_n)是$ \theta 的==完全统计量==，若任给函数的==完全统计量==，若任给函数u$，如果

Eθ(u(ϕ(X1,X2,…,Xn)))=0 E_\theta(u(\phi(X_1,X_2,\dots,X_n)))=0

可以推出

Pθ(u(ϕ(X1,X2,…,Xn))=0)=1 P_\theta(u(\phi(X_1,X_2,\dots,X_n))=0)=1


  • 在两点分布中 ϕ(X1,X2,…,Xn)=∑1nXi\phi(X_1,X_2,\dots,X_n)=\sum_{1}^{n}X_i为完全统计量，
    但ϕ1(X1,X2,…,Xn)=(∑1kXi,∑k+1nXi)\phi_1(X_1,X_2,\dots,X_n)=(\sum_{1}^{k}X_i,\sum_{k+1}^{n}X_i)不是完全统计量
  • 该保留的信息都保留——充分性
  • 该丢掉的信息都丢掉——完全性
  • 可以证明，若参数空间θ\theta有内点，则指数分布族中的充分统计量

(∑1nT1(xi),∑1nT2(xi),⋯ ,∑1nTn(xi)) (\sum_1^{n}T_1(x_i),\sum_1^{n}T_2(x_i),\cdots,\sum_1^{n}T_n(x_i))

也是完全的


定理 : (Blackwell-Lehmann-Scheffe)若ϕ(X1,X2,…,Xn)\phi(X_1,X_2,\dots,X_n)为θ\theta完全充分统计量且ψ(ϕ(X1,X2,…,Xn))\psi(\phi(X_1,X_2,\dots,X_n))为g(θ)g(\theta)的无偏估计，则一定为g(θ)g(\theta)一致最小方差无偏估计，且在概率为1的意义下唯一

对于正态分布，(Xˉ,∑(Xi−Xˉ)2)(\bar{X},\sum (X_i-\bar{X})^2)为完全的充分统计量，由E(Xˉ)=μE(\bar{X})=\mu,令S=∑(Xi−Xˉ)2n−1S=\frac{\sum (X_i-\bar{X})^2}{n-1} 则其为σ2\sigma^2的无偏估计，也是一致最小方差无偏估计

  • 无偏估计有可能不存在，因为多项式函数不可以表示无理函数(或者有理函数)
  • 无偏估计有时就算存在也不合理：X服从参数为θ\theta的泊松分布，样本量为1，g(θ)=e−2θg(\theta)= e^{-2\theta}则其唯一无偏估计为(−1)X(-1)^X
  • 在统计中，无偏性是自然的合理的要求

定理(Cramer-Rao不等式)：设X的密度函数为f(x;θ),θ∈(a,b),(X1,X2⋯ ,Xn)f(x;\theta),\theta\in(a,b),(X_1,X_2\cdots,X_n)为简单随机样本，ϕ(X1,X2,…,Xn)\phi(X_1,X_2,\dots,X_n)为g(θ)g(\theta)的无偏估计,则在下列条件下,

  • X的支撑E:=x:f(x;θ)>0E:={x:f(x;\theta)>0}与θ\theta无关
  • g(θ)g(\theta) 与 ∂f(x;θ)θ\frac{\partial f(x;\theta)}{\theta}c存在，且积分与求导可交换

我们有不等式

varθ(ϕ(X1,X2,…,Xn))≥g′(θ)nl(θ) var_\theta(\phi(X_1,X_2,\dots,X_n))\ge \frac{g'(\theta)}{nl(\theta)}

其中

l(θ)=:Eθ(∂log⁡f(x;θ)∂θ)2>0 l(\theta)=: E_\theta(\frac{\partial\log f(x;\theta)}{\partial\theta})^2>0

为==Fisher信息量==

例1：两点分布 X~B(1,p)

f(x,p)=px(1−p)1−x f(x,p)=p^x(1-p)^1-x

l(θ)=:Eθ(∂log⁡f(x;θ)∂θ)2=Eθ(Xp−1−X1−p)=1p(1−p) l(\theta)=: E_\theta(\frac{\partial\log f(x;\theta)}{\partial\theta})^2=E_\theta(\frac{X}{p}-\frac{1-X}{1-p})=\frac{1}{p(1-p)}

例2：正态分布X~N(μ,σ02\mu,\sigma_0^2)
则

∂log⁡f(x;θ)∂θ=x−μσ02 \frac{\partial\log f(x;\theta)}{\partial\theta}=\frac{x-\mu}{\sigma_0^2}

l(μ)= l(\mu)=

以上例子都达到了C-R不等式的下界

  • 有时最小方差无偏估计即使存在也达不到C-R不等式的下界

例4： X~U(0,θ0,\theta)

令θ^=n+1nmaxXi\hat{\theta}=\frac{n+1}{n}maxX_i,θ^\hat{\theta}为θ\theta的无偏估计，容易验证，Var(θ^)=θ2n(n+2)Var(\hat{\theta})=\frac{\theta^2}{n(n+2)},比C-R不等式更快的趋向于0，但同时其不满足条件(1)

  • 自行查找l(θ)l(\theta)
  • 参数维数为m时，也有相应不等式，不等号右边为二次型

1ng′(θ)Tl(θ)−1g′(θ) \frac{1}{n}g'(\theta)^Tl(\theta)^{-1}g'(\theta)

  • 大样本性质：当样本量n趋于无穷时的性质，如（强）相合性，还有收敛速度等。常有

n(θ^n−θ)→N(0,∑(θ)) \sqrt{n}(\hat{\theta}_n-\theta)\rightarrow N(0,\sum(\theta))

以及渐进协差阵∑(θ)\sum(\theta)与l(θ)l(\theta)的关系

  • 小样本性质：无偏性、最小方差，C-R不等式等
  • 相合估计是否一定无偏？无偏估计是否一定相合？