何以设置方差倒数为权重 2011-09-08

假设要估计的真值为R,模型1的估计X1和模型2的估计X2分别都是R的无偏估计,我们设置最终估计是二者的加权,加权因子分别是W1和W2,二者的和为1。

如果目标设置为极小化W1*X1+W2*X2的预测误差(MSE)的话:
MSE 
= E[W1*X1+W2*X2-R]^2
= (W1^2)E[(X1-R)^2] + (W2^2)*E[(X2-R)^2] – 0 #因为X1和X2不相关
= W1^2*VAR[X1] + W2^2*VAR[X2]
根据多元函数求极小值的理论,我们知道使得MSE最小的
W1 = (1/VAR[X1])/( 1/VAR[X1] + 1/VAR[X2])
W2 = (1/VAR[X2])/( 1/VAR[X1] + 1/VAR[X2])
这个结论也可以自然扩展到多个模型估计的加权。


Powered by Jekyll on GitHub | ©2016 Meroa | Last modified: 2018-03-22