如何理解大数定律

记住这句话就可以了：大数定理说明了，足够大的样本能几乎肯定地反映出总体的真实组成。这让我们放心地去抽样调查，去monte carlo等等。 在公理化体系提出之前，人们对概率的研究局限在等可能事件。比如抛一枚硬币，我可以认为抛出正面的概率就是1/2。若实际抛掷，抛10次，也许会有七次是正面，但如果抛很多很多次，那得到的正面占比将十分接近50%，这就是“频率接近于概率”的观念。伯努利感兴趣的是，如果抛100次，出现的正面数占比在48%到52%之间的概率是多少？如果抛100万次，这个概率又会变为多少？能否抛足够多次，来让正面数的占比在49.9999%到50.0001%之间的概率达到99.9999%？ 在这个问题上面工作了整整20年后，1705年左右，伯努利证明了第一个大数定理（他自己称之为黄金定理），它指出，我们总可以抛掷足够多次，使我们能几乎确定得到的正面占比很接近于50%。而且，在给定“几乎确定”和“接近”的具体定义后，定理还给出用来计算这个“足够”的抛掷次数的公式（不过，这后半部分的结果是粗糙的，由狄莫弗在1733年改进，得到了第一个中心极限定理。）。 后来，有了公理化体系，就有了现在教科书上标准的说法：对独立同分布的随机变量序列{xn, n=1,2,3,...}，设均值为Exn，方差存在。则［(x1+...+xn)-E(x1+...+xn)］/n依概率收敛到0。可见伯努利大数定理就是xn为二元随机变量时的一个特例。至于其他那些带着其他人名的大数定理，无非就是把条件放宽而已。如切比雪夫大数定律是把条件放宽为随机变量序列两两不相关且方差存在（无需假定独立同分布）。辛钦大数定律是把条件放宽为随机变量序列独立同分布且存在一阶矩（无需假定方差存在）。 关于无偏估计： 既然样本平均数不等于总体平均数（也就是说你报给教委主任的平均分和实际的平均分非常有可能是不一样的），要它还有用吗？有！因为样本平均数是总体平均数的无偏估计——也就是说只要你采用这种方法进行估算，估算的结果的期望值（你可以近似理解为很多次估算结果的平均数）既不会大于真实的平均数，也不会小于之。换句话说：你这种估算方法没有系统上的偏差，而产生误差的原因只有一个：随机因素（也就是你的手气好坏造成的）