数理统计与随机过程讲义

《数理统计与随机过程讲义》由会员分享，可在线阅读，更多相关《数理统计与随机过程讲义（22页珍藏版）》请在装配图网上搜索。

1、数理统计与随机过程讲义段法兵 复杂性科学研究所1数理统计与随机过程讲义段法兵 复杂性科学研究所数理统计与随机过程讲义段法兵复杂性科学研究所第一章抽样理论2.1基本术语从一个集合中取出一部分元素，来研究这些元素的特征作为一个指标， 从而 推断整个集合的性质，整个集合称为母体(总体)，每个元素称为个体。对于母体的推断往往不止一次地进行，每次观测值向量是个随机向量X=(Xi,X2,，Xn )，称为容量n的子样观测值不同抽样观测中，随机向量 X所有取值的全体称为 样本空间为反映母体样本特性，抽样时:1)子样每个分量Xi，X2,，Xn也与母体有相同分布F(x)；n2)子样每个分量X!,X2,，Xn相互独

2、立，其联合分布为丨【F(X)7满足上述要求的子样称为简单子样统计量：对于子样观测值针对不同的问题构造出某种子样的函数， 称为统计量 比如子样矩：1 nX 二一二 Xi n i吕子样均值1 n、：2兀也是自由度为n=1的2分布。弓I理（Gamma分布的可加性）：任两个相互独立的Gamma分布的随机变量之 和的分布依然是Gamma分布。证明方法1自己看X：12设x1， x2相互独立，且满足 Gamma分布f1,2(X)Xi - G,），试证明 Z=X1+ *2 （1 心2,：）。这个需要利用随机变量和的概率密度卷积公式：3数理统计与随机过程讲义段法兵 复杂性科学研究所4数理统计与随机过程讲义段法兵

3、 复杂性科学研究所zf (z) = 0 f1(x) f2(z x)dxZB二 e - ? G(1)】 C-2) 0Z：1：2e1_ 訂=f (1t)dt, x = zt-1 (：) (： 2) 0由于概率密度的归一化，我们得到x：2(z- x)：2dx仁；f(z)dz：:z1 严-e，_1勺1护(W dt)dz，1 1广(1 -1) ：2 dt ： _1:0z12 e/ dz a C ) c 2) 0jt(1t)Zdt闵+1/R(z/ I)- ：2-1z/ dz/ :-1 -V (： J (： 2)01 1t ：1 (1 - t)：2 dt 01 r(：.；2)-2 (：.) (：.2)I 1

4、21（1-t）dt =1- -1 ：2（：）（： 2）C 4： 2）将其代入刚才的式子，得到z：11tjl-t)dt, x = zt2C ) C 2)01zOtp4e-/01:1 卩:2)z e这就是-（冷X込，：）分布。证明方法2：Gamma分布x1.气4|.;f（x） / e那么Gamma分布的特征函数为xx：ydx1-jw|，H-j 1.x 0 亍p(x)e dx5数理统计与随机过程讲义段法兵 复杂性科学研究所1 _jw P-jw（x）：dxC ）1-jw-=（1jw ：） 一:那么对于任意xi， X2相互独立，且满足 Gamma分布xf1,2（x）二12Xe（1,2）各自具有特征函数订

5、(w)二(1 - jw ： ) r和：2(w) =(1 - jw ：厂2，由于二者相互独立，那么z=x1+ x2的特征函数为z（w） =（1 - jw j1 2）那么 z= x1 + x2 - （r ：）。因此，既然任意个xi，其平方 旳仝 的分布都符合 丨(、=1/2匸=2)的Gamma分布，那么2二x2的分布就是】(n,2)的分布，这个就是定义自由度 y2为n的2分布，见其概率密度定义1三x2 e2 , x0f (x) = 30时，两种分布相差无几。性质：期望和方差是多少？这个和 F分布一起讲欧拉(Euler)，瑞士数学家及自然科学家。1707年4月15日出生於瑞士的巴塞尔，1783年9月

6、18日於俄国彼得堡去逝。欧拉出生於牧师家庭，自幼受父亲的教育。13岁时入读巴塞尔大学，15岁大学毕业，16岁获硕士学位。欧拉是 18世纪数学界最杰出的人物之一，他不 但为数学界作出贡献，更把数学推至几乎整个物理的领域。他是数学史上最多产的数学家之一,平均每年写出八百多页的论文，还写了大量的力学、 分析学、几何学、变分法等的课本。欧拉对数学的研究如此广泛，因此在许多数学的分支中也可经常见到以他的名字命名的重要 常数、公式和定理。1725年约翰伯努利的儿子丹尼尔伯努利赴俄国，并向沙皇喀德林一世 推荐了欧拉，这样，在 1727年5月17日欧拉来到了彼得堡.1733年，年仅26岁的欧拉担 任了彼得堡科

7、学院数学教授.1735年，欧拉解决了一个天文学的难题(计算慧星轨道)，这个问题经几个著名数学家几个月的努力才得到解决，而欧拉却用自己发明的方法，三天便完成了然而过度的工作使他得了眼病，并且不幸右眼失明了，这时他才28岁.1741年欧拉应普鲁士彼德烈大帝的邀请，到柏林担任科学院物理数学所所长，直到1766年，后来在沙皇喀德林二世的诚恳敦聘下重回彼得堡，不料没有多久，左眼视力衰退，最后完全失明.不幸的事情接踵而来，1771年彼得堡的大火灾殃及欧拉住宅，带病而失明的64岁的欧拉被围困在大火中，虽然他被别人从火海中救了出来，但他的书房和大量研究成果全部化为灰烬 了沉重的打击，仍然没有使欧拉倒下，他发誓

8、要把损失夺回来在他完全失明之前，还能 朦胧地看见东西，他抓紧这最后的时刻， 在一块大黑板上疾书他发现的公式，然后口述其内容，由他的学生特别是大儿子A 欧拉(数学家和物理学家)笔录欧拉完全失明以后，仍然以惊人的毅力与黑暗搏斗，凭着记忆和心算进行研究，直到逝世，竟达17年之久欧拉的记忆力和心算能力是罕见的，他能够复述年青时代笔记的内容，心算并不限于简单的运算， 高等数学一样可以用心算去完成.有一个例子足以说明他的本领，欧拉的两个学生把一个复杂的收敛级数的17项加起来，算到第50位数字，两人相差一个单位， 欧拉为了确定究竟谁 对，用心算进行全部运算，最后把错误找了出来.欧拉在失明的17年中；还解决了

9、使牛顿头痛的月离问题和很多复杂的分析问题.欧拉的风格高，拉格朗日是稍后于欧拉的大数学家， 从19岁起和欧拉通信，讨论等周问题的一般解法，这引起变分法的诞生等周问题是欧拉多年来苦心考虑的问题，拉格朗日的解法，博得欧拉的热烈赞扬，1759年10月2日欧拉在回信中盛称拉格朗日的成就，并谦虚地压下自己在这方面较不成熟的作品暂不发表，使年青的拉格朗日的工作得以发表和流传，并赢得巨大的声誉. 他晚年的时候，欧洲所有的数学家都把他当作老师，著名数学家 拉普拉斯(Laplace)曾说过：”欧拉是我们的导师.”欧拉充 沛的精力保持到最后一刻，1783年9月18日下午，欧拉为了庆祝他计算气球上升定律的成 功，请朋

10、友们吃饭，那时天王星刚发现不久， 欧拉写出了计算天王星轨道的要领，喝完茶后，欧拉终于停止了生命和计算224 F分布发明者：罗纳德 艾尔默 费希尔爵士，FRS (Sir Ronald Aylmer Fisher, 1890年2 月17 日- 1962年7月29日，为一名英国统计学家、演化生物学家与遗传学家。 他是现代统计学与现代演化论的奠基者之一。安德斯 哈尔德称他是 一位几乎独自建立现代统计科学的天才”，理查道金斯则认为他是 达尔文最伟大的继承2者 。费希尔出生于英国伦敦的东芬利奇(East Finchley),是七位子女中的老么3。 1909年，费希尔获得奖学金，使其能前往剑桥大学冈维尔与凯

11、斯学院就读，并 主修农业3。第一次世界大战爆发。费希尔和许多英国青年一样，也希望能够加 入军队、投入沙场。不过因为他严重的视力问题，即使一试再试，依然无法通过 健康检查。由于从军不成，接下来6年他便在伦敦市担任统计员，1919，费希尔 才选择进入一所名为罗森斯得实验站(Rothamsted Experimental Station的农业试验所。费希尔开始构想新的统计方法，如实验设计法(design of experiments除了新的统计方法，费希尔也将先前的变异数分析研究进行补强与修饰，因而发明出最大似然估计，并发展出充分性(sufficiency)、辅助统计、费希尔线性判 别(Fisher

12、s linear discriminator)与费希尔资讯(也译为费希尔信息)(Fisher in formation)等统计概念。三大分布都是起源于高斯的线性模型的拟合问题，F分布是Fisher对于残差以及 拟合方差之比推出了 F分布，有了这个分布，可以计算线性模型拟合的优度，衡 量拟合的好好。定义：相互独立的两个随机变量 X,Y分别符合自由度为m和n的| J 1分布，那么变量F二X/m符合F(m, n)分布，其概率密度函数为Y /nmmxnm叩4 m 月1 xn解释:X,Y相互独立，因此其联合分布为f (x, y) = n2丁e:(m/2)】(n/2)j2x2 y13数理统计与随机过程讲义

13、段法兵 复杂性科学研究所14数理统计与随机过程讲义段法兵 复杂性科学研究所做变换u = x yx/ mv =y/n那么Jacobi矩阵为1x n2 y m1|J(x,y)|=丄ym那么联合分布#数理统计与随机过程讲义段法兵 复杂性科学研究所m刖(界)(旳2(1旳:(m2n)u mnfeu 22丁 : (m n)2#数理统计与随机过程讲义段法兵 复杂性科学研究所#数理统计与随机过程讲义段法兵 复杂性科学研究所这就是2(m n)与F分布两种概率密度函数的乘积，X,Y相互独立，u = x y就是符合2(m n)，那么自然的件符合F分布。推论1相互独立的两个随机变量 X,Y分别符合自由度为m和n的2分

14、布，那1 Y/n么变量一二符合F (n, m)分布。F X/m推论2 : X N(0,1)，Y 2( n),那么变量t二X/.Y/n符合t分布，那么 t2=X2/(Y/n)符合F(1 ,n)分布。因为,X2符合2(1)分布，且X2 和 Y 2(n)相互独立，按照定义得出上述结论。推论2告诉我们，t分布的方差就是F分布的均值。x0 厂bxa)q*性质：均值和方差如何求？定积分公式pab? (q)p心%= F(P/a)F(q-p/a)当 p =m/2 1,q =(m n )/2,a =1,b =m/n 得到m/2:x矿ndX0(1 mx)2(T 1)- (i-1)(晋)汀佇)15数理统计与随机过程

15、讲义段法兵 复杂性科学研究所#数理统计与随机过程讲义段法兵 复杂性科学研究所利用这个等式，可求出F分布的均值为np =m/2 2,q =(m n )/2, a = 1, b = m/n，可得 F 分布的方差DX2n2(m n - 2)m(n _ 2)2( n _4)第二次课结束2.3正态母体的子样均值和子样方差的分布许多统计问题，需要知道子样均值和子样方差的分布，上面三大分布和这些 有着紧密的联系。引理：若向量t (t11,t12/ ,t1n)T为标准正交向量til =1，必定存在一个正交 矩阵A A，使得t二他仆切,，tm)为其第一行向量。可以用Schmitt正交化方法证明。比如找到了一个这

16、样的矩阵- 1111JnvnJnyfn110 0J2*1J2*1112A =扣2血2J3*2a0a01111n 1Jn 灯 -1)Jn*(n -1)pn *(n _1)Jn *(n _1) n * (n _ 1)定理：从正态母体N（u,；2）抽取的子样xX2,，人相互独立，其子样均值X =1 v xi，子样方差 S；*1(人 - X )2，那么 n-2 S；2 2(n -1)，且与 Xn i刍n -1 i吕相互独立。证明：现将XX2,X；标准化，z二占二符合N（0,1），则Z =厶,z；）均值X -u那么n _1 *22 SnG尹(备 _x)2(Xi -u)-(x-u)二 7id It-nn=

17、、 (Zi -Z)2 八 Zi2 - nZ2ii咼把前面构造的正交矩阵A = （aij ）n n用作变换Y 二 AZn其中Y =Z aikZi为Z =（乙忆2,，z；）的线性组合，所以每个Y也是正态分布，其均 k母值为_n 1 nEY p aikZi I = E aikEz =0_k =1k=1其互协方差为 nncov(Yj,Yj) =cov akZk正 ajZk Jiq丿n n二二 aikaji cov(Zk,Z|)k 4 l Jn n二 、aikajl、klk 4 l =1k 4 l z1aikajk17数理统计与随机过程讲义段法兵 复杂性科学研究所#数理统计与随机过程讲义段法兵 复杂性科

18、学研究所所以任意Y两两之间相互独立，自己都说标准正态分布符合N(0,1)，这也是正交矩阵变换的性质。n1门特别地，我们计算Y =E az =-瓦zk =勺nZ，再计算所有的Y平方和心J n心nn Y, =yty 二ztataz =zTzZii吕n annnn我们已知 s；2八Zi2 -nz2八Y2 * 八Yi2，那么 s；2就是n-1个标； oT准正态分布N(0,1)变量的平方和，就符合n-l个自由度的2(n-1)分布，且任意Y两两之间相互独立， 孥1S；2与( X=Yi+u )之间也是相互独立的。且随着样本容量的变化嘤 S：2的分布2 (n - 1)也是变化的定理：X*；u_符合t(n1)的

19、分布g /n解释：上面证明中Y nZ - n X _U符合N(0,1)，n；1S；2的分布2(n-1)， j x=ra ndn (10,10000); y=sum(x.A2); fp,xp=ecdf(y);% fp is a vector of values of the empirical cdf evaluated at xp. ecdfhist(fp,xp,50) hold on t=li nspace(0,max(y),100); z=chi2pdf(t,10); plot(t,z,r,l in ewidth,3)作业：继续利用matlab验证F分布，t分布，以及思考如何衡量拟合的精确

20、度课外阅读:曲统计学的赞歌在1985年，研究莎士比亚的学者泰勒(G.Taylor),从保存在保德联(Bodelian)图书馆里的收藏品中，发现保存了两百多年的一张纸片，其上记有 九节新诗，此诗只有429个字，没有记载诗的作者。于是提出疑问，这首诗是莎士比亚的吗？统计学家瑟思梯德(R.Thisted)和埃福伦(B.Efron),对于莎士比亚，以及同时代的几位著名诗人的作品进行了研究，用纯粹的统计学方法， 对他们在诗中用词规律作了比较分析，发现那首无名诗与莎士比亚的作品非常 一致，这表明它的作者很可能是莎士比亚。获美国总统奖(2002年)的统计学 家C.R.劳(Rao)，称这一结果为“一曲统计学的

21、赞歌”。两位统计学家考查了莎士比亚在其著作中用词总数量为：884647个，其中包括重复使用的；所有不相同的用词总数量为： 31534个。可见，每个词平均被 使用了 28次( 884647/31534)。但是，每个词被使用的次数并不相等。两位 统计学家把被使用了 1次，2次，3次，的用词个数逐一记录下来，这就是他 们获得的数据。 对其他的诗人也可获得同样数据， 对上述的 429个字的诗也记录 同样数据。他们使用了费歇( Fisher ， A.R. ) 1 943年提出的判别法则 , 将此诗 与诸位诗人的作品进行比较后 , 得出了前述结果。不难理解，他们的数据记录了作者的风格特征， 与诗作内容联系

22、不大。 因此， 可用来解答判断作者是谁的问题。 不无遗憾地说， 此方法不能简单地用于中文著 作的同类判别问题，因为中文与西文有本质性的组词差异。虽然也有不少学者用数据的统计分析方法，讨论红楼梦的前 80 回与后 40 回是否属于同一作者的问题，但是他们获取数据的指标多与内容密切相关。 其中使用某些虚词数量作为指标，看起来好像与内容无关，仔细想来并非如此。 如此说来，他们所判断的结果，只是关于红楼梦前 80回与后 40 回在这些指 标上有无差别， 而不是作者是否有别的问题。 如何寻找更能表象中文作者风格的 指标，还是有待探讨的问题。世界名著静静的顿河的作者究竟是谁？这在苏联文学界尚有争议。一般都

23、认为此书的作者是1 965年的诺贝尔文学奖获得者肖洛霍夫 ( 1 905 1 984) ，但在 20 年代末，当小说第一、二部问世时， 却有人提出它是肖洛霍夫抄袭的一部书，那本书也叫静静的顿河。 1930年， 肖洛霍夫曾在一封信中承认他知道那本书，不过那是一本关于1 91 7年顿河流域的旅行札记，并非是一部长篇小说。1974 年，流亡国外的索尔仁尼琴在巴黎出版了题为 顿河 急流、副标 题为一部长篇小说之谜的文章，再次提出静静的顿河是肖洛霍夫剽窃的 作品。其根据是：第一；作为一个学历浅、经历不广的 20 来岁的青年，当时是 决不可能写出那样有广度和深度的鸿篇巨著的； 第二、全书的思想内容和艺术技

24、 巧很不平衡， 体现出不是一人的创作风格， 其中“真正有艺术价值”的部分则是 从一个名叫克留柯夫那里抄袭来的， 而那些空洞的政治宣传才是肖洛霍夫自己与 的。但更多的苏联作家和评论界人士则认为， 上面两条根据是不足为凭的， 文学 史上年轻的作者写出有一定深度和广度作品的例子是不计其数的， 至于那个克留 柯夫早在 920 年就病死了，而小说的内容却一直包括到 1922年的事件，所以这 种指责是不能成立的。 战争名著静静的顿河可以说从它诞生起便没有平静过， 围绕它的作者所引起的争议， 就像它获得诺贝尔文学奖一样， 撼动文坛， 有人指 控肖洛霍夫是个骗子， 静静的顿河不是肖洛霍夫写的，真正的作者是费奥

25、尔 克鲁乌科夫，而肖洛霍夫只不过将已去世作家未出版的手稿重新改写了前两卷的 5%，后两卷的 30%，就改头换面的以他的名义发表，那么它的作者到底是谁？挪威奥斯陆大学的前苏联文学教授盖尔克其萨用电子计算机对该文学作品 进行了分析研究， 其别具一格的论文曾发表在世界知名的权威杂志 计算机与人 文科学上，轰动一时，那么，他是怎样把数理统计引入这本名著的研究的呢？克其萨教授与他的挪威、瑞典同事，使用乌普沙拉大学的一台 IBM370/155电子计算机， 对静静的顿河 的文章风格与其他一些特点与克鲁科夫的供认作 品进行了统计分析：抽取样品，编制程序，测定句子长度，计算词类的分布于组 合情况，力求得出一个客

26、观的结论。他们主要研究了三个重要参数，为了对比， 把肖洛霍夫的无可争议的作品作为第一组， 静静的顿河作为第二组，克鲁乌 科夫的作品作为第三组。第一个参数是一部作品中不同的词汇量与总词汇量的百分比统计，结果表 明：第一组为 65.5%，第二组为 64.6%，两者非常接近，而第三组却只有 58.9%， 明显低于前两个数据， 这说明， 克鲁乌科夫在他的作品中， 更喜欢经常重复使用 同样的词汇。第二个参数是词汇分布频率，学者们选取了 20 个俄文中常见的词汇，来研 究比较他们占作品中的全部词汇的百分比， 分别是：第一组 22.8% 第二组 23.3% 第三组 26.2%，第一组与第二组比较接近。最后一

27、个参数是作品中出现过一次的词汇所占的百分比， 对此肖洛霍夫的作 品为 80.9%，静静的顿河为 81.9%, 克鲁乌科夫的作品则只有 76.9%。研究表明， 所有参数都存在一致的趋势， 即克鲁乌科夫的作品与 静静的顿 河之间，存在着显著的统计差异，由此可见，这部杰作的真正作者很难说是克 鲁乌科夫，相比之下，肖洛霍夫更像是静静的顿河的原作者了。数理统计使文坛上这宗多年悬而未决的案件进一步明了， 笔墨官司打到这个 地步，看来对肖洛霍夫是有利的， 至于将来究竟如何结案， 还要看文坛专家的结 论。盖洛普民意调查与美国总统选举以其准确性和权威性在世界各地享有极高的声誉。在这 50 年的时间里，盖 洛普民

28、意调查研究所对 12 次美国总统选举的调查显示，盖洛普民意调查的准确 率非常高。纽约时报：致当代大学生的忠告格里高利曼昆作为哈佛大学著名经济学传授经济学导论的一位教授，每年秋天，我都有一项令我非常愉悦的任务：欢迎大约 700名大一新生。今年，我将 第一次送自己的孩子上大学， 由此想到了一些问题： 他们应该学些什么？理解现 代经济，并为之做好准备需要打好哪些根基？我向所有年龄段的学生提出以下建议：学点统计学高中的数学课程设置在欧几里得几何和三角函数等传统主题上花费了太多 的时间。对于普通人来说， 这些都是非常有用的脑力训练， 但它们在日常生活中 几乎没有什么适用性。学生们最好多学一些概率和统计方

29、面的知识。数据，许许多多的数据， 是如今这个计算机时代给予每个人的一项事物。 然 而，拥有数据跟从数据中学到东西， 是跨度很大的两码事。 学生们需要了解数字 密集运算的潜力，以及它的局限性。我认为，至少在高中教材的更新内容之前， 所有的大学生都应该上一门或更多的统计学课程。统计思维是创新型思维中国统计 2009年 08期统计思维是较形象思维和逻辑思维更为复杂的一种思维方式， 是人们自觉运 用数字对客观事物的数量特征和发展规律进行描述、 分析、判断和推理的思维方 式。统计思维属于创造性思维， 这种创造性思维有三个本质特点： 1. 抽象的数量 性。2.结果的容错性。 3. 过程的逆向性。，统计思维从思维特点、思维理念和思 维方式都与传统思维方式有着本质的差异， 具有创造性思维的主要特点， 属于创 造性思维。22数理统计与随机过程讲义段法兵 复杂性科学研究所1f(u,v-| f(x,y)=#