概率论与数理统计复习资料

《概率论与数理统计复习资料》由会员分享，可在线阅读，更多相关《概率论与数理统计复习资料（15页珍藏版）》请在装配图网上搜索。

1、第一章 随机事件及其概率一、基本概念 1 事件的关系与运算、运算规律对偶律：，2、概率的定义频率：，其中为试验次数, 为事件发生的次数概率的统计定义：在相同条件下重复进行n次试验，若事件发生的频率随着试验次数n的增大而稳定地在某个常数(附近摆动，则称为事件的概率，记为古典概型：具有下列两个特征的随机试验模型：1. 随机试验只有有限个可能的结果; 2. 每一个结果发生的可能性大小相同.概率的古典定义：在古典概型的假设下，设事件包含其样本空间中个基本事件, 即则事件发生的概率概率的公理化定义：设是随机试验, 是它的样本空间,对于的每一个事件赋于一个实数, 记为, 若满足下列三个条件: 1. 非负性

2、：对每一个事件,有 ; 2. 完备性：;3. 可列可加性：设是两两互不相容的事件，则有则称为事件的概率.概率的基本性质：设是两两互不相容的事件，则有特别地，若，则对任一事件A有 对于任意两个事件A，B有3、条件概率与独立性条件概率： （），在事件发生的条件下,事件的条件概率.事件的独立性：,相互独立相互独立事件独立的性质： 当,时, ,相互独立与,互不相容不能同时成立. 但与既相互独立又互不相容(自证). 设,是两事件, 且,若,相互独立, 则. 反之亦然. 设事件,相互独立,则下列各对事件也相互独立: 若事件相互独立, 则其中任意个事件也相互独立; 若个事件相互独立, 则将中任意个事件换成它

3、们的对立事件, 所得的个事件仍相互独立; 设是个随机事件，则相互独立 两两独立.即相互独立性是比两两独立性更强的性质, 伯努利概型（试验的独立性）设随机试验只有两种可能的结果：事件发生(记为)或事件不发生(记为)，则称这样的试验为伯努利(Bermourlli)试验。将伯努利试验独立地重复进行次，称这一串重复的独立试验为重伯努利试验。二、基本公式 1、加法公式： 若，则 2、乘法公式 ,相互独立，（），或（）， 3、全概率公式 设是一个完备事件组,且则对任一事件,有注: 全概率公式可用于计算较复杂事件的概率, 公式指出: 在复杂情况下直接计算不易时,可根据具体情况构造一组完备事件, 使事件发生的

4、概率是各事件发生条件下引起事件发生的概率的总和。4、贝叶斯公式 设是一完备事件组,则对任一事件,有 注: 公式中,和分别称为原因的验前概率和验后概率.是在没有进一步信息(不知道事件是否发生)的情况下诸事件发生的概率.当获得新的信息(知道发生),人们对诸事件发生的概率有了新的估计. 贝叶斯公式从数量上刻划了这种变化.第二章 随机变量及其分布一、 基本概念 随机变量定义在随机试验的样本空间上的实值单值函数分布函数：定义：即x是任意实数性质：值域（有界性）：对于任意实数x，单调非减性： 若, 则； 右连续性：计算概率：对于任意实数，且，有二、离散型随机变量定义：它的全部可能的取值是有限个或无限可列多

5、个分布律：设离散型随机变量的所有可能取值为, 称为的概率分布或分布律, 也称概率函数，即随机变量X取每个可能值的概率。性质：；分布律与分布函数：设离散型随机变量的概率分布为，则的分布函数为常见的离散型随机变量：二项分布：二项分布特例：01分布 泊松分布：三、连续性随机变量定义：是连续型随机变量存在非负可积函数,使得对于任意实数成立：概率密度函数：是连续型随机变量的概率密度函数，且性质：，对一切x成立 （确定待定常数）对于任意实数，且，有若在点处连续, 则 连续型随机变量取任一指定值的概率为0设充分小，则随机变量X取区间上值的概率近似等于常见的连续型随机变量均匀分布：若连续型随机变量的概率密度为

6、则称在区间上服从均匀分布, 记为.概率意义：在区间上服从均匀分布的随机变量X，其取之落在中任意等长度的子区间内的概率是相同的，且与子区间的长度成正比。指数分布：若随机变量的概率密度为则称服从参数为的指数分布.简记为或表达为：，指数分布是惟一具有无记忆性的连续分布类型正态分布：定义：若随机变量的概率密度为其中和都是常数, 则称服从参数为和的正态分布. 记为。参数意义：，的概率密度关于直线对称，由对称性可以得到，X落在左右两个相同大小区域内的概率相等，决定了概率密度的形状，最大值标准正态分布正态分布当时称为标准正态分布, 此时, 其密度函数和分布函数常用和表示: 标准正态分布的重要性在于, 任何一

7、个一般的正态分布都可以通过线性变换转化为标准正态分布.正态分布化为标准正态分布： 设则标准正态分布表的使用：标准正态分布表中给出的是时的数值, 当时, 利用正态分布的对称性，有若则若, 的分布函数3准则，则正态分布的线性函数： 若，则随机变量，四、随机变量的函数定义：如果存在一个函数, 使得随机变量满足:,则称随机变量是随机变量的函数.离散型随机变量的函数的分布 设离散型随机变量的概率分布为，则的函数还是离散型随机变量。的分布律为连续型随机变量的函数的分布设已知的分布函数或概率密度函数, 则随机变量函数的分布函数可按如下方法求得:，其中进而可通过的分布函数, 求出的密度函数.是单调函数的求法：

8、 设随机变量具有概率密度,又设处处可导且恒有(或恒有), 则是一个连续型随机变量,其概率密度为 其中是的反函数, 且第三章 多维随机变量及其分布一、二维随机变量及其分布定义 定义在上的两个随机变量所组成的向量分布函数：对任意实数, 二元函数，称为二维随机变量的分布函数或称为随机变量和的联合分布函数几何意义：在处的函数值是随机点落在以点为顶点而位于该点左下方的无穷矩形区域内的概率。性质： 且对任意固定的 对任意固定的关于和均为单调非减函数, 即对任意固定的 当对任意固定的 当 关于和均为右连续,即二、离散型二维随机变量定义 若二维随机变量只取有限个或可数个值, 则称为二维离散型随机变量。为二维离

9、散型随机变量当且仅当均为离散型随机变量.联合分布律：若二维离散型随机变量所有可能的取值为 则称为二维离散型随机变量的概率分布(分布律), 或的联合概率分布(分布律).计算概率取值于任何区域上的概率，即,性质： 分布函数 三、连续型二维随机变量定义：二维连续型随机变量若存在一个非负可积的二元函数,使对任意实数, 有概率密度：为的概率密度(密度函数) 非负，且对任意实数，成立性质： （确定待定常数）(3)设是平面上的区域,点落入内的概率为（积分限的确定）(4)若在点连续, 则有 进一步, 根据偏导数的定义, 可推得:当很小时, 有即, 落在区间上的概率近似等于四、二维离散型随机变量的边缘分布关于的

10、边缘律 关于的边缘律五、二维连续型随机变量的边缘分布关于的边缘分布. （选择使得的区域积分）关于的边缘分布. ,（选择使得的区域积分）二维正态分布的边缘分布 ，则，六、二维随机变量的条件分布离散型随机变量的条件分布当, 有称其为在条件下随机变量的条件概率分布连续型随机变量的条件密度 设二维连续型随机变量的概率密度为,边缘概率密度为, 则对一切使的, 定义在的条件下的条件概率密度为.类似地, 对一切使的, 定义在的条件下的条件密度函数为.关于定义表达式内涵的解释. 以为例. 在上式左边乘以, 右边乘以即得换句话说, 对很小的和,表示已知取值于和之间的条件下, 取值于和之间的条件概率.七、相互独立

11、的随机变量判断方法：离散型随机变量的独立性 和相互独立对的所有可能取值 有即 连续型随机变量的独立性 若对任意的, 有几乎处处成立, 则称相互独立.注: 这里“几乎处处成立”的含义是:在平面上除去面积为0的集合外,处处成立.随机变量与相互独立所生成的任何事件与生成的任何事件独立，即对任意实数集，有如果随机变量与相互独立, 则对任意函数均有相互独立. 八、二维随机变量的函数的分布正态分布的可加性 设相互独立，且 则仍然服从正态分布，且更一般地，有限个相互独立的正态随机变量的线性组合仍然服从正态分布, 即有若且它们相互独立，则对任意不全为零的常数，有.连续型随机变量和函数的分布（积分区域为：满足f

12、(x,y)0的区域，同时满足X+Yz的区域）所以有，或者 若相互独立，则有卷积公式（积分域由同时满足的的取值区域确定） 或者（积分域由同时满足的的取值区域确定）。以教材P105例7为例及的分布 设随机变量相互独立,其分布函数分别为和的分布函数的分布函数 第四章 随机变量的数字特征一、随机变量的数学期望1.离散型 设是离散型随机变量的概率分布为如果绝对收敛, 则定义的数学期望(又称均值)为 2.连续型 设是连续型随机变量, 其密度函数为,如果绝对收敛, 定义的数学期望为 3.随机变量的函数的数学期望3.1 一维离散型随机变量的函数的数学期望若为离散型随机变量, 其概率分布为则的数学期望为3.2

13、一维连续型型随机变量的函数的数学期望若为连续型随机变量, 其概率密度为, 则的数学期望为注:重要性在于:求时, 不必知道的分布, 只需知道的分布即可. 这给求随机变量函数的数学期望带来很大方便;3.3 二维离散型随机变量的函数的数学期望设是二维随机向量, ,且存在, 则若为离散型随机向量, 其概率分布为，则的数学期望为3.4 二维连续型型随机变量的函数的数学期望设是二维随机向量, ,且存在, 则若为连续型随机向量, 其概率密度为则的数学期望为性质 1. 设是常数, 则 2若是常数，则3. 4. 设独立, 则;注:由不一定能推出独立，二、随机变量的方差定义 设是一个随机变量, 若存在,则称它为的

14、方差, 记为方差的算术平方根称为标准差或均方差, 它与具有相同的度量单位, 在实际应用中经常使用.方差刻划了随机变量的取值与数学期望的偏离程度,它的大小可以衡量随机变量取值的稳定性.从方差的定义易见: (1)若的取值比较集中,则方差较小; (2)若的取值比较分散,则方差较大;(3)若方差, 则随机变量以概率1取常数值,此时也就不是随机变量了.计算方法 若是离散型随机变量,且其概率分布为则若是连续型随机变量,且其概率密度为 则利用数学期望的性质, 易得计算方差的一个简化公式:.性质 1. 设常数, 则; 2. 若是随机变量, 若是常数, 则3. 设是两个随机向量,则特别地, 若相互独立, 则注:

15、 对维情形, 有: 若相互独立, 则三、协方差定义 设为二维随机向量,若存在, 则称其为随机变量和的协方差, 记为,即计算方法 若为离散型随机向量,其概率分布为则若为连续型随机向量, 其概率分布为 则.利用数学期望的性质, 易将协方差的计算化简. 特别地, 当与独立时, 有 协方差的性质 ,其中是常数;为任意常数; (6) 若与相互独立时,则随机变量和的方差与协方差的关系 特别地, 若与相互独立时, 则.四、相关系数定义设为二维随机变量,称为随机变量和的相关系数.有时也记为. 特别地，当时，称与不（线性）相关.性质 1. 2. 若和相互独立, 则. 3. 若,则当且仅当存在常数 使, 而且当时

16、, ;当时, .注: 相关系数刻画了随机变量Y与X之间的“线性相关”程度.的值越接近1, Y与X的线性相关程度越高; 的值越近于0, Y与Y的线性相关程度越弱.当时, Y与X的变化可完全由X的线性函数给出. 当时, Y与X之间不是线性关系.（线性）相关、不相关与相互独立的关系 正态分布的相关、不相关与相互独立的关系若，则X和Y相互独立X和Y不相关五、中心极限定理 中心极限定理回答了大量独立随机变量和的近似分布问题, 其结论表明: 当一个量受许多随机因素(主导因素除外) 的共同影响而随机取值, 则它的分布就近似服从正态分布.林德伯格勒维定理设是独立同分布的随机变量序列, 且则 注: 定理表明:

17、当充分大时, 个具有期望和方差的独立同分布的随机变量之和近似服从正态分布. 虽然在一般情况下, 我们很难求出的分布的确切形式, 但当很大时, 可求出其近似分布. 由定理结论有 故定理又可表述为: 均值为, 方差的的独立同分布的随机变量的算术平均值, 当充分大时近似地服从均值为,方差为的正态分布. 这一结果是数理统计中大样本统计推断的理论基础.第五章 数理统计的基础知识一、矩统计量,简称为样本矩 设为总体的一个样本1. 样本均值 2. 样本方差 3. 样本标准差 二、分位数 分布的分位数:设，对给定的实数 称满足条件的点为分布的水平的上侧分位数. 简称为上侧分位数.t分布的分位数: 设，对给定的

18、实数 称满足条件的点为分布的水平的上侧分位数. 由密度函数的对称性，可得t分布的双侧分位数，三、单正态总体的抽样分布定理1 设总体 是取自X的一个样本, 与分别为该样本的样本均值与样本方差, 则有(1) ;(2) 定理2 设总体 是取自X的一个样本, 与分别为该样本的样本均值与样本方差, 则有 (1) =(2) 与相互独立.定理3 设总体是取自X的一个样本, 与分别为该样本的样本均值与样本方差, 则有 (1) (2) 第六章 参数估计一、评价估计量的标准 1. 无偏性;设是未知参数的估计量, 若则称为的无偏估计量.2. 有效性; 一个参数常有多个无偏估计量,在这些估计量中,自然应选用对的偏离程

19、度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准有效性.设和都是参数的无偏估计量, 若,则称较有效.3. 相合性（一致性）. 设为未知参数的估计量, 若依概率收敛于, 即对任意, 有或则称为的(弱)相合估计量.二、单正态总体的置信区间置信区间长度与置信度的关系 1. 置信度的含义: 在随机抽样中, 若重复抽样多次, 得到样本的多个样本值, 对应每个样本值都确定了一个置信区间, 每个这样的区间要么包含了的真值, 要么不包含的真值. 根据伯努利大数定理, 当抽样次数充分大时, 这些区间中包含的真值的频率接近于置信度(即概率) , 即在这些区间中包含的真值的区间大约有个,

20、不包含的真值的区间大约有个.2. 置信区间也是对未知参数的一种估计, 区间的长度意味着误差, 故区间估计与点估计是互补的两种参数估计.3. 置信度与估计精度是一对矛盾.置信度越大, 置信区间包含的真值的概率就越大, 但区间的长度就越大, 对未知参数的估计精度就越差. 反之, 对参数的估计精度越高, 置信区间长度就越小, 包含的真值的概率就越低, 置信度越小. 一般准则是: 在保证置信度的条件下尽可能提高估计精度.单正态总体均值的置信区间(1) 设总体 其中已知, 而为未知参数, 是取自总体X的一个样本. 对给定的置信水平, 的置信区间为单正态总体均值的置信区间(2) 设总体其中,未知, 是取自

21、总体X的一个样本.此时可用的无偏估计代替, 构造统计量,从第五章第三节的定理知对给定的置信水平, 由,即因此, 均值的置信区间为 单正态总体方差的置信区间在实际问题中要考虑精度或稳定性时，需要对正态总体的方差进行区间估计.设总体其中,未知,是取自总体X的一个样本. 求方差的置信度为的置信区间. 的无偏估计为, 从第五章第三节的定理知,对给定的置信水平, 由于是方差的置信区间为而方差的置信区间第七章 假设检验一、总体均值的假设检验 当检验关于总体均值（数学期望）的假设时，该总体中的另一个参数，即方差是否已知，会影响到对于检验统计量的选择，故下面分两种情形进行讨论.1方差已知情形设总体,其中总体方

22、差已知，是取自总体X的一个样本, 为样本均值.双侧检验： 检验假设.其中为已知常数.由第五章第三节知, 当为真时,故选取作为检验统计量, 记其观察值为u. 相应的检验法称为u检验法.因为是的无偏估计量, 当成立时, 不应太大, 当成立时, 有偏大的趋势, 故拒绝域形式为 (待定).对于给定的显著性水平,查标准正态分布表得, 使由此即得拒绝域为。即根据一次抽样后得到的样本观察值计算出U的观察值u, 若, 则拒绝原假设, 即认为总体均值与有显著差异; 若, 则接受原假设, 即认为总体均值与无显著差异.单侧检验:(i) 右侧检验： 检验假设，其中为已知常数. 可得拒绝域为 (ii) 左侧检验： 检验

23、假设 ，其中为已知常数.可得拒绝域为2方差未知情形 设总体,其中总体方差未知，是取自X的一个样本, 与分别为样本均值与样本方差.双侧检验 检验假设.其中为已知常数.由第五章第三节知, 当为真时, 故选取T作为检验统计量, 记其观察值为t. 相应的检验法称为t检验法.由于是的无偏估计量, 是的无偏估计量, 当成立时, 不应太大, 当成立时, 有偏大的趋势, 故拒绝域形式为 (待定).对于给定的显著性水平, 查分布表得 使由此即得拒绝域为. 即 根据一次抽样后得到的样本观察值计算出T的观察值t, 若 则拒绝原假设, 即认为总体均值与有显著差异; 若则接受原假设, 即认为总体均值与无显著差异.单侧检

24、验：(i) 右侧检验：检验假设，其中为已知常数. 可得拒绝域为(ii) 左侧检验：检验假设, 其中为已知常数. 可得拒绝域为二、总体方差的假设检验设,是取自X的一个样本, 与分别为样本均值与样本方差.双侧检验1）检验假设 .其中为已知常数.由第五章第三节知, 当为真时,故选取作为检验统计量. 相应的检验法称为检验法.由于是的无偏估计量, 当成立时, 应在附近, 当成立时, 有偏小或偏大的趋势, 故拒绝域形式为或 (待定).对于给定的显著性水平查分布表得使.由此即得拒绝域为 或.即 根据一次抽样后得到的样本观察值计算出的观察值, 若, 则拒绝原假设, 若,则接受假设.单侧检验： (i)左侧检验： 检验假设: . 其中为已知常数, 可得拒绝域为(ii) 右侧检验：检验假设：.其中为已知常数. 可得拒绝域为.