《应用于考试中的IRT参数估计简化程序设计》由会员分享，可在线阅读，更多相关《应用于考试中的IRT参数估计简化程序设计（4页珍藏版）》请在装配图网上搜索。
1、应用于考试中的IRT参数估计简化程序设计朱宁宁目前，越来越多的考试都应用项目反应理论Item Response Theory,称简IRT )作 为题目分析、题库建设以及分数估计等方面的主要方法。但是，这一方法因为具有太多的数理统计内涵，以至不容易被人掌握。而且，目前用于IRT参数估计的 软件虽然不少，比如有BIGSTEPS、PARSCALE、BILOG以及MULTILOG等 Emb retson &Reise,200 0),但是作为商业软件，这些工具都有特定的应用范围和条件，并且 功能过于复杂，设计的目的主要是供研究者使用的，并不容易为一般应用者所掌握。这些问题的存在，导致了 我国考试界对IR
2、T技术了解不深和应用不广。实际上，对于计划要在考试中使用IRT技术的广大考试管理者和实施者而言，他们更希望有一个易于使 用，并能满足一般数据处理要求的IRT参数估计程序，以便能将现在的考试系统提升到一个新的更有效的水 平上，并能适应现代计算机技术不断进步的要求。本研究使用边缘极大似然估计 MMLE)的方法进行项目参数的估计，并用贝叶斯法 Bayes)期 望后验估计 EAP)的方法进行结果分数参数估计 Baker，1 9 9 2 )，设计出一个功能简化的用于 二级计分的2PL模型的参数估计程序，简称MyPro。这一程序的特点是：使用简便，嵌入性较强。1模型简介二级计分的2PL模型项目特征曲线可表
3、示为：Pi(l/2)其中，Zij=j i为题目区分读，Ni为题目的难度。2. MyPro与Bilog在估计结果上的对比BILOG(Mislevy & Bock，1990)是用于二级计分的项目反应理论模型参数估计的 流行工具，这个程序已经有适用于Windows平台的版本，可完全通过菜单设置参数，来完成1PL、2PL和3PL的IRT模型的参数估计。在本研究中，使用的对比程序就是BILOGC3.1 1版）BI LOG-3程序使用流行的（MMLE）方法来进行项目参数的估计，默认用（EAP）方法进行特质参数的 估计。下面，用蒙特卡洛（Monte Carlo）模拟方法，将MyPro与Bilog 3加以对比
4、，以 观察其可用性。首先模拟10次考试数据：每次考试有3 0 0 0个考生参加，试卷的题量为5 0题。其中，题 目鉴别度A采用Log正态分布加以模拟，题目难度B采用正态分布模拟。能力值Theta也使用正态分布 模拟。受测者的应答情况采用2PL模型加以模拟（由于模型本身即要求数据的一维性，因此模拟的数据已经 符合模型的要求，不必再进行模型符合性的相关检验）。得到10组受测者应答矩阵以后，分别使用MyPro和Bilog 3进行参数的估计。MyPro和 Bilog 3方法得到A值、B值和THETA值的各10组数据，将这些数据分别和初始模拟的A值、B 值和THETA值进行比较，分别计算出每一组的误差的
5、标准差的平均值，以之作为估计误差。结果如表1所 示：从表1中可以发现：（1）将MyPro和Bilog-3的估计结果与模拟的初值进行误差分析，发现两个程序的估计的准 确性水平较为一致。可认为这两种程序的估计具有同样的准确性。（2）通过对比MyPro和Bilog-3两种程序的估计结果，发现两个程序的估计结果的差异较小。 可认为两种程序的估计结果之间具有一致性。从模拟研究结果观察，MyPro这个参数估计程序，虽然距离Bilog的复杂性还有很大的差距，但 是已经达到了可用的标准。需要使用者注意的是:和Bilog等程序一样，MyPro简化程序没有包含IRT模型假设检验过程, 因此需要用户预先保证输入My
6、Pro的数据是符合IRT的模型假设的（可通过DIMTEST或DETECT等程序考察数据的特征）。3 MyPro的用法介绍MyPro这个程序包含两个功能：MyPro. MMLE和MyPro. EAP，分别用于估计项目 参数估计和能力参数。用户可选择需要的功能，分别进行调用。MyPro. MMLE包含三个参数：vData,lMNC和dJD。最简单的情况下，用户只需要 输入vData这个参数，这是考生在每个题目上的得分数据，按照以下形式排列（n名考生，m个题目）：其中，1MNC用于设定最大的迭代次数（默认为10 0），dJD用于估计精度（默认为0.001），这两个参数都是可选的。估计结束以后，会生成
7、一个结果文件：EM. LOG。包含A与B参数的估计值， 及其卡方检验结果。使用者可直接调用项目参数估计的这些结果。下面举例说明如何用一个Windows的 脚本运行这一程序：set MyPro = Server. CreateObject（IRT. MyPro） MyPro. MMLE vDataMyPro. EAP也包含三个参数：vData，vA和vB。这三个参数都是必需的，vData 参数包含某个考生在每个题目上的得分数据，如下所示（考生x,在m个题目上的回答）：Kxl， Kx2， ， Kxi， ， KxmvA表示题目的区分度，vB表示题目的难度（m个题目）：A1，A2， Aj， AmB1，
8、B2，Bj，Bm估计结束后，能直接返回Theta值（此即为考生的能力值），以及信息量和误差情况。在实际使用中, 如预先不知道项目的区分度和难度值，可先通过前面的项目参数估计过程获得这些参数，然后再计算Thet a值。下面举例说明如何用一个Windows的脚本运行这一程序：set MyPro = Server. CreateObject(IRT. MyPro) sValue=MyPro. EAP(vData,vA,vB)从上面的例子可以看到，无论是进行项目参数估计，还是对能力参数进行估计，都只要通过简单两行代码 即可完成调用，省去了用户的很多麻烦。4 小结由于此程序作为动态链接库的形式发布，因此
9、可以在Windows95/98/Me，NT，wind ows 2 0 0 0以及XP中都能被使用。这个库程序可以被其它IRT应用软件所调用，也能被计算机化考试 的服务器直接调用，甚至可以被整合到客户端的应用中，以提高服务器的效率。本研究以二级计分的2PL模型为例，说明了模块化IRT的参数估计方法后，能为大家方便地使用。但 是具体的考试还会涉及多级计分的题目、时间限制题目以及多选题等等，与此相关的IRT模型及其参数估计 方法就更为繁琐。本文只是抛砖引玉，希望国内的考试研究者能够开发出更多类似的应用程序，以便使IRT 技术为国内考试方面的具体应用提供基础性的帮助，为中国教育考试的科学化做出贡献。参
10、考文献1.Baker，F.B.(1992). Item response theory parameter estimation techniques.Marcel Dekker. Inc. Embre tson，S.E.， & Reise， S.P.(2000). Item response theor y for psychologists. London Laweence Erlbawn Assoc i ates. 2. Mislevy,R. & Bock,R. DC 1 9 9 0 ）. Bilog 3 Item anal ysis and scoring with binary logistic models Comp uter software. Mooresville, IN Scientific Softwar e.（作者单位 北京师范大学心理学院）
应用于考试中的IRT参数估计简化程序设计
