测试效度及其验证方法.ppt

第五章 测试效度及其 验证方法（二） 教学目标 1. 了解整体效度观的主要思想 整体效度观 测试辩论法 图尔明模型 2. 了解累进效度观的主要思想 测试辩论模型的逻辑错误及成因 累进辩论法 累进效度观 整体效度观 主要时期： 20世纪 80年代中期以后 基本观点：整体多维性 验证方法：理性辩论 辩论框架：图尔明模型 定义 教育与心理测验标准 （ 1985） Validity refers to the appropriateness, meaningfulness and usefulness of the specific inferences made form test scores. （从 考分 中 推理 出来的特定结论的 恰当性 、 意义性 和 有用性 ） 教育与心理测验标准 （ 1999） Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of tests. （ 证据 和理论 支持 测试使用 所需的 考 分解释 的程度 ） 解读（效度概念的内涵） 整体多维性 整体概念：构念效度 整体效度 ，即效度（不存在类别之分） 多维互补：之前不同类别的效度 同一整体的不同维度（相互补充、 相互依存，为整体效度提供证据） 重心转移 不再是测试本身固有的属性，而在于分数的解释和使用，包括分数 解释的合理性、使用决策的恰当性和使用后果的裨益性 不再是“有”或“无”的问题，而是“程度”问题 不再是单一指标，而是综合评判 不再是抽象数值，而是理性结论 不再由公式计算，而应逻辑推理 无所谓效度系数之说 Validity Model (Messick 1988: 42) TES T I N T E R P R E T A T I O N TES T U S E E V I D E N T I A L B A S IS C o n s t r u c t v a l i d i t y C o n s t r u c t v a l i d i t y + R e l e v a n c e / u t i l i t y C O N S E Q U E N T I A L B A S IS V a l u e i m p l i c a t i o n s S o c i a l c o n s e q u e n c e s 1. An inductive summary of convergent and discriminant evidence that the test scores have a plausible meaning or construct interpretation, 2. An appraisal of the value implications of the test interpretation 3. A rationale and evidence for the relevance of the construct and the utility of the scores in particular applications 4. An appraisal of the potential social consequences of the proposed use and of the actual consequences when used Interpretive Argument (IA, Kane 1992) (转引自 McNamara E x pl anat i on i n t e rm s of a m ode l R e l e v anc e , as s oc i at e d v al ue s , c ons e que nc e s D e c i s i on -ba s e d i nt e rpre t a t i ons D e s c ri pt i ve i nt e rpre t a t i ons n o pa rt i c ul a r us e s pe c i fi e d P ol i c y i nf e r e nc e s c l a i m s a bout po s i t i ve c ons e que nc e s of a dopt i ng de c i s i on rul e s Se m ant i c i nf e r e nc e s c l a i m s a bout w ha t t he t e s t s c ore s m e a n Assessment Argument (Mislevy et al. 2003) Ev i d e n c e （ Ob s e r v a t i o n ） Pr i n c i p le （ Ve r i f i c a t i o n ） Cl a i m （ In f e re n c e ） Wh a t t h e s t u d e n t s sa y o r d o St a t i s t i c al m o d el s ; Pr o b a b i l i t y - ba s e d re a s o n i n g Wh a t t h e s t u d e n t s know or c a n do T es t co n s t r u ct i o n , ad m i n i s t r at i o n , sc o r i n g , a n d re p o r t in g Re l e v a n c e o f da t a , va l ue of obs e r va t i ons as ev id e n c e Ta r g e t k n o w l e d g e , a cq u i s i t i o n pr oc e s s , co n t ex t u al i zed u s e Evidence-centered Design (ECD) Evidence-based Validation (Weir 2005) S e t t i ng: t a s k S e t t i ng: a dm i ni s t ra t i on D e m a nd: t a s k C on te xt V al i d i ty E xe c ut i ve Re s o u rc e s Th e or y -b as e d V al i d i ty E xe c ut i ve P ro c e s s e s m o n i t o r i n g Te s t T a ke r C h a ra c t e ri s t i c Re s pons e S c o re / G ra de S c o ri ng S c or i n g V al i d i ty S c o re In t e rp re t a t i on C on s e q u e n ti al V al i d i ty S c o re V a l ue C r i te r i on -r e l a te d V al i d i ty C r i t e r i o n - r e l a t e d R e l i a b i l i t y A P ri ori E vi de nc e A pos t e ri ori E vi de nc e I s t h e re a p ro b l e m w i t h a su ck-i t -a n d -se e a p p ro a ch ? H o w e ve r , i s t h e re n o t a p ro b l e m i f w e d o n o t h a ve a cl e a r i d e a o f w h a t w e w a n t t o me a su re b e f o re w e co n st ru ct a n d a d mi n i st e r a t e st t o st u d e n t s? Assessment Use Argument (AUA, Bachman B=Empirical data (e.g. statistics) Q=at the significance level of (b) (c) 假 设 检 验 结 果 解 读 证实与证伪 Interpretation Evidence C C W B R W B R (D) Justifying Falsifying Q Q (D) 正面解释与反面解释：有利于测试 的解释为正面解释，反之即为反面 解释。 声明与反声明：声明既可以是正面 解释，也可以是反面解释。也就是 说，声明并不等于正面解释，反声 明亦不等于反面解释。 证据与反面证据：证据只会“支持” 而不会“拒绝”声明。所谓反面证 据，实际上是支持反声明的证据。 证实与证伪：证伪实际上是通过证 实反声明来间接实现的。 正面解释和反面解释的内容是确定的。研究问题一旦确定，正面与反面解释随之确定； 声明与反声明的内容是不确定的，反声明依赖于声明而存在，没有声明也就无所谓反声明。只有研究 结果产生以后，声明和反声明才会出现。 循环与递归 Executing (Q = Hypothesis) (Q = Claim) Q Q 1-1 Q 1-1-1 Q 1-2 Q 1-2-1 Q 1-2-2 Q 1-1-2 Planning (Final Claim) (Initial Data) 每解决一个问题，需要单独使用一 次辩论模型 循环：逐步解决同一层级的问题， 涉及模型的循环使用，即一次辩论 结束后接着开始另一个辩论，称为 同级辩论（ Sibling Argument） 递归：逐级解决不同层次的问题， 涉及模型的递归使用，即当前辩论 还未结束又启动另一个辩论 ,称为 子辩论（ Sub-Argument），子辩论 结束后再返回当前辩论 应用示例：选项可猜性的累进辩论 Review Factor Scale Quality Rating Consistency Option Guessability Warrant-c Backing-s Rebuttal-/ Qualifier- Hypothesis Evidential? p Recursion N Y - significance level or Type I error - Type II error p - Probability c confidence interval s statistics theory Planning (Q = Hypothesis) Executing (Q = Claim)