开放存取学术交流系统评价指标体系的构

《开放存取学术交流系统评价指标体系的构》由会员分享，可在线阅读，更多相关《开放存取学术交流系统评价指标体系的构（7页珍藏版）》请在装配图网上搜索。

1、精品论文开放存取学术交流系统评价指标体系的构建与权值分配李金林，张秋菊，冉伦5（北京理工大学管理与经济学院，北京 100081） 摘要：开放存取是为了解决“学术期刊危机”而创建的一种不同于传统学术交流系统的允许用户免费获得学 术资源的全新机制。近年来，开放存取系统发展迅速，展现出强大的发展潜力，得到了各界学者的广泛关 注。本文在分析目前学术期刊评价体系和对专家和学者进行问卷调查的基础上，提出了开放存取学术交流10系统的评价指标体系，并进行了权重确定。最后以中国科技论文在线为例，比较了其部分指标与国外著名 开放存取学术交流系统进行对比分析，提出了改善建议。 关键词：决策技术与方法；开放存取；评价

2、指标体系；权值分配中图分类号：C93115Construction of Evaluation Index System and WeightAssignment for Open Access Academic Exchange SystemLI Jinlin, ZHANG Qiuju, RAN Lun(School of Management and Economics, Beijing Institute of Technology, Beijing 100081)Abstract: Open Access(OA for short) which admits the users to

3、obtain academic resources freely, is20created as a new academic exchange system in order to solve the crisis of academic journal.In recent years, Open Access academic exchange system grows rapidly, and shows strong potential.Based onanalyzing current evaluation system of academic journals and conduc

4、ting questionnaire survey among experts and scholars,the evaluation index system of OA academic exchange system was proposed, andthe weight of the evaluation indexes was estimated. At last, Sciencepaper Online was used as an25example to compare with some famous foreign OA academic exchange system on

5、 some of evaluation indexes, and suggestions were proposed.Key words: Technology and method of management; Open Access; Evaluation Index System; WeightAssignment300引言开放存取(Open Access，简称 OA)是近年来出现的一种学术信息免费共享的理念与出版机制。它是基于网络技术的发展，以及学术、出版等各界人士对科研成果自由获取与交流的 迫切需求，在 20 世纪 90 年代末由国际学术界、出版界和图书情报界共同发起的一种新的学 术

6、交流方式，致力于提高学术信息的吸收、利用与影响，实现信息的自由传播和最大使用价35值。作为一种新的学术交流理念，OA 不仅促进了科学信息的交流与利用，更加促使学术交 流系统向着以学术为主导的方向发展前进。但是，由于 OA 发展时间较短，尚未像传统学术 交流一样具有完备的评价指标体系。而构建合理的评价指标体系是对评价对象进行科学评 价、保障其健康发展的重要前提。因此，建立一套完善、合理的 OA 学术交流系统评价指标40体系是十分必要的。目前，国内外学者虽然分别对于影响 OA 学术资源质量的某些指标进行了深入探讨分析18，却鲜有关于开放存取学术交流系统的完整评价指标体系的研究，因此深入开展建立 O

7、A基金项目：高等学校博士学科点专项科研基金(20101101110040) 作者简介：李金林（1955-），男，教授，主要研究方向：决策方法与技术、收益管理 通信联系人：冉伦（1977-），男，副教授，主要研究方向：决策方法与技术，收益管理. E-mail: ranlun- 7 -评价指标体系的研究，不仅可以拓展开放存取出版模式的内涵，完善和发展开放存取学术交流系统评价理论，还有助于提升 OA 学术交流系统的运行质量，对推动 OA 的发展具有非常45重要的理论意义和实践意义。1评价指标体系的确定1.1评价指标体系确定原则对开放存取学术交流系统进行评价必须依靠指标体系。在指标选取过程中，主要遵循

8、以 下三条原则：（1）综合性。由于影响开放存取学术交流效果的因素众多，所以必须综合考50虑到平台设计的技术性、内容广度、内容影响力、内容新颖度、用户认知度等各方面。（2）客观性。指标体系应客观真实地反应目标与指标间的关系。（3）可行性原则。在设计任何 指标体系时都必须考虑在实际使用过程中各项指标的数据可获得性及是否便于计算处理的 问题。1.2评价指标体系内涵55目前，开放存取学术交流系统中提供的资源包括学术论文、课件、影音资料等，但主要 以学术论文为主。因此本文设计的指标体系的评价对象主要是那些以提供学术论文为主的系 统。在参考了国内外相关文献39的基础上，分析各指标的优缺点并加以取舍，初步形

9、成评 价指标体系的框架，主要包括内容广度、内容影响力、内容新颖度、平台技术性、用户认知60度五个方面的内容。 内容广度主要指学术交流系统提供的学术论文及其来源的广泛程度。开放存取作为一种新兴的学术交流方式，最大的优势之一就是能免费提供丰富的、广泛的学术资源，因此评价 一个学术交流系统就不能不评价它是否能提供大量的资料，以及是否能打破空间的限制，提 供不同学科领域、不同地理区域、不同研究机构的学术成果。65内容影响力主要指学术交流系统提供的学术论文产生的学术影响的强度、广度及速度。 开放存取使信息发布更加便捷，一方面使得学术资源更加丰富，可是在另一方面也使许多低 水平的无用信息得以在网上流传，因

10、此，仅对学术交流系统提供的学术资源的“量”进行评价 是不够的，还必须对其“质”进行评价。而一篇好的学术论文在其发表后，是理应受到同行的 重视和推荐的，从而会比其他论文在学术界产生更大的影响力。因此，一篇论文的学术影响70力在一定程度上可反映学术水平；一个 OA 学术交流系统中提供的学术资源的综合学术影响 力可在一定程度上反应其提供的学术资源的质量。内容新颖度反应 OA 学术交流系统的资源更新情况及独特性。学术交流的目的是为了促 进科学发展，因此一个 OA 学术交流系统能否不断提供新的学术资源，以满足科研人员对某 些领域不断学习、探索的愿望，将直接影响其发展与壮大。75由于开放存取离不开网络，开

11、放存取资源必须有一个网络平台，因此，在指标体系的设 计中纳入了关于开放存取网站设计的评价，以反应平台技术性。一个简洁、清晰的网络平台 是高效率获取学术资源的必备前提，因此必须对 OA 学术交流系统的平台技术性进行评价。 用户认知度则主要反应 OA 学术交流系统被用户接受和使用的普遍程度。一方面，OA 学术交流系统存在的意义就在于促进学术交流，因此必须获得用户的认可才有存在的必要80性；另一方面，用户是学术交流的直接参与人，他们对 OA 学术交流系统的认可程度可反应出该系统提供的资源、平台等各方面的综合绩效。因此，对用户认知度进行评价是十分必要的。基于以上考虑，本文设计了 OA 学术交流系统评价

12、指标体系。通过向北京理工大学、四 川大学、国防科技大学、国家图书馆等 7 个高校和机构长期从事科研和学术交流相关工作的8530 位专家和教授、120 名研究人员进行问卷调查，对指标体系进行了调整，最终形成开放存 取学术交流系统评价指标体系如表 1 所示。表 1 开放存取学术交流系统评价指标体系Tab. 1 The evaluation index system of OA academic exchange system一级指标二级指标指标涵义载文量发文国家地区广度系统所载论文或报告等资源总量系统所载论文中，论文作者来源的国家或地区数量篇均作者机构数系统所载论文中，每篇论文作者来源的机构(单位

13、)数的均值内容广度篇均参考文献数系统中所有论文的参考文献数量之和除以该系统所载的论文数量发文机构数系统中发表论文的机构总数国际论文比系统中国际论文篇数占总篇数的比例学科领域数系统中所有论文涉及到的学科领域总数影响因子即年指数 总被引频次平均被引率系统前两年发表的论文在统计当年的被引用总次数与该系统前两年刊载论文数量之比 系统当年发表的论文在同年的篇均被引率 系统所刊载的全部论文在统计当年被引用的总次数总被引频次与载文量的比值内容影响论文他引率系统全部被引用次数中，被非本系统引用次数所占的比例力被引半衰期系统的论文在某年被引用的全部次数中，较新的一半被引论文发表的时间跨度权威数据库收摘量系统被国

14、内、国际权威数据库收摘的论文总量h 指数系统被引用了至少 h 次的论文的篇数为 h 篇g 指数将系统中论文按被引次数从高到低排序，并且将排序的序号平方，被引次数逐次累加，当序号平方等于累计被引次数时，这时的序号就被定义 为 g 指数内容新颖论文发表周期月均发文量从论文提交到系统到最终发表所经历的时间长度系统每个月平均新发表的论文的数量度资源唯一性系统所提供的资源为其独家所有的数量与其提供的所有资源数量之比论文首发率系统所提供的论文中，首次发表的论文所占的比重网站平均显示时间安全性 稳定性网站所有被访问的网页平均打开时间系统安全和用户信息安全两方面 指网页是否能够顺利打开、是否容易掉线等情况平台

15、技术互动性指网站是否设有让用户与用户、用户与作者等交流的平台性用户界面友好程度指用户操作简单易学，且能充分发挥系统功能网站布局合理性指网站结构设计、模块分布等是否美观清晰导航功能的有效性指网站内容框架是否清晰明了、分类是否明确合理检索功能有效性指是否支持分类查找、模糊查找和多条件联合查询等高级搜索资源可获得性指网站提供的资源能否顺利打开或下载用户认知外部链接数外部网络影响因子系统网站被其他网站链接的次数系统网站的外部链接数除以该网站的总网页数IP 访问量在一定统计周期内特定唯一 IP 地址的计算机访问系统网站的次数度页面浏览量在一定统计周期内所有访问者浏览的页面数量人均页面浏览量在一定统计周期

16、内 OA 系统网站全部页面浏览数与所有访问者之比Web 即年下载率在 OA 学术交流系统全文数据库中当年发表并被全文下载的次数与当年发表的论文总数之比网络流量系统网站在网络上传输的数据量902指标权重的确定2.1指标权重确定的方法95100目前，确定权重的方法有很多，如专家评分法、层次分析法、熵权法、秩和比法等，均在各领域得到了广泛的应用10。本文采用层次分析法来确定指标权重。(1)参照 saaty1-9 级标度方法让 30 位专家和 120 位研究人员对各指标与其同类指标相比 重要性程度进行打分。分值最低为“1”，最高为“9”。分值越高，表示该指标的重要性程度越 高。ij根据专家和研究人员的

17、判断，计算各指标相对重要性得分的期望值。为了体现专家意见 的重要性，在计算时采用了“二八原则”。“二八原则”由 20 世纪初意大利统计学家、经济学 家维尔弗雷多帕累托提出，他认为在任何特定群体中，重要的因子通常只占少数，而不重 要的因子则占多数，因此只要能控制具有重要性的少数因子即能控制全局。这个原理经过多 年演化和验证，目前已在越来越多的领域得到应用。在本文中的“二八原则”是指仅占调查比 例 20%的专家们对各项指标的相对重要性程度评分的权重为 0.8，剩余 80%的被调查者评分 权重为 0.2.12令 I =I , I, L , I n表示某指标集， Sk 表示第 k 位专家对指标集 I

18、中的某两项指标105ijijI 和 I 的重要性程度进行比较的打分，Sm 表示第 m 位研究人员对指标集 I 中的某两项指标I i 和 I j 的重要性程度进行比较的打分，则指标集 I 中 I i 和 I j 的相对重要性程度的期望值为E(S )S30 k30= 0.8 ij+ 0.2S120mij , i,j = 1,2, L , nijk =1120m =1(2)构造判断矩阵 Z =(zij ) n n ， Z 中任意元素 zij =E(Sij ) 。110k(3)计算第 k 个指标的初始权重 1进行归一化处理。k1= n z.zk2L zknk，并按公式 k= 1 /n1i i = 1(

19、4)计算矩阵 的最大特征值 maxn= i /n ，其中 ii = 1n= zij w j /wi .j = 1(5)进行一致性检验。利用公式 CI= (max- n)/(n - 1) 计算 CI 值，并根据平均随机115一致性指标 RI 计算一致性比率 CR =的一致性，否则需要调整判断矩阵。CI/RI 。若 CR 0.10 ，则认为判断矩阵具有满意2.2开放存取学术交流系统指标权重确定k按上述方法，构造出一级指标判断矩阵如表 2 所示。表 2 一级指标判断矩阵Tab. 2 level target judgment matrix内容广度(S)内容影响力(F)内容新颖度(N)平台技术性(T)

20、用户认知度(A)内容广度(S)1.00000.87551.03690.95741.3889内容影响力(F)1.14221.00001.18431.09361.5864内容新颖度(N)0.96440.84441.00000.92341.3395平台技术性(T)1.04440.91441.08291.00001.4506用户认知度(A)0.72000.63040.74650.68941.0000k1120利用公式 1= n z.zk25L zkn ， 可 计 算 出 1= 1.1860 ， 1= 1.0845 ，431 = 1.0014 ， 1= 1.0384 ， 1= 0.7476 .按公式 n

21、= 1 / 1 进行归一化处理，可得 w1= 0.2345 ， = 0.2144 ，2k k i 1 2i = 13 =0.1980 ， 4= 0.2053 ， 5= 0.1478 .125同理可计算出内容广度(S)、内容影响力(F)、内容新颖度(N)、平台技术性(T)的权重如 表 3 所示。一级指 权重 标表 3 OA 学术交流系统指标体系权值分配二级指标权重载文量0.2057发文国家地区广度0.1638篇均作者机构数0.1003篇均参考文献数0.1146发文机构数0.1116国际论文比0.2242学科领域数0.0798影响因子0.1393即年指数0.0986总被引频次0.1261平均被引率

22、0.1151论文他引率0.1217被引半衰期0.1052权威数据库收摘量0.1085h 指数0.0975g 指数0.0881论文发表周期0.2628每月发文量0.2457资源唯一性0.2216论文首发率0.2699网站平均显示时间0.0712安全性0.1141Tab. 3 Weight Assignment for Open Access Academic Exchange System内容广 度0.2345内容影 响力0.2144内容新 颖度0.1980平台技 术性0.2053稳定性0.1326互动性0.0857用户界面友好程度0.1187网站布局合理性0.1199导航功能的有效性0.101

23、3检索功能有效性0.1239资源可获得性0.1326外部链接数外部网络影响因子IP 访问量0.14290.13800.14930.1478页面浏览量0.1663人均页面浏览量0.1235Web 即年下载率0.1501网络流量0.1299用户认 知度在此基础之上，可计算一级指标判断矩阵的最大特征值 maxn= i /ni = 1= 5.0002 ，CI =(max- n)/(n - 1)= 0.0000， 查 表 得 当n = 5时， RI= 1.12。 因 此130CR =0.0000 0.10 ，一级指标的判断矩阵具有满意的一致性。同 理 可 计 算 出 二 级 指 标 内 容 广 度 (S

24、) 的 判 断 矩 阵 最 大 特 征 值 为maxn= i /ni = 1= 7.0003 ，CI= (max- n)/(n - 1)= 0.0000 ，查表得当 n =7 时，RI = 1.32 。因此CR= 0.0000 0.10 ，内容广度(S)指标的判断矩阵具有满意的一致性。二 级 指 标 内容 影 响 力 (F) 的 判 断 矩 阵最 大 特 征值为 maxn= i /ni = 1= 9.0002 ，135CI =(max- n)/(n - 1)= 0.0000， 查 表 得 当n = 9时， RI= 1.45。因此 CR =0.0000 0.10 ，内容影响力(F)指标的判断矩阵

25、具有满意的一致性。二级指标内容 新颖度 (N) 的判断矩阵最 大特征值为 maxn= i /ni = 1= 4.0000 ，CI =(max- n)/(n - 1)= 0.0000，查表得当 n = 4时， RI= 0.9。因此 CR =0.0000 0.10 ，内容新颖度(N)指标的判断矩阵具有满意的一致性。140二 级 指标 平台 技术 性 (T) 的 判 断矩 阵最 大特 征值为 maxn= i /ni = 1= 9.0002 ，CI =(max- n)/(n - 1)= 0.0000， 查 表 得 当n = 9时， RI= 1.45。 因此 CR =0.0000 0.10 ，平台技术性

26、(T)指标的判断矩阵具有满意的一致性。二级指标用户 认知度 (A) 的判断矩阵最大特征值为 maxn= i /ni = 1= 7.0000 ，CI =(max- n)/(n - 1)= 0.0000， 查 表 得 当n = 7时， RI= 1.32。因此 145CR =0.0000 0.10 ，平台技术性(T)指标的判断矩阵具有满意的一致性。3结论150155160165开放存取运动发展到现在，已成为学术交流系统中非常重要的一部分，对其进行评价是存进其未来进一步完善的重要环节。本文在征询专家意见的基础上，从 OA 学术交流系统的 内容广度、内容影响力、内容新颖度、平台技术性、用户认知度五方面出

27、发，建立了一套 OA 学术交流系统评价指标体系，并计算了指标权重。但该指标体系主要是针对以提供学术 论文为主的 OA 学术交流系统。对于那些以提供学术会议信息、课件、影音资料等资源为主 的 OA 学术交流系统并不适用，这正是本文提出的这套指标体系日后需要完善之处。参考文献 (References)1 James A. Evans & Jacob Reimer.Open Access and Global participation in ScienceJ. Science, 2009, 323: 1025. 2 Laakso M, Welling P, Bukvova H, et al. Th

28、e Development of Open Access Journal Publishing from 1993 to2009J.2011, PLoS ONE 6(6): e20961.3 Peter Suber. Open access to the scientific journal literatureJ. Journal of Biology 2002, 1:3.4 Kousha K & Abdoli M. The citation impact of Open Access agricultural research: A comparison between OAand non

29、-OA publicationsJ. Online Information Review, 2010, 34: 772 -785.5 Nana Turk. Citation impact of Open Access journalsJ. New Library World, 2008, 109: 65-74.6 胡德华，常小婉.开放存取期刊论文质量和影响力的评价分析J.图书情报工作，2008，52(2):61-64.7 杜亮，陈耀龙，王梦书等.我国医学工作者对开放存取（Open Access）的认知态度-中国循证医学杂 志作者群调查结果分析J.中国科技期刊研究，2009，20(2):252-255.8 叶新明，陈益君.我国开放存取中文科技期刊与全文数据库期刊的时效性比较J.大学图书馆学报，2011，(01):33-37.9 胡德华.生物医学类开放存取期刊学术质量评价及其评价体系研究D.长沙：中南大学，2009.10 荆洪英，张利，闻邦椿.基于层次分析法的产品设计质量权重分配J.东北大学学报(自然科学版)，2009，30(5):712-715.