对电子环境下主题控制系统检索应用的思考课堂PPT

《对电子环境下主题控制系统检索应用的思考课堂PPT》由会员分享，可在线阅读，更多相关《对电子环境下主题控制系统检索应用的思考课堂PPT（61页珍藏版）》请在装配图网上搜索。

1、对电子环境下主题控制系对电子环境下主题控制系统检索应用的思考统检索应用的思考北京大学信息管理系 马张华讨论内容在文本检索、关键词检索系统迅速发展的情况下，基于主题控制词表的检索系统还有没有价值？目前的主题标引规则、方法应如何发展，以及研究动向等。主题控制系统检索应用的思考主题控制系统检索应用的思考一、对词汇控制系统的重新审视二、控制系统与文本系统性能比较 三、文本检索系统电子环境下的应用以及词汇控制系统差距 四、关于主题控制系统标引实践和规则改进的思考 一、对词汇控制系统的重新审视1.1 自然语言特点及其控制的必要性；1.2 主题分析基础上的标引。1.1自然语言特点及其控制的必要性自然语言特点

2、及其控制的必要性-简要的标引语言类型区分简要的标引语言类型区分I n d e x i n g languagesClassification systems Verbal indexing languagesEnumerative systemsF a c e t e d systemsC o n t r o l l e d systemsF r e e t e x t systemsPrecoordinative systemsPostcoordinative systems1.1自然语言特点及其控制的必要性自然语言特点及其控制的必要性词汇控制指根据标引和检索的需要，对自然语言的词汇进行词汇

3、控制指根据标引和检索的需要，对自然语言的词汇进行选择、规范并揭示其相关性。选择、规范并揭示其相关性。原因：原因：词汇量过大词汇量过大一些词无标引价值。（一些词无标引价值。（控制方式：选词）控制方式：选词）词汇与概念不一一对应词汇与概念不一一对应：（控制方式：参照、限定、加注控制方式：参照、限定、加注 一义多词：一义多词：计算机、电子计算机、电脑计算机、电子计算机、电脑 一词多义：一词多义：病毒医学、计算机病毒医学、计算机 词义含糊：词义含糊：计算机分析分析计算机、用计算机分析？计算机分析分析计算机、用计算机分析？缺乏明确的结构缺乏明确的结构自然语言词汇之间关系的多元性和不自然语言词汇之间关系的

4、多元性和不确定性，不符合检索系统的使用特点。（确定性，不符合检索系统的使用特点。（控制方式：建立控制方式：建立参照、多种索引系统）参照、多种索引系统）1.2 主题分析基础上的标引主题分析基础上的标引 通过主题分析弄清文献有标引价值的主题，有效揭示文献主题内容；结合主题分析的结果按照检索语言及其标引规范，加以标识，有助于提供适用的标识。对词汇控制系统的重新重新审视对词汇控制系统的重新重新审视对词汇控制系统的重新审视：1.1自然语言特点及其控制的必要性；1.2主题分析基础上的标引。常识判断：常识判断：词汇控制和标引有助于有效揭示和检索文献主题。二、控制系统与文本系统性能二、控制系统与文本系统性能比

5、较比较控制语言有没有价值，或词汇控制是不是必要：两者的功能讨论。两者的功能讨论。检全率、检准率，处理速度、易用性、成本效益。各自的问题。两者对于文献的适用性讨论。两者对于文献的适用性讨论。网络资源，论文资源，图书。使用现状。两者的功能讨论。各自的问题。两者的功能讨论。各自的问题。检全率 检准率 处理速度 易用性 成本效益在一些方面中是相对与互补的关系：如检全率，控制系统可以进行概念检索、相关词扩展，文本系统的标识量大，均是检全因素。应结合具体应用讨论。表表9 91 1 受受控控语语言言与与自自然然语语言言的的性性能能比比较较 语言比较项目受控语言自然语言检全率高低检准率低高扩检、缩检和改变检索

6、范围易实现难实现检索人员负担轻重面向用户能力差好标引和检索的匹配性好差标引速度慢快标引成本高低对标引人员要求高低专指性差好标引一致性差好自动标引难实现易实现词汇更新慢快词表编制与维护有无两者功能的比较与思考：功能的相对性与互补性两者功能的比较与思考：功能的相对性与互补性控制系统与文本系统比较控制系统与文本系统比较功能的相对性功能的相对性与互补性与互补性 控制系统控制系统文本系统文本系统检全率检全率词汇控制增强检全率词汇控制增强检全率标引深度小，降低检全率标引深度小，降低检全率+缺乏词间关系控制降低检全率缺乏词间关系控制降低检全率标引深度大增强检全率标引深度大增强检全率检准率检准率主题分析基础上

7、标引提高检准主题分析基础上标引提高检准率率标引深度小，提高检准率标引深度小，提高检准率+全文处理降低检准率全文处理降低检准率用结合多种因素控制排序提高用结合多种因素控制排序提高检准率检准率处理速度处理速度手工标引及时性弱手工标引及时性弱(可采用自动标引、人机结合可采用自动标引、人机结合标引改进标引改进)自动处理及时性好自动处理及时性好+易用性易用性可利用语言系统提供检索帮助可利用语言系统提供检索帮助+缺乏词汇控制不利于易用性缺乏词汇控制不利于易用性成本效益成本效益标引费用大、检索费用小（小标引费用大、检索费用小（小系统中适用）系统中适用）标引费用小、检索费用大（大标引费用小、检索费用大（大系统

8、中适用）系统中适用）两者对文献适用性的讨论两者对文献适用性的讨论 不同领域应用的情况不同领域应用的情况:图书。控制系统与相关字段文本检索结合；图书。控制系统与相关字段文本检索结合；论文资源。文本检索是主流，结合部分控制系统；论文资源。文本检索是主流，结合部分控制系统；网络资源。文本检索是主流。网络资源。文本检索是主流。影响控制使用的因素主要包括：资源数量与处影响控制使用的因素主要包括：资源数量与处理能力，成本效益的结合考虑等。理能力，成本效益的结合考虑等。概要结论概要结论 控制有益于检全、检准、易用性。不利于，处理控制有益于检全、检准、易用性。不利于，处理速度、输入成本。影响控制使用的因素主要

9、包括：速度、输入成本。影响控制使用的因素主要包括：资源数量与处理能力；成本效益的结合考虑等。资源数量与处理能力；成本效益的结合考虑等。文本系统应引入控制；控制系统则应加强处理能文本系统应引入控制；控制系统则应加强处理能力，降低成本，应用好控制系统的功能。力，降低成本，应用好控制系统的功能。三、文本检索系统电子环境下三、文本检索系统电子环境下的应用以及词汇控制系统差距的应用以及词汇控制系统差距 文本检索系统的改进努力文本检索系统的改进努力 词汇控制系统的努力与差距词汇控制系统的努力与差距文本系统的改进努力：控制的纳入文本系统的改进努力：控制的纳入检索方式：检索方式：提供简单检索、高级检索、专业检

10、索等检索界面。上述方面文本系统略优；努力提供自然语言检索能力。（引入句法控制、词汇控制）检索排序：检索排序：多因素结合提供；多种排序方式的采用；两者差距不大。（引入多因素控制）检索优化：检索优化：相关检索帮助，百度，Ask；二次检索；Vivisimo（引入词汇控制）检索入口的改进，以搜索引擎为例:自然语言检索，还不是智能检索检索排序显示的发展与改进，检索排序显示的发展与改进，以网络为例以网络为例 排序显示的意义：排序显示的意义：是提高检准率的重要手段。采用检索匹配加权的形式进行排序显示，可以在保障检全率的同时，将符合检索要求的对象排列在检索结果的前列，提高检准率。网络系统中检索排序因素的拓展网

11、络系统中检索排序因素的拓展目前采用作为排序依据的加权方案涉及的因素包括：目前采用作为排序依据的加权方案涉及的因素包括：网页中查询词匹配数量网页中查询词匹配数量 网页中多个查询词匹配的完备程度网页中多个查询词匹配的完备程度 匹配单元和分解问题匹配单元和分解问题 匹配词的接近程度匹配词的接近程度 网页中术语的位置网页中术语的位置e.g.,link text,body text 本页词频和总词频之比本页词频和总词频之比 指向本页的锁定文本指向本页的锁定文本 指向本页的链接分析指向本页的链接分析 有时，点击分析有时，点击分析 对于新网页，结合考虑新鲜度问题对于新网页，结合考虑新鲜度问题 关于商业因素关

12、于商业因素。例如：某些系统如发现检索对象与人为增加检索要素的商业公司网站有联系，则不予排列等。链接控制链接控制 作为重要性测量（略）作为重要性测量（略）例:每一网页从100分开始。按入链分数重新计算。延续计算直到分数不再变化。网络社区的识别与应用网络社区的识别与应用 网络关键词检索技术的特点与网络关键词检索技术的特点与传统文本检索的不同传统文本检索的不同主要表现在：1.重视查准因素，忽略检全因素。2.结合网络文献的特点，扩大了检索算法的应用，提高结合多种因素的应用能力。3.更加重视易用性。检索优化的发展检索优化的发展 检索优化的含义与必要性 检索优化的常见形式检索优化的含义和必要性检索优化的含

13、义和必要性检索优化检索优化指通过对用户检索提问提出供选择的方案，以交互的方式，优化检索查询，以改进检索结果。优化的原因：找不到准确表达检索内容的词汇；关键词于进行检索的内容之间可能存在着差距，需要在检索过程中进行调整；表达不够专指，没有确切表达出用户潜在的检索需求。用户不了解逻辑表达式的书写方法，从而影响检索表达，检索深化的问题。检索调查表明，多数检索只用一个词进行。检索调整。需要根据改变检索方向，进行相关查找的问题。多种要素检索。用户很难同时照顾到。搜索引擎常用检索优化的形式搜索引擎常用检索优化的形式 利用用户检索查询，提供检索查询的优化。利用用户检索查询，提供检索查询的优化。检索纠错功能。

14、检索纠错功能。将聚类算法的结果作为二次检索的依据。将聚类算法的结果作为二次检索的依据。Similar toSimilar to。百度的检索优化功能百度的检索优化功能自动聚类基础上的检索帮助自动聚类基础上的检索帮助自动聚类基础上的二次检索帮助自动聚类基础上的二次检索帮助万方检索优化实例万方检索优化实例同方的检索优化实例同方的检索优化实例同方检索优化实例同方检索优化实例文本系统的改进努力：控制的纳入文本系统的改进努力：控制的纳入检索方式：检索方式：提供简单检索、高级检索、专业检索等检索界面。上述方面文本系统略优；努力提供自然语言检索能力。（引入句法控制、词汇控制）检索排序：检索排序：多因素结合提供

15、；多种排序方式的采用；两者差距不大。（引入多因素控制）检索优化：检索优化：相关检索帮助，百度，Ask；二次检索；Vivisimo（引入词汇控制）。文本检索系统的改进努力文本检索系统的改进努力文本控制的特点：采用后控的方式；多方面，多角度，词法、句法；多因素；文本控制的不足：词汇控制不严格；一些控制的方式仍有待优化、改进，如自动聚类，检索语句切分等，仍然在发展探索中总体评价：作了大量努力，有明显效果。控制系统的努力与差距控制系统的努力与差距 控制系统加强处理能力，降低成本控制系统加强处理能力，降低成本的努力：联合编目；自动标引试验。控制系统的不足控制系统的不足：检索语言能力的应用与开发不足，优势

16、未得到发挥。检索语言能力的应用与开发的差距的差距可在词表和标引数据基础上提供，而未提供的功能包括：可在词表和标引数据基础上提供，而未提供的功能包括：检索入口方面检索入口方面：入口词检索；以浏览形式提供词表词的问题；相关词的提供问题。检索优化方面：检索优化方面：主题检索帮助方面可以提供的，如结合结合分类等提供；相关主题词提供；分类的二次检索，结合主题标题形式的二次检索帮助等。词汇控制系统的差距何在词汇控制系统的差距何在A，主要是检索端或检索应用方面的差距。，主要是检索端或检索应用方面的差距。B，检索端的重要性：功能是通过检索界面实现的，检索端的重要性：功能是通过检索界面实现的，未实现的功能只是潜

17、在能力；且无法在应用基础未实现的功能只是潜在能力；且无法在应用基础上进一步改进。上进一步改进。C，两者性能各有优缺点。但自然语言系统努力改，两者性能各有优缺点。但自然语言系统努力改进，控制系统改进不力，检索端成为短板。进，控制系统改进不力，检索端成为短板。控制系统检索端差距的原因控制系统检索端差距的原因 对检索语言应用端的重视不够，停留在检索语言编制和标引阶段；缺乏电子环境下应用的研究；与计算机软件编制人员沟通不够；应用基础上的改进不够-持续发展意识不够等。应汲取网络、文本数据库等的发展，结合主题语言的特点改进。维基百科的分类界面维基百科的分类界面-检索界面的多样性检索界面的多样性比较基础上的

18、思考比较基础上的思考 词汇控制是有价值的，文本检索系统改进的手段之一是引入词汇控制；基于词汇控制的检索系统的不足不是词汇控制造成的，而是检索应用的开发不充分的缘故，目前控制系统的检索界面应向文本系统学习，结合控制语言的特点加以开发。四关于主题控制系统标引实四关于主题控制系统标引实践和规则改进的思考践和规则改进的思考基本看法：标引方法和规则是根据应用需要确定的，应结合电子环境下的实践发展、改进和调整。在电子环境下检索系统的探索中，图书馆书目检索系统、文献数据库系统、网络检索系统正经历一个后者向前者学习，超过前者，前者反过来学习后者的过程。不仅要向国外的同行学习，而且要善于向网络、而且要善于向网络

19、、文献数据库的检索发展学习；但向网络学习并非文献数据库的检索发展学习；但向网络学习并非全盘否定自己。全盘否定自己。理论、方法、规则的改进问题理论、方法、规则的改进问题想到的一些问题：检索应用方式的优化改进问题；使用方式以及相应规则的调整问题，比如说：是不是建立标题；轮排还要不要？与标引规则。还要不要控制，自由词的应用问题，入口词的问题；特定主题类型标引规则的调整问题；词表的应用问题，如作为切分工具；词表系统的构建层次问题，如：wordnet关键词叙词 一检索系统中不同特点检索系统之间的结合和分工问题。不同系统之间兼容与互操作问题。其他问题，如主题标引中中文分面公式问题。MARC格式的适用性和改

20、造问题，灵活性问题，如轮排的处理；XML语言应用问题。控制系统的检索应用的改进问题控制系统的检索应用的改进问题想到的几个基本功能，如：检索入口界面词表浏览功能的提供；入口词检索功能的采用，自然语言检索方式的加强；检索优化功能的开发，如结合控制语言的二次检索功能，包括标题词浏览等，相关词的提供等；一检索系统中不同特点检索方法之间的结合和分工问题。不同系统之间兼容与互操作问题。其他方法的引入等。如用户因素等。结合使用方式的相应标引处理结合使用方式的相应标引处理规则的思考或调整，如：规则的思考或调整，如：是不是建立标题；还要不要轮排？（文本系统缓存中的先组标题保留）自由词的应用与控制问题，结合检索词

21、的入口词拓展问题；特定主题类型标引规则的调整问题；如地区，文学、艺术，特殊文献类型等；主题标引中中文分面公式问题；MARC格式的适用性和改造问题，灵活性问题，如轮排的处理；是否建立标题、轮排是否建立标题、轮排国内采用轮替法轮排：例：使用“：”、“，”连接的主题词，轮排中随原连接的词移动。例：联结主题的轮排，必要时对连接词应作适当调整。轮排模式在检索优化中有使用价值。特定主题类型标引规则的调整特定主题类型标引规则的调整问题；如地区，等问题；如地区，等地区应该标引中 城市地理广州 地方志浙江桐乡 雕塑罗马 旅游指南德国科隆主题标引中中文分面公式问题；主题标引中中文分面公式问题；国内主题分面公式归纳

22、为：主体因素（研究对象等中心主题概念）、方面因素或限定因素（成分、材料、方法、过程、条件、状态、尺度、性质等对主体因素研究方面（角度）的说明或限定因素）、空间因素、时间因素、文献类型等。与阮冈纳赞,P;M:ES.T；轮（round），层（level），相（phase）等概念构成的比较完善的主题分析系统之间的差异。通用引用次序通用引用次序 阮冈纳赞的阮冈纳赞的五个基本范畴五个基本范畴 轮（round）、层（level）、相（phase）：同一范畴中，如主题特征不止一个，则可分析出二层本体、三层本体，二层物质、三层物质，用、，、表示。如动力后再出现本体、物质，则称为第二轮本体、第二轮物质，用、表示

23、。如，“合金对直升飞机起落架的加工”可标引为：直升飞机起落架加工车刀合金钢 其他一些与检索语言应用相关的问其他一些与检索语言应用相关的问题题 一检索系统中不同特点检索系统之间的结合和分工问题。不同系统之间兼容与互操作问题。词表的应用问题，如切分工具、用以自然语言检索等；词表的层次问题，如：wordnet关键词叙词；标识语言如XML语言应用问题，XML语言可以了解一些。关于ontology。Peking University Library P.R.China-Beijing/1902-Peking University Library text/html Peking University L

24、ibrary 1996-10-25Library homepage,brief introduction,electronic resources,OPAC,User Guide,News,digital library,Inter-library Loan,FAQ,Navigations,Focus,User training program,CALIS,CAIhttp:/chi http:/ data text/html;charset=gb2312 Title Peking University Library Identifier.URI http:/ Type.OCLCg Text

25、data Type text/html;charset=gb2312 Coverage.spatial P.R.China-Beijing Coverage.temporal 1902-Creator.namePersonal Peking University Library Date.created 1996-10-25 Description Library homepage,brief introduction,electronic resources,OPAC,User Guide,News,digital library,Inter-library Loan,FAQ,Navigat

26、ions,Focus,User training program,CALIS,CAI Format text/html Language.ISO639-2 chi Publisher Peking University Library Relation.hasVersion http:/ Strongly-structured强结构词表term listsSynonym Rings 同义词环同义词环Authority Files 规范文档规范文档Glossaries/Dictionaries 词汇词汇/字典字典Gazetteers 地名表地名表Natural language 自然语言Cont

27、rolled language 受控语言Weakly-structured弱结构分类与大致归类 Classification&Categorization:Subject Headings 标题表标题表 Classification schemes(文献文献)分类法分类法 Taxonomies 知识分类表知识分类表 Categorization schemes 大致归类类表大致归类类表关联组织 Relationship Groups Ontologies 本体本体 Semantic networks语义网络语义网络 Concept maps 概念图概念图Thesauri 叙词表叙词表Pick lists 可选词表曾蕾：受控语言标准最新进展理论、方法、规则的改进问题理论、方法、规则的改进问题想到的一些问题：检索应用方式的优化改进问题；使用方式以及相应规则的调整问题，比如说：是不是建立标题；轮排还要不要？与标引规则。还要不要控制，自由词的应用问题，入口词的问题；特定主题类型标引规则的调整问题；词表的应用问题，如作为切分工具；词表系统的构建层次问题，如：wordnet关键词叙词 一检索系统中不同特点检索系统之间的结合和分工问题。不同系统之间兼容与互操作问题。MARC格式的适用性和改造问题，灵活性问题，如轮排的处理；XML语言应用问题。其他问题，如主题标引中中文分面公式问题；谢谢！