资讯检索系统测试集之比较

《资讯检索系统测试集之比较》由会员分享，可在线阅读，更多相关《资讯检索系统测试集之比较（39页珍藏版）》请在装配图网上搜索。

1、資訊檢索系統測試集之比較 圖書與資訊學刊第29期(1999年5月)by 江玉婷，陳光華台大圖資所碩士論文測試集(Test Collections)z組成要素y文件集(Document Set;Document Collection)y查詢問題(Query;Topic)y相關判斷(Relevant Judgement)z用途y設計與發展:系統測試y評估:系統效能(Effectiveness)之測量y比較:不同系統與不同技術間之比較z評比y根據不同的目的而有不同的評比項目y量化的測量準則，如Precision與Recall測試集(Test Collections)(續)z小型測試集y早期:Cran

2、fieldy英文:SMART,OHSUMED,Cystic Fibrosis,LISA.y日文:BMIR-J2z大型評比環境:提供測試集及研討的論壇y美國:TRECy日本:NTCIR,IREX,y歐洲:AMARYLLISCranfield IIz比較33種不同索引方式之檢索效益z蒐集1400篇有關太空動力學的文件(摘要形式)z請每位作者根據這些文件與其當時研究的主題提出問題，經篩選後產生200餘個查詢問題Cranfield II(Continued)zCranfield II測試集中相關判斷建立四個步驟y首先請提出查詢問題的建構者對文件後所附之引用及參考文獻進行相關判斷y接著請五位該領域的研究

3、生將查詢問題與每篇文件逐一檢視，共花了1500小時進行了50萬次以上的相關判斷，希望能找出所有的相關文件。y為了避免前述過程仍有遺漏，又利用文獻耦合的概念計算文件間之相關性，發掘更多的可能相關文件。若有兩篇以上的文獻共同引用了一篇或多篇論文，則稱這些文獻間具有耦合關係。y最後，將以上找出的所有文件，再一併送回給原作者進行判斷。TREC簡介zTREC:Text REtrieval Conferencez主辦:NIST及DARPA，為 TIPSTER文件計劃之子計劃之一 z文件集y5GB以上y數百萬篇文件TREC 文件集TREC之文件標示TREC-1 and TREC-2查詢主題TREC-3查詢主

4、題TREC-4查詢主題TREC查詢主題z主題結構與長度z主題建構z主題篩選ypre-searchy判斷相關文件的數量TREC-6之主題篩選程序TREC相關判斷z判斷方法yPooling Methody人工判斷z判斷基準:二元式,相關與不相關z相關判斷品質y完整性y一致性Pooling法z針對每個查詢主題，從參與評比的各系統所送回之測試結果中抽取出前n篇文件，合併形成一個Poolz視為該查詢主題可能的相關文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構者進行相關判斷。z利用此法的精神是希望能透過多個不同的系統與不同的檢索技術，盡量網羅可能的相關文件，藉此減少人工判斷的負荷。T

5、REC 候選集合與實際相關文件之對照表TREC評比TREC質疑與負面評價z測試集方面y查詢主題x並非真實的使用者需求,過於人工化x缺乏需求情境的描述y相關判斷x二元式的相關判斷不實際xpooling method會遺失相關文件,導致回收率不準確x品質與一致性z效益測量方面y只關注量化測量y回收率的問題y適合作系統間的比較,但不適合作評估TREC質疑與負面評價(續)z評比程序方面y互動式檢索x缺乏使用者介入x靜態的資訊需求不切實際BMIR-J2 簡介z第一個日文資訊檢索系統測試集yBMIR-J1:1996yBMIR-J2:1998.3z發展單位:IPSG-SIGDSz文件集:主要為新聞文件y每日

6、新聞:5080篇y經濟與工程z查詢主題:60個BMIR-J2 相關判斷z以布林邏輯結合關鍵詞檢索1-2個IR系統z由資料庫檢索者做進一步的相關判斷z由建構測試集的人員再次檢查BMIR-J2 查詢主題Q:F=oxoxo:“Utilizing solar energy”Q:N-1:Retrieve texts mentioning user of solar energyQ:N-2:Include texts concerning generating electricity and drying things with solar heat.z查詢主題的分類y目的:標明該測試主題的特性,以利系統

7、選擇y標記:o(necessary),x(unnecessary)y類別xThe basic functionxThe numeric range functionxThe syntactic functionxThe semantic functionxThe world knowledge function:NTCIR 簡介zNTCIR:NACSIS Test Collections for IRz主辦:NACSIS(日本國家科學資訊系統中心)z發展背景y大型日文標竿測試集的需求y跨語言檢索的研究發展需要z文件集y來源為NACSIS Academic Conference Papers D

8、atabasey主要為會議論文的摘要y超過330,000篇文件,其中超過1/2為英日文對照之文件y有部分包含part-of-speech tagsNTCIR查詢主題z來源:搜集真實的使用者需求,再據其修正改寫z每個學科主題領域各有100個測試主題z組成結構編號 標題 資訊需求之簡短描述 資訊需求之細部描述,包括更進一步的解釋,名詞的定義,背景知識,檢索的目的,預期的相關文件數量,希望的文件類型,相關判斷的標準等 相關概念的關鍵詞 NTCIR 相關判斷z判斷方法y利用pooling method先進行篩選y由各主題專家,及查詢主題的建構者進行判斷z判斷基準yA:相關yB:部分相關yC:不相關z精

9、確率計算:依測試項目的不同而有不同yRelevant:B與C均視為不相關yPartial Relevant:A與B均視為相關NTCIR評比zAd-hoc Information Retrieval TaskzCross-lingual Information Retrieval Tasky利用日文查詢主題檢索英文文件y共有21個查詢主題,其相關判斷包括英文文件與日文文件y系統可選擇自動或人工建立查詢問題y系統需送回前1000篇檢索結果zAutomatic Term Extraction and Role Analysis TaskyAutomatic Term Extraction:從題名與摘

10、要中抽取出technical termsyRole Analysis Task:抽取出主旨,研究方法,研究程序IREX 簡介zIREX:Information Retrieval and Extraction Exercisez主辦:IREX Committeez參加者:約20隊(或以上)z預備測試：利用BMIR-J2測試集中之查詢主題z文件集y每日新聞,1994-1995y參加者必須購買新聞語料IREX 查詢主題z組成結構編號 簡短的資訊需求,主要為名詞與其修飾語 構成的名詞詞組 詳細的資訊需求,以自然語言敘述,通常為2 至3個句子組 成,亦包含名詞解釋,同義詞 或實例.ydescripti

11、on欄位中的詞彙必須包含在narrative欄位中IREX 相關判斷z判斷依據:測試主題的所有欄位z判斷方法:由學生二名進行判斷y若二人之判斷結果一致,則完成相關判斷y若二人之判斷結果不一致或不確定,則由三人來作最後的判定z判斷基準y學生:6個判斷層次xA:相關A?:不確定是否為相關xB:部分相關B?:不確定是否為部分相關xC:不相關C?:不確定是否為不相關IREX 相關判斷(續)y最終判斷者:3個判斷層次xA:相關xB:部分相關xC:不相關z相關判斷的修正IREX 評比z評比項目yName Entity Task(NE)x與MUC相似,測試系統自動抽取專有名詞的能力,如組織名,人名,地名等.

12、x一般領域文件抽取 v.s.特殊領域文件抽取yInformation Retrieval(IR)x與TREC相似z評比規則y送回文件：前300篇yQuery的建構：一律由系統自動建構BMIR-J2 簡介z第一個日文資訊檢索系統測試集yBMIR-J1:1996yBMIR-J2:1998.3z發展單位:IPSG-SIGDSz文件集:主要為新聞文件y每日新聞:5080篇y經濟與工程z查詢主題:60個BMIR-J2 相關判斷z以布林邏輯結合關鍵詞檢索1-2個IR系統z由資料庫檢索者做進一步的相關判斷z由建構測試集的人員再次檢查BMIR-J2 查詢主題Q:F=oxoxo:“Utilizing solar

13、 energy”Q:N-1:Retrieve texts mentioning user of solar energyQ:N-2:Include texts concerning generating electricity and drying things with solar heat.z查詢主題的分類y目的:標明該測試主題的特性,以利系統選擇y標記:o(necessary),x(unnecessary)y類別xThe basic functionxThe numeric range functionxThe syntactic functionxThe semantic functi

14、onxThe world knowledge function:AMARYLLIS簡介z主辦：INIST(INstitute of Information Scientific and Technique)z參加者:約近10隊z文件集y新聞文件:the World,共2萬餘篇yPascal(1984-1995)及Francis(1992-1995)資料中抽取出來的文件題名與摘要部分,共30餘萬篇AMARYLLIS查詢主題z組成結構編號 所屬之學科領域 標題 資訊需求之簡單描述 資訊需求之詳細描述 概念,敘述語AMARYLLIS相關判斷z原始的相關判斷y由文件集之擁有者負責建構z標準答案的修正y加入x不在最初的標準答案中，但被一半以上的參加者檢索出來的文件x參加者所送回的檢索結果中的前10篇的文件y減去x在原始的標準答案中出現，但在參加者送回的檢索結果中未出現的文件AMARYLLIS評比z系統需送回檢索結果的前250篇z系統可選擇採取自動或人工的方式建立queryz評比項目yRouting TaskyAdhoc Task