副词都用法自动识别研究

《副词都用法自动识别研究》由会员分享，可在线阅读，更多相关《副词都用法自动识别研究（16页珍藏版）》请在装配图网上搜索。

1、副词都用法自动识别研究 Still waters run deep.流静水深流静水深,人静心深人静心深 Where there is life,there is hope。有生命必有希望。有生命必有希望目录目录n引言引言n副词副词“都都”的用法描述的用法描述n副词副词“都都”的用法自动识别研究的用法自动识别研究n基于规则的副词基于规则的副词“都都”用法自动识别用法自动识别n基于统计的副词基于统计的副词“都都”用法自动识别用法自动识别n规则与统计相结合的副词规则与统计相结合的副词“都都”用法自动识用法自动识别别n结语结语郑州大学自然语言处理实验室郑州大学自然语言处理实验室引言引言n在现代汉语中，

2、副词的句法功能相对比较在现代汉语中，副词的句法功能相对比较简单，然而，一些常用副词不仅使用频率简单，然而，一些常用副词不仅使用频率很高，而且用法丰富多样很高，而且用法丰富多样n对于副词研究，尤其是一些义项纷繁、用对于副词研究，尤其是一些义项纷繁、用法灵活的常用副词，需要针对个例，作仔法灵活的常用副词，需要针对个例，作仔细的考察和对比细的考察和对比郑州大学自然语言处理实验室郑州大学自然语言处理实验室引言引言n“都都”主要有三个义项主要有三个义项:n范围的总括范围的总括n无论工作大小，我们无论工作大小，我们都都要把它做好。要把它做好。n表达语气表达语气n真抱歉，我真抱歉，我都都忘了你的名字了。忘了

3、你的名字了。n表时间表时间 n饭饭都都凉了，快吃吧！凉了，快吃吧！郑州大学自然语言处理实验室郑州大学自然语言处理实验室1 副词副词“都都”的用法描述的用法描述n根据俞士汶等提出的根据俞士汶等提出的“三位一体三位一体”构建现构建现代汉语广义虚词知识库的思路，昝红英等代汉语广义虚词知识库的思路，昝红英等初步构建了虚词用法词典、用法规则库以初步构建了虚词用法词典、用法规则库以及用法标注语料库及用法标注语料库“三位一体三位一体”的现代汉的现代汉语虚词知识库语虚词知识库n副词副词“都都”共有共有3个义项个义项11个用法个用法 郑州大学自然语言处理实验室郑州大学自然语言处理实验室表表1 1副词副词“都都”

4、的用法描述的用法描述 IDID释义释义用法用法d_dou_1d_dou_1表示表示总总括全部。括全部。除除问话问话以外，所以外，所总总括的括的对对象必象必须须放在放在“都都”前。也可以前。也可以说说“全都全都”，总总括的括的意思更明意思更明显显。d_dou_1ad_dou_1a表示表示总总括全部。括全部。所所总总括的括的对对象可以用表示任指的疑象可以用表示任指的疑问问指代指代词词。d_dou_1bd_dou_1b表示表示总总括全部。括全部。所所总总括的括的对对象前可以用象前可以用连词连词“不不论论、不管、无、不管、无论论、凡是、只要、凡是、只要”。d_dou_1cd_dou_1c表示表示总总括

5、全部。括全部。问话时总问话时总括的括的对对象（疑象（疑问问代代词词）放在）放在“都都”后。后。d_dou_1dd_dou_1d表示表示总总括全部。与括全部。与“是是”搭配。搭配。说说明原因，有明原因，有责备责备的意思。的意思。与与“是是”搭配。搭配。d_dou_2d_dou_2甚至。甚至。“都都”轻读轻读。修修饰动词饰动词或或动词动词短短语语。d_dou_2ad_dou_2a甚至。甚至。“都都”轻读轻读。与。与“连连”字同字同用，有用，有强强调语调语气的作用。气的作用。与与“连连”字同用。字同用。d_dou_2bd_dou_2b甚至。甚至。“都都”轻读轻读。“都都”前后用同一个前后用同一个动词

6、动词（前肯定，后否定）。（前肯定，后否定）。A(A(不不|没没|没有没有|未未|df)A|df)A 或或 AA(AA(不不|没没|没有没有|未未|df)|df)。d_dou_2cd_dou_2c甚至。甚至。“都都”轻读轻读。一一+量量词词+.+.+动词动词（否定式）。（否定式）。d_dou_2dd_dou_2d甚至。甚至。“都都”轻读轻读。用于表示用于表示让让步的小句，引出表示主要意思的小句。步的小句，引出表示主要意思的小句。d_dou_3d_dou_3已已经经。句末常用句末常用“了了”。郑州大学自然语言处理实验室郑州大学自然语言处理实验室1 副词副词“都都”的用法描述的用法描述n与表与表1相

7、对应的副词相对应的副词“都都”的用法规则描述：的用法规则描述：$都都N Nv|aM M谁谁|哪里哪里|什么什么|怎么怎么|哪儿哪儿|哪哪|M M(不论不论|不管不管|无论无论|虽然虽然|尽管尽管|凡是凡是|只要只要)*，NE N谁谁|哪里哪里|什么什么|怎么怎么|哪儿哪儿|哪哪|E？FR F R是是N NvM M连连|甚至甚至AA(不不|没没|没有没有|未未|)AvA(不不|没没|没有没有|未未|)*A AvMN M一一q N不不|没没|没有没有|未未|N N，*(不不|没没|)E E了，了，郑州大学自然语言处理实验室郑州大学自然语言处理实验室2.1 基于规则的副词基于规则的副词“都都”用法自

8、动识别用法自动识别 n因为规则用法自动识别过程中，系统按照因为规则用法自动识别过程中，系统按照给出的规则逐条进行匹配，所以需对规则给出的规则逐条进行匹配，所以需对规则的顺序进行调整的顺序进行调整n语料来源：语料来源：2000年年46月的月的人民日报人民日报语料语料 北京大学北京大学郑州大学自然语言处理实验室郑州大学自然语言处理实验室表表2 副词副词“都都”的用法分布的用法分布IDID分布率分布率（%）词频词频d_dou1_1d_dou1_183.983.956995699d_dou1_1ad_dou1_1a2.72.7180180d_dou1_1bd_dou1_1b9.009.00611611

9、d_dou1_1cd_dou1_1c0.130.139 9d_dou1_1dd_dou1_1d0.120.128 8d_dou1_2d_dou1_20.600.604343d_dou1_2ad_dou1_2a2.402.40160160d_dou1_2bd_dou1_2b0.060.064 4d_dou1_2cd_dou1_2c0.210.211414d_dou1_2dd_dou1_2d0.180.181212d_dou1_3d_dou1_30.750.755151合合计计100.00100.0067916791郑州大学自然语言处理实验室郑州大学自然语言处理实验室表表3基于规则的副词基于规则的

10、副词“都都”的用法自动识别的用法自动识别IDID准确率（准确率（%）召回率（召回率（%）F F值值（%）d_dou1_1d_dou1_199.6199.6180.1980.1988.8588.85d_dou1_1ad_dou1_1a74.4674.4676.1176.1175.2775.27d_dou1_1bd_dou1_1b89.4089.4099.3599.3594.1194.11d_dou1_1cd_dou1_1c100.00100.0077.7777.7787.5087.50d_dou1_1dd_dou1_1d3.643.64100.00100.007.027.02d_dou1_2d_

11、dou1_20 00 00 0d_dou1_2ad_dou1_2a85.2585.2597.5097.5090.9690.96d_dou1_2bd_dou1_2b100.00100.0050.0050.0066.6766.67d_dou1_2cd_dou1_2c61.1161.1178.5778.5768.7568.75d_dou1_2dd_dou1_2d1.091.0975.0075.002.152.15d_dou1_3d_dou1_368.5768.5794.1294.1279.3479.34合合计计82.0082.0081.8081.8081.9081.90郑州大学自然语言处理实验室郑州

12、大学自然语言处理实验室2.2 基于统计的副词基于统计的副词“都都”用法自动识别用法自动识别n统计模型：条件随机场（统计模型：条件随机场（CRF）n窗口：窗口：7,3 n特征模版：特征模版：n上下文窗口的词语信息上下文窗口的词语信息+词性信息词性信息+词语和词语和词性的复合信息词性的复合信息郑州大学自然语言处理实验室郑州大学自然语言处理实验室表表4 基于统计的副词基于统计的副词“都都”的用法自动识别的用法自动识别 IDID准确率（准确率（%）召回率（召回率（%）F F值值(%)(%)d_dou1_1d_dou1_189.8489.8499.2899.2894.3294.32d_dou1_1ad_

13、dou1_1a78.8178.8151.6751.6762.4262.42d_dou1_1bd_dou1_1b86.9286.9236.9936.9951.9051.90d_dou1_1cd_dou1_1c0 00 00 0d_dou1_1dd_dou1_1d0 00 00 0d_dou1_2d_dou1_250.0050.002.332.334.454.45d_dou1_2ad_dou1_2a100.00100.0065.6365.6379.2579.25d_dou1_2bd_dou1_2b0 00 00 0d_dou1_2cd_dou1_2c0 00 00 0d_dou1_2dd_dou1

14、_2d0 00 00 0d_dou1_3d_dou1_342.8642.865.885.8810.3410.34合合计计89.6289.6289.6289.6289.6289.62郑州大学自然语言处理实验室郑州大学自然语言处理实验室2.3 规则与统计相结合的副词规则与统计相结合的副词“都都”用法用法自动识别自动识别n思想：对包含副词思想：对包含副词“都都”的句子分别进行基的句子分别进行基于规则和基于统计的方法自动识别，结果分于规则和基于统计的方法自动识别，结果分以下三种情况：以下三种情况：n两者都没有识别结果，识别失败两者都没有识别结果，识别失败n两者只识别出一个结果，即两者之一没有识别两者只

15、识别出一个结果，即两者之一没有识别结果或者两者识别结果相同，则标注该用法结果或者两者识别结果相同，则标注该用法n两者识别结果不同，对比两者各自在原模型中两者识别结果不同，对比两者各自在原模型中识别准确率的大小，标注准确率较高的用法识别准确率的大小，标注准确率较高的用法 郑州大学自然语言处理实验室郑州大学自然语言处理实验室表表5 规则与统计相结合的副词规则与统计相结合的副词“都都”用法自动识别用法自动识别 IDID准确率（准确率（%）召回率（召回率（%）F F值值（%）d_dou1_1d_dou1_199.5899.5899.6599.6599.6299.62d_dou1_1ad_dou1_1a

16、97.7797.7797.2297.2297.4997.49d_dou1_1bd_dou1_1b96.4596.4597.8797.8797.1597.15d_dou1_1cd_dou1_1c77.7877.7877.7877.7877.7877.78d_dou1_1dd_dou1_1d87.5087.5087.5087.5087.5087.50d_dou1_2d_dou1_27.417.414.654.655.715.71d_dou1_2ad_dou1_2a99.3899.3899.3899.3899.3899.38d_dou1_2bd_dou1_2b100.00100.0050.0050.

17、0066.6766.67d_dou1_2cd_dou1_2c73.3373.3378.5778.5775.8675.86d_dou1_2dd_dou1_2d44.4444.4466.6766.6753.3353.33d_dou1_3d_dou1_388.0088.0086.2786.2787.1387.13合合计计98.5498.5498.5498.5498.5498.54郑州大学自然语言处理实验室郑州大学自然语言处理实验室3 结语结语 n对对“都都”的用法分别进行了基于规则、基的用法分别进行了基于规则、基于统计以及规则和统计相结合的自动识别于统计以及规则和统计相结合的自动识别研究研究n考虑提出其他的规则和统计相结合方法进考虑提出其他的规则和统计相结合方法进一步提高用法的自动识别的准确率一步提高用法的自动识别的准确率n考虑在用法自动识别的前提下，将用法识考虑在用法自动识别的前提下，将用法识别应用到句法分析等其他自然语言处理领别应用到句法分析等其他自然语言处理领域域郑州大学自然语言处理实验室郑州大学自然语言处理实验室谢谢！谢谢！郑州大学自然语言处理实验室郑州大学自然语言处理实验室