IT开发知识库 - 立志做成最实用的开发手册!
综合 互联网 操作系统 开源软件 共享软件 系统运维
当前位置: 开发知识库 > 综合 > 开源软件 > ansj词典加载及简洁分词过程

ansj词典加载及简洁分词过程

时间:2015-07-08来源:未知 作者:admin点击:
ansj词典加载及简要分词过程 粗略看了点ansj源代码,记录备忘。   词典等配置文件加载类 (以调用 NlpAnalysis 分词类为例): 1,   MyStaticValue 初始化 NlpAnalysis 中 static 的静态变量 spli
ansj词典加载及简要分词过程

粗略看了点ansj源代码,记录备忘。

 

词典等配置文件加载类(以调用NlpAnalysis分词类为例):

1,  MyStaticValue

初始化NlpAnalysisstatic的静态变量splitword时调用了MyStaticValue类,该类中几乎所有变化、方法均是静态的。包括以ResourceBundle.getBundle("library")获取library.properties配置文件,读取用户词典路径、歧义词典路径、是否用户辞典不加载相同的词isSkipUserDefineisRealName。并读取resources目录下的companypersonnewwordnature(词性表、词性关联表)等文件夹中的数据,及resources目录下bigramdict.dicbi-gram模型)、英文词典englishLibrary.dic、数字词典numberLibrary.dic,以及加载crf模型。

2DATDictionary

MyStaticValue读取数据中,如加载bigramdict.dic时,会根据词调用DATDictionary.getItem获取AnsjItem,而在DATDictionary类中包含静态变量DAT,加载core.dic这个核心词典,构造双数组trie

3UserDefineLibrary

NlpAnalysis的父类Analysis中定义成员ambiguityForest,初始化为UserDefineLibrary.ambiguityForestUserDefineLibrary类中均为静态方法。该类加载配置文件中userLibrary项对应路径的词典,包括用户词典,及歧义词典。均加载为Forest

 

 

 

各词典内容及加载:

core.dic为构造双数组trie树,森林。

DATDictionary.loadDAT()中加载,返回DoubleArrayTire(有限状态的自动机。每个节点代表自动机的一个状态,根据变量的不同,进行状态转移,当到达结束状态或者无法转移的时候,完成查询DoubleArrayTire.getItem

理解双数组:1base-index2check-indexbase用于确定状态的转移,check用于检验转移的正确性

11万。第一行是树大小。

列:index(id),name(),base,check,status,{词性=词频,词性=词频….}

Indexdat数组的下标,对于字,是字符的ascii

name不一定是一个词,也可能是词的前缀

base默认为65536216次方)。词的index为前缀词的base+末字。如index(泰晤士报)=base(泰晤士)+‘65536表示为叶子节点

check是词由哪个词转换过来的,即前缀。如公因数、公因式的check118193,而118193为公因的id。而公因的check20844,为公的id。单字为-1

status当前单词的状态。status>1时用index、词性词频构成词。词的默认词性为词频最大的词性。IN_SYSTEM中只保存status<4的词,status<2的词name被赋为nullstatus为各个值的意义,见Analysis.analysis方法及以下词典文件:1词性词频为null的字、词,不能单独存在,应继续;4为圆半角英文字母及'5为数字、小数点、百分号;23为词,其中2表示是个词但是还可以继续,3表示停止已经是个词了。

core词典参考附件

 

人名标注先后加载person/person.dicperson/asian_name_freq.data

人名加载在DATDictionary.loadDAT()方法中仅次于读取何鑫词典生成双数组trie树执行。PersonAttrLibrary调用MyStaticValue加载。两者加载在同一个map中,key为词,valuePersonNatureAttr两个pna不同。前者的pna调用addFreq设置beginendsplitallFreq,后者的pna调用setlocFreq设置词在某一长度的词中某一位置的词频。加载完后若词的长度为1且不在dat中,将其添加到dat

person.dic词语的上下文。格式列:词,index,freqindex取值为11(人名的下文),12(两个中国人名之间的成分),44(可拆分的姓名)

asian_name_freq.data(对象反序列化)字体位频率表。初始文件加载结果为一个mapkey为词,value为大小为3的数组,各元素分别为大小为234的数组。分别表示在2字人名、3字人名、4字人名中第1-2,1-3,1-4个位置出现的概率。参考http://ansjsun.iteye.com/blog/1678483

 

 

词性及词性标注

nature/nature.map四列,index,词性index,词性,词性allfreq。其中所列的词性比下表中提供的词性少,仅有其中的一类和部分二类词性(也并非子集)。

词性表参考附件

 

nature/nature.table是词性关联表。行数(50行)等同于nature.map中的行数,并且与nature.map相对应,即每行表示的词性同nature.map中的词性。每行中有50个列,即构成50*50的矩阵,每个(ij)位置的数值表示从前一个词的词性i变化到下一个词的词性j的发生频次。用在词性标注工具类NatureRecognition

词性标注:NatureRecognition.recognition()。以传入的分词结果构造NatureRecognition对象,其中成员natureTermTable为二维数组,每行表示当前词的词性数组NatureTerm[]

 

bigramdict.dic

词关联表。Bi-Gram。词典中为词与词之间的关联数据,@前为from,后为to及词频。

Bi-Gram,是二元的N-Gram(汉语语言模型,又称为一阶马尔科夫链。该模型基于这样一种假设,第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关)。计算出每种分词后句子出现的概率,并找出其中概率最大的,即为最好的分词方法。

 

用户自定义词典library.properties中配置,MyStaticValue加载配置文件,由UserDefineLibrary根据词典路径加载词典。用户词典可以为目录,其中的词典必须后缀名为dic,如果设置了MyStaticValue.isSkipUserDefine,且在核心词典中存在该词,则跳过;若当前行只有列数不为3,以默认词性userDefine/词频1000构造。Library.insertWord(forest, value)加载用户自定义词典:添加过程:初始branch指向forest。每个字生成一个branch,除最后一个字生成的branchstatus3,参数为resultParams外,其余的branchstatus1,参数为null。在当前字branch的子节点branches中二分查找下一个字(其中branches是字典序排列的),若查找失败,添加到合适位置上,否则更新当前branchstatus1继续,2是个词语但是还可以继续,3确定nature

 

歧义词典ambiguity.dic

加载过程中不负责解析歧义,只区分原词temp和剩下所有的词resultParams(数组),逐字添加tempforest中。歧义词典只有一个文件。添加temp的过程为同添加用户自定义词典的过程,调用Library.insertWord。歧义词典中的词性不是很重要,但是需要。词性也可是null,若是null,分词后该词无词性标注。歧义词典中也可以只有一个词,定义一定要分的词,如“江湖上         江湖上     n”,这种情况下“江湖上是比分的。要慎用。

 

 

 

crf模型:crf/crf.model

MyStaticValue调用。该model文件是由crf++生成的明文模型调用GZIPOutputStream压缩过后的文件。Model.writeModel执行。Model.loadModel调用GZIPInputStream执行解压

CRF++模型文件model

 

模型格式参考:http://www.hankcs.com/nlp/the-crf-model-format-description.htmlCRF模型格式)

 

CRFModel.parseFile读取模型文件。依次读取文件头【其中maxid为特征数,即特征权值的行数】、标签statusMap存储输出标签,即状态。tagNum为标签数,若为BEMS则为4】、模板【同crf++训练是的template文件中的内容,去掉空行。Template.parse解析模板,返回一个Template t,其ft变量为二维数组,其大小为模板的行数,t.ft[index] = ints,其中index为每行模板的编号,ints为数组,其值为对应的行号(代码中为空格分隔,且与列位置无关)。如“U05:%x[-2,0]/%x[-1,0]/%x[0,0]”t.ft[5] = ints[-2,-1,0]t.leftt.right分别为ints中数值的最小值与最大值】、特征函数【每行是一个TempFeature。如“107540 U05://面”,id107540/tagNumfeatureId5name为词,即“一方面”。其中id16开始,而0-15BEMS转移到BEMS的转移函数,id也不是连续的,而是隔了tagNum个】、特征函数权值【依id顺序对应每个特征函数的权值,前16行为转移函数权值,用二维数组status表示。随后返回mapmyGradkey为词,valueFeature连续的4个权值对应一个特征函数BEMS状态下的权值,例如第17-20行权值对应id16的特征函数。每读一行权重,更新Featurevaluew,其中value4个权重累加,w为二维数组,大小同t.ft的大小,w[fIndex][sta]fIndex对应TempFeature中的featureIdsta0-tagNum-1,相同的fIndexsta权重累加,即若存在相同的特征函数和输出状态,权重累加】。

SplitWord(Model model)根据statusMap标签构造SplitWord对象

 

 

分词过程Analysis.analysisStr

<!--[if !supportLists]-->1,  <!--[endif]-->构造最短路径图Graph

<!--[if !supportLists]-->2,  <!--[endif]-->判断是否启用歧义词典。若是,找出句子中是否包含歧义词。若不存在,对整个句子调用Analysis.analysis;若存在,优先歧义词:以歧义词分隔原句子,根据歧义分词数组中的词及词性逐个添加到graph中,并对非歧义词的部分分别调用Analysis.analysisAnalysis.analysis的过程为按字从DAT中找,通过GetWordsImpl.allWords()查询字在DAT中的basecheck等获得状态返回单字或词,调用graph.addTerm添加节点到graphterms数组中,同时标注是否为数字,英文

 

以下例子:让战士们过一个欢乐祥和的新春佳节,添加完后terms为如图1所示

      而以下例子:让战士们过一个阖家欢乐的新春佳节,添加完后terms为如图2所示

 


 

原因是阖、阖家core中的status均为1,认为不是词应继续;而欢、祥、战等的status2,认为是词,只是可以继续

<!--[if !supportLists]-->1,  <!--[endif]-->调用getResult(graph)获取分词结果。各粒度的分词结果区别就在于该方法,analysisStr都没有重写,都是调用父类的。各重写的getResult(graph)方法中均定义Merger类,包含merger()getResult()方法,代为获取分词结果。Merger中首先调用graph.walkPath()遍历打分 (官方说明:N最短路径的粗切分,根据隐马尔科夫模型和viterbi算法,达到最优路径的规划)

graph.walkPath()计算过程:从根节点开始,依次获取terms中各个节点,对其各个前置节点,分别计算分值,取分值最小的设置为其from节点。其中该分值表示为从from节点到当前节点的可能性,计算该分值在MathUtil.compuScore中,(hmm/viterbi算法:转移概率+表现概率),为from节点的score+当前value,而当前valuefrom所属词性的频率及bigramdic中设定的from到当前词的关联数值等决定随后调用optimalRoot()根据路径从后往前修改terms数组,将不在路径上的term设为null,非null的依次就是该句的分词结果

BaseAnalysis的分词过程极为以上的过程

    ToAnalysis多支持了用户词典、数字、人名的识别。在Merger.merger()中增加了NumRecognition.recognition()AsianPersonRecognition().recognition()userDefineRecognition

其中userDefineRecognition是在基础分词步骤3的基础上,遍历所生成的terms数组中的词,根据词是否结束,即状态1-3,识别是不是在用户自定义词典中。若自定义词生效,即需要更新terms数组。具体步骤:

1UserDefineRecognition().recognition()执行后找出了句子中在用户自定义词典中的词,在对应词的位置生成新的节点term,为原termnext节点

2graph.rmLittlePath()匹配最长的term,执行后若无交叉,以最长匹配更新terms中的词,否则暂不修改

3graph.walkPathByScore()mergerByScore对节点遍历打分。打分类似于walkPath(),区别在于walkPath()计算分值时使用了viterbi算法,而该方法仅考虑了词频。当前词的分值为本词的负词频与from词的分值之和。由此分值往后传递。词频高的词优于词频低的词就在这体现。执行后的结果是根据最优路径修改各词的from节点和分值

以下例子"上海电力怎爸爸去哪儿么办",原分词结果为[上海/ns,电力/n, /r, 爸爸/n, /v, 哪儿/r, /y, /v]若添加用户词“爸爸去哪儿,该词生效,其中term“爸爸去哪儿term“爸爸next节点,分词结果为“上海/电力//爸爸去哪儿//;若用户词为“怎爸,不能生效;甚至用户词为“爸爸去哪,也不能生效,虽然能识别出“爸爸和“去,但是“哪儿不在用户词典所创建的树中。若用户词包含“爸爸去哪儿和“去哪儿了呢,且前者词频高于后者,前者被分出来;否则后者被分出来,词频相同时根据从后往前原理,也是后者优先。

IndexAnalysisToAnalysisMergermerger方法相同,区别在于MergergetResult方法,后者仅移除terms数组中为nullterm,而前者针对长度大于等于3的词,还会调用GetWordsImpl.allWords()进行一次分词,将其中长度超过1的词也添加到terms数组中

NlpAnalysisToAnalysis的区别在于它在标准分词的基础上会进行词性调整NatureRecognition.recognition(),并引入了crf模型来分词,以及增加了新词发现LearnTool功能

其中词性标注NatureRecognition.recognition(),标准分词结果中的词性是取得core词典中该词freq最高的词性,而该方法会对所有的词性比较,计算各个词性到后一个词词性的可能性,该可能性与nature.table中定义的词性相关性及词性本身的频率有关,计算见MathUtil.compuNatureFreq将计算结果最大的设为后一个词性的from词性。

LearnTool.learn方法中只有对亚洲和外国人名的识别,没有其他功能。

 

 

其他辅助类及辅助方法:

GetWordsImpl.getStatement 0.代表这个字不在词典中 1.继续 2.是个词但是还可以继续 3.停止已经是个词了。

 

WordAlert是字符串规范的转换类

MathUtil是计算的类,包括计算两个词性之间的分数(NatureLibrary.getTwoNatureFreq,根据NATURETABLE),两个词之间的分数(NgramLibrary.getTwoWordFreqNgramLibrary中加载)等

 

Analysis.setRealName,可能是分词过程中将部分词进行了标准化,比如繁体转简体,%等(见DATDictionary.IN_SYSTEM),该方式是返回原句的分词。但是测试“%始终返回的是原词

 




 

顶一下
(18)
90%
踩一下
(2)
10%
------分隔线----------------------------
相关内容
推荐内容