從形式上看,詞是穩定的字的組合,因此在上下文中,相鄰的字同時出現的次數越多,就越有可能構成一個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度進行統計,計算它們的互現信息。
定義兩個字的互現信息,計算兩個漢字X、Y的相鄰共現概率。互現信息體現了漢字之間結合關系的緊密程度。當緊密程度高于某一個閾值時,便可認為此字組可能構成了一個詞。這種方法只需對語料中的字組頻度進行統計,不需要切分詞典,因而又叫做無詞典分詞法或統計取詞方法。但這種方法也有一定的局限性,會經常抽出一些共現頻度高、但并不是詞的常用字組,例如“這一”、“之一”、“有的”、“我的”、“許多的”等,并且對常用詞的識別精度差,時空開銷大。實際應用的統計分詞系統都要使用一部基本的分詞詞典(常用詞詞典)進行串匹配分詞,同時使用統計方法識別一些新的詞,即將串頻統計和串匹配結合起來,既發揮匹配分詞切分速度快、效率高的特點,又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。
前面我們有講到《SEO之基于字符串匹配的分詞方法》和《SEO之基于理解的分詞方法》,那么這三種方法中,到底是哪種SEO分詞算法的準確度更高,目前尚無定論。對于任何一個成熟的分詞系統來說,不可能單獨依靠某一種算法來實現,對于中文詞的識別,需要綜合多種算法來處理不同的問題。
分詞準確性對搜索引擎來說非常重要,如果分詞速度太慢,即使準確性再高,對于搜索引擎來說也是不可用的,因為搜索引擎需要處理數以億計的網頁,如果分詞耗用的時間過長,會影響到搜索引擎對內容的更新速度。因此對于搜索引擎來說,分詞的準確性和速度,都需要達到很高的要求。
長沙科聯環保科技有限公司
長沙科聯環保科技有限公司坐落于國家級長沙經濟技術開發區,星沙工業園、我們以“科技創新,聯合共...南京尚上防腐木
南京尚上防腐木是一家專業致力于加工、制作、銷售戶外景觀防腐木,并為客戶設計安裝一站式服務的現...長沙昱霆機電有限公司
長沙昱霆機電有限公司是長沙空壓機_長沙空壓機保養_湖南空壓機維修_長沙空壓機機頭維修-長沙昱...湖南省土地學會,湖南土地學會,湖南土地學會官網
湖南省土地學會是全省土地科技工作者自愿組成,并依法登記的學術性、非盈利性、公益性的法人社會團...湖南為美環保技術有限公司,醫療污水凈化機組...
湖南為美環保技術有限公司應“綠水青山就是金山銀山”之勢而生,秉持“為民環保,美麗干凈”理想信...長沙租車公司-長沙鑫晨租車
長沙鑫晨租車(長沙租車網)于2008年,已精工細作多年。現以成為長沙地區較早的租車公司之一。...聯系方式
地址:湖南省長沙市天心區韶山南路248號南園503室
電話:13637482004 0731-88571521
網址:http://www.testtao.net/
郵箱:123@123007.com
微信咨詢
掃一掃進移動端