一、索引:在談這個過程前,我們首先要理清搜索引擎索引數據表與信息數據表之間的關系,其實搜索引擎底層的數據存儲本身就是一個關系數據庫,索引數據表和信息數據表是兩個獨立的表,只是索引數據表和信息數據表是一對多的關系,這樣或許更好理解。那么搜索引擎為什么需要索引數據表呢?我們不妨從信息量這個角度分析一下,就目前來看,搜索引擎的信息量在百億級,而用戶搜索某個關鍵字時響應速度在短短的2、3秒內,在這短短的2、3內不僅僅要完成數據的查詢,而且還要完成數據的排序(關鍵詞排名)。如果每次都要從這百億級的數據中查詢用戶請求并處理排序,不僅減慢響應速度,而且還浪費了大量的計算資源,對服務器的壓力也會更大。這個時候,搜索引擎就迫切希望將用戶查詢的信息鎖定在一個范圍,這個范圍的信息量或許只有幾千條、幾百條,計算處理起來,效率要高很多,而索引數據表就是為解決這一問題出現的。
根據統計,漢語詞語大約有9萬多個,聽起來很龐大,但對于計算機來講處理起來恐怕會很輕松,而中文用戶的搜索無外乎就是這幾萬個詞語的組合(英文就更簡單了,26個字母的組合)。如果用戶搜索的是一連串兒的句子,那么要先經過搜索引擎的分詞處理,比如 搜索:華普筆記本電腦,分詞技術首先會按照漢語習慣進行劃分,劃分為:華普、筆記本、電腦,那么這三個常見詞語在搜索引擎索引數據庫表中都有對應的詞條,此時搜索引擎將從信息數據表中篩選出關聯索引數據表中3個詞語的全部詞條并取其交集詞條展現給用戶,如果用戶單一搜索一個詞語,那搜索引擎處理起來就更為簡單,直接從信息數據表中篩選出索引數據表中該詞所對應的詞條即可。
二、抓取:其實在抓取前面還有一個過程沒有描述在內,那就是爬行,也就是搜索引擎程序發現新網址的過程,只是這個過程大多伴隨著抓取,除非你的這個URL上的內容沒有什么價值(垃圾內容、重復內容、文字過少內容等)而被搜索引擎抓取程序直接跳過。搜索引擎爬行程序以數據表中已存在或新提交的鏈接順藤摸瓜式地進行爬行以不斷發現新的URL,抓取程序在分析并確定該URL的頁面內容有價值后,便將其整個頁面抓取下來放入到龐大的信息數據表中。新抓取的內容在進入信息數據表時,并不是一股腦地堆積在那,而是按照信息數據庫中表的字段(如:網頁URL、title、描述、正文內容、抓取時間、導出鏈接等)分門別類地將信息存儲起來,以便滿足后期的數據索引操作。
三、排名:闡述這一原理,不得不說下搜索引擎爬行、抓取過程,影響關鍵詞排名的因素很多,如:站內優化情況、外鏈質量及數量、pr等,那么這些排名因素搜索引擎也必須抓入數據庫,納入數據表作為特定URL的排名依據,其實影響網頁排名指標的獲取過程就是搜索引擎爬行、抓取的過程。最難理解的可能就是外鏈這一塊兒,因為在抓取網頁時,搜索引擎是捕捉不到他的導入鏈接的,其實搜索引擎在抓取一個頁面時,已經將該頁面的導出鏈接投票計算到了相應的頁面,并將這一有效投票寫入到了所指向的URL字段中(比如:votes字段),便于排名程序加以計算。當然,影響排名的因素很多,排名計算的具體方式我們也無從得知,因此這些不在我們的討論之列。關于排名,大家可能還有一個問題,就是每個詞語的排名是事先排序好了,還是當用戶搜索時才進行排序,筆者給出的答案是后者,或許這一個現象可以揭秘筆者的答案:每一天甚至每一小時關鍵字排名都會出現波動。
長沙科聯環保科技有限公司
長沙科聯環保科技有限公司坐落于國家級長沙經濟技術開發區,星沙工業園、我們以“科技創新,聯合共...南京尚上防腐木
南京尚上防腐木是一家專業致力于加工、制作、銷售戶外景觀防腐木,并為客戶設計安裝一站式服務的現...長沙昱霆機電有限公司
長沙昱霆機電有限公司是長沙空壓機_長沙空壓機保養_湖南空壓機維修_長沙空壓機機頭維修-長沙昱...湖南省土地學會,湖南土地學會,湖南土地學會官網
湖南省土地學會是全省土地科技工作者自愿組成,并依法登記的學術性、非盈利性、公益性的法人社會團...湖南為美環保技術有限公司,醫療污水凈化機組...
湖南為美環保技術有限公司應“綠水青山就是金山銀山”之勢而生,秉持“為民環保,美麗干凈”理想信...長沙租車公司-長沙鑫晨租車
長沙鑫晨租車(長沙租車網)于2008年,已精工細作多年。現以成為長沙地區較早的租車公司之一。...聯系方式
地址:湖南省長沙市天心區韶山南路248號南園503室
電話:13637482004 0731-88571521
網址:http://www.testtao.net/
郵箱:123@123007.com
微信咨詢
掃一掃進移動端