目前的主要搜索引擎的模式都是，用戶輸入一些關(guān)鍵字或者句子，無(wú)論是那種，搜索引擎都會(huì)首先對(duì)用戶的輸入進(jìn)行分詞，這樣可以增加搜索結(jié)果的準(zhǔn)確性，這是和普通數(shù)據(jù)庫(kù)搜索的不同點(diǎn)，然后搜索引擎去海量的索引庫(kù)去查找這些和用戶輸入相關(guān)的信息，顯示的結(jié)果會(huì)包含網(wǎng)頁(yè)的相關(guān)摘要。

　　中文搜索引擎相關(guān)的技術(shù)包含：中文分詞、網(wǎng)絡(luò)蜘蛛、索引庫(kù)、網(wǎng)頁(yè)摘要的提取、網(wǎng)頁(yè)相似度、信息的分類(lèi)。

　　1、中文分詞

　　中文分詞一直是中文搜索引擎的關(guān)鍵點(diǎn)，中文不同英文，英文每個(gè)單詞是用空格分開(kāi)，而中文一個(gè)句子往往是一些詞的連結(jié)，沒(méi)有分割符，人可以很容易的看懂句子的意思，但是計(jì)算機(jī)很難開(kāi)懂。

　　目前我了解的中文分詞方法，幾乎都是有自己的中文詞典，分詞時(shí)去詞典匹配，達(dá)到分詞目的，分詞的好壞，和詞典關(guān)系很大。

　　2、網(wǎng)絡(luò)蜘蛛

　　網(wǎng)絡(luò)蛛蛛是指對(duì)浩瀚網(wǎng)絡(luò)抓取信息的程序，他們往往是多線程，不分晝夜的抓取網(wǎng)絡(luò)信息，同時(shí)要防止對(duì)某個(gè)站點(diǎn)抓取過(guò)快，導(dǎo)致信息提供方服務(wù)器過(guò)載。

　　網(wǎng)絡(luò)蜘蛛的基本原理：先從一個(gè)起始頁(yè)面開(kāi)始抓取，獲取此頁(yè)面內(nèi)容，摘要，然后提取頁(yè)面所有連接，蜘蛛接著抓取這些連接，一直源源不斷的抓取。這些只是基本原理，實(shí)際應(yīng)用要復(fù)雜很多，你可以試著自己寫(xiě)一個(gè)蜘蛛，我曾經(jīng)用PHP寫(xiě)過(guò)。

　　3、索引庫(kù)

　　搜索引擎都不會(huì)用已經(jīng)成型的數(shù)據(jù)庫(kù)系統(tǒng)，他們是自己開(kāi)發(fā)的類(lèi)似數(shù)據(jù)庫(kù)功能的東西。

　　搜索引擎需要保存大量網(wǎng)頁(yè)信息，快照，關(guān)鍵字索引，所以數(shù)據(jù)量特別大。

　　4、網(wǎng)頁(yè)摘要的提取

　　網(wǎng)頁(yè)摘要是指對(duì)某個(gè)網(wǎng)頁(yè)信息的總結(jié)，搜索引擎搜索結(jié)果里，往往會(huì)有網(wǎng)頁(yè)標(biāo)題下面，會(huì)有些介紹，讓搜索者很容易的發(fā)現(xiàn)此文章是不是想要的信息。

　　5、網(wǎng)頁(yè)相似度

　　網(wǎng)上經(jīng)常有很多內(nèi)容一樣的網(wǎng)站，比如說(shuō)同一條新聞，各大門(mén)戶網(wǎng)站都會(huì)發(fā)布，它們的新聞內(nèi)容都是一樣的。還有一些個(gè)人網(wǎng)站，尤其是偷別人網(wǎng)站資料的網(wǎng)站，和別人網(wǎng)站搞的一模一樣，這樣的網(wǎng)站毫無(wú)意義，搜索引擎會(huì)自動(dòng)區(qū)分，降低其權(quán)值。

　　目前我研究的計(jì)算網(wǎng)頁(yè)相似度的幾種方法如下：

　　1)根據(jù)網(wǎng)頁(yè)摘要來(lái)比較，如果多個(gè)網(wǎng)頁(yè)摘要的md5值一樣，證明這些網(wǎng)頁(yè)有很高的相似性。

　　2)根據(jù)網(wǎng)頁(yè)出現(xiàn)關(guān)鍵詞，按照詞頻排序，可以取N個(gè)詞頻高的，如果md5值一樣，證明這些網(wǎng)頁(yè)有很高的相似性。

　　6、信息的自動(dòng)分類(lèi)

　　網(wǎng)絡(luò)的信息實(shí)在是太龐大了，如何對(duì)其進(jìn)行分類(lèi)，是搜索引擎面臨的難題。要讓計(jì)算機(jī)對(duì)數(shù)據(jù)自動(dòng)分類(lèi)，先要對(duì)計(jì)算機(jī)程序進(jìn)行培訓(xùn)。