網(wǎng)絡(luò)中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情。建立搜索引擎就是解決這個(gè)問(wèn)題的最好方法。
本文首先詳細(xì)介紹了基于英特網(wǎng)的搜索引擎的系統(tǒng)結(jié)構(gòu)，然后具體闡述了如何設(shè)計(jì)并實(shí)現(xiàn)搜索引擎的搜索器——網(wǎng)絡(luò)爬蟲(chóng)。
多線程網(wǎng)絡(luò)爬蟲(chóng)程序是從指定的Web頁(yè)面中按照寬度優(yōu)先算法進(jìn)行解析、搜索，并把搜索到的每條URL進(jìn)行抓取、保存并且以URL為新的入口在互聯(lián)網(wǎng)上進(jìn)行不斷的爬行的自動(dòng)執(zhí)行后臺(tái)程序。
網(wǎng)絡(luò)爬蟲(chóng)主要應(yīng)用socket套接字技術(shù)、正則表達(dá)式、HTTP協(xié)議、windows網(wǎng)絡(luò)編程技術(shù)等相關(guān)技術(shù)，以C++語(yǔ)言作為實(shí)現(xiàn)語(yǔ)言，并在VC6.0下調(diào)試通過(guò)。
在網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)的章節(jié)中除了詳細(xì)的闡述技術(shù)核心外還結(jié)合了多線程網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)代碼來(lái)說(shuō)明，易于理解。本網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)能夠在后臺(tái)運(yùn)行的以配置文件來(lái)作為初始URL，以寬度優(yōu)先算法向下爬行，保存目標(biāo)URL的網(wǎng)絡(luò)程序，能夠執(zhí)行普通用戶網(wǎng)絡(luò)搜索任務(wù)。