在了解搜素引擎蜘蛛的之前，我們先回顧下之前介紹過(guò)什么是互聯(lián)網(wǎng)，通俗可以理解成互聯(lián)網(wǎng)就像一張非常大的蜘蛛網(wǎng)，然而搜索引擎是如何發(fā)現(xiàn)并收錄互聯(lián)網(wǎng)中過(guò)億的網(wǎng)頁(yè)呢?這就是我們今天所要介紹的，搜索引擎蜘蛛或機(jī)器人(網(wǎng)絡(luò)爬蟲(chóng))，當(dāng)大家看一些SEO文章或教程的時(shí)候就會(huì)經(jīng)常發(fā)現(xiàn)我們做SEO的講解引蜘蛛等方法，那么就是指它了。

我們來(lái)看看搜索引擎蜘蛛字面含義：

搜索引擎蜘蛛是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從Internet網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件。被搜索引擎蜘蛛抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索;

國(guó)內(nèi)常見(jiàn)搜索引擎蜘蛛名稱：

google蜘蛛：googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

soso蜘蛛：sosospider

msn蜘蛛：msnbot

有道蜘蛛：YodaoBot和OutfoxBot

搜狗蜘蛛：sougouspider