了(le)解搜索引擎的(de)工(gōng)作(zuò)流程>β，對(duì)于我們規劃網站(zhàn)建設以及進行(xíng)網站≥€(zhàn)優化(huà)都(dōu)是(shì)十分(f¶↔™ēn)重要(yào)的(de)步驟。百度在其官方站(zhà σn)長(cháng)平台上(shàng)發布了(le)搜索引擎抓σε•取系統概述，幫助站(zhàn)長(cháng)朋(péng)友(yǒu€" )們更好(hǎo)的(de)了(le)解搜索引擎的(de)工(gōng •→)作(zuò)流程，有(yǒu)的(de)放(fàn₩↔•g)矢的(de)進行(xíng)站(zhà&≈↓εn)點優化(huà)。
互聯網信息爆發式增長(cháng)，如(rú)何有(yǒu)效的(₹↓ de)獲取并利用(yòng)這(zhè)些(xiē)信息是(s₹±≈hì)搜索引擎工(gōng)作(zuò)中的(de)首₩↔&要(yào)環節。數(shù)據抓取系統作(zuò)為(wèi)整個( ♦gè)搜索系統中的(de)上(shàngφ↓∑↑)遊，主要(yào)負責互聯網信息的(de)搜集、保存、更新σ≤<環節，它像蜘蛛一(yī)樣在網絡間(jiān ←₹)爬來(lái)爬去(qù)，因此通(tōng)常↔γ會(huì)被叫做(zuò)“spi§< λder”。例如(rú)我們常用(yòng)的 ©±(de)幾家(jiā)通(tōng)用(yòng)搜索引擎蜘蛛Ω<ε被叫做(zuò)：Baiduspdier、Googlebot、Sog←>ou Web Spider等。
Spider抓取系統是(shì)搜索引擎¥£♥±數(shù)據來(lái)源的(de)重要(yào)保證§ ≤，如(rú)果把web理(lǐ)解為(wèi)一(✘↕↑₹yī)個(gè)有(yǒu)向圖，那(nà)麽spider的(de)工(g ∏ōng)作(zuò)過程可(kě)以認為(wè±↓i)是(shì)對(duì)這(zhè)個(gè)有(yǒu)σ↓向圖的(de)遍曆。從(cóng)一(yī)些→•↔(xiē)重要(yào)的(de)種子(zǐ) URL開(kāi)始↔φ，通(tōng)過頁面上(shàng)的(de)超鏈接關系，不(bù)斷 σ♠ 的(de)發現(xiàn)新URL并抓取，>§盡最大(dà)可(kě)能(néng)抓取αδ到(dào)更多(duō)的(de)有(yǒu)價值網頁。對(duì)于類似♥♦百度這(zhè)樣的(de)大(dà)型spider系統，因為(wèi)每時β₩ ←(shí)每刻都(dōu)存在網頁被修改、删除或出現(xiàn)新的(σ★'§de)超鏈接的(de)可(kě)能(néng♥∞<)，因此，還(hái)要(yào)對(duìε )spider過去(qù)抓取過的(de)頁面保持更新，維護一(yī)個(±≥'gè)URL庫和(hé)頁面庫。
1、spider抓取系統的(de)基本框架
如(rú)下(xià)為(wèi)spider抓取系統的(d↕δγe)基本框架圖，其中包括鏈接存儲系統、鏈接選λ↑"取系統、dns解析服務系統、抓取調度系統、網頁分(fēn)析系統、鏈接提取系統¶§✘、鏈接分(fēn)析系統、網頁存儲系統。
2、spider抓取過程中涉及的(de)網絡協議(yì)
搜索引擎與資源提供者之間(jiān)存在<∑✔相(xiàng)互依賴的(de)關系，其中搜 ≈¶ 索引擎需要(yào)站(zhàn)長(cháng₹ )為(wèi)其提供資源，否則搜索引擎就(jiù)無法滿¥₹β足用(yòng)戶檢索需求;而站(zhàn)長(c ↑háng)需要(yào)通(tōng)過搜÷$索引擎将自(zì)己的(de)內(nèi)容推廣出去(qù)獲取更多(duō∞≠♦ )的(de)受衆。spider抓取系統直接涉及∞↓εΩ互聯網資源提供者的(de)利益，為(wèi)了(le)使搜♣♠素引擎與站(zhàn)長(cháng)能(néng)夠達$✔γ到(dào)雙赢，在抓取過程中雙方必須遵守一♠≠≈(yī)定的(de)規範，以便于雙方的(de)數(shù)據♦ "處理(lǐ)及對(duì)接。這(zhè)種過程中遵守的(de)規範 €↔也(yě)就(jiù)是(shì)日(rì)常中我們所說(shuō)的(de)<"←一(yī)些(xiē)網絡協議(yì)。以←Ωπ下(xià)簡單列舉：
http協議(yì)：超文(wén)本傳輸Ω∏∏協議(yì)，是(shì)互聯網上(shàng)應用(yòng)最為(w←&≈èi)廣泛的(de)一(yī)種網絡協議(yì)，客戶端和(hé)服φ€∏"務器(qì)端請(qǐng)求和(hé)應答&↑(dá)的(de)标準。客戶端一(yī)般情況是( σshì)指終端用(yòng)戶，服務器(qìδ€)端即指網站(zhàn)。終端用(yòng)戶通(tōng)過浏§↑>覽器(qì)、蜘蛛等向服務器(qì)指定端口發送http請(q§←₹★ǐng)求。發送http請(qǐng)求會✘$ δ(huì)返回對(duì)應的(de)httpheader信息，可(∞γkě)以看(kàn)到(dào)包括是(shì)否成功、服務←© 器(qì)類型、網頁最近(jìn)更新時(shí)間(jiān)等∞ε內(nèi)容。
https協議(yì)：實際是(shì)加密版http，一(₩πyī)種更加安全的(de)數(shù)據傳輸協議(yì) & 。
UA屬性：UA即user-agent，是(shì)http ≠€♦協議(yì)中的(de)一(yī)個(gè)屬性，代表了(le€↓λ)終端的(de)身(shēn)份，向服務器(qì)端表明(míng)我是(&≥shì)誰來(lái)幹嘛，進而服務器(qì)端可(kě)以根¥據不(bù)同的(de)身(shēn)份來(lái)做∏ (zuò)出不(bù)同的(de)反饋結果。
robots協議(yì)：robot∑∑±®s.txt是(shì)搜索引擎訪問(wèn)一(yīΩ→✔✔)個(gè)網站(zhàn)時(shí)要(yào∑•'×)訪問(wèn)的(de)第一(yī)個≈↑±(gè)文(wén)件(jiàn)，用(yò♦↓★ng)以來(lái)确定哪些(xiē)是(shì)被允許抓取的(>≈±de)哪些(xiē)是(shì)被禁止抓取的(de)。 robots.txt™&必須放(fàng)在網站(zhàn)根目錄下(xià)，且文(wén)件∞ק$(jiàn)名要(yào)小(xiǎo)寫。詳細的(d↕>±γe)robots.txt寫法可(kě)參考 h§ ttp://www.robotstxt.org 。百×±度嚴格按照(zhào)robots協議(yì)執行(xí±×±™ng)，另外(wài)，同樣支持網頁內(nèi)容中£×€添加的(de)名為(wèi)robots的(de)meta标 簽，•∑index、follow、nofollow等指令。
3、spider抓取的(de)基本過程
spider的(de)基本抓取過程♣♣ 可(kě)以理(lǐ)解為(wèi)如(rú)₽★下(xià)的(de)流程圖：
