眾所周知，只有搜索弓蜘蛛抓取并收錄的頁面才能參與搜索結(jié)果排名的競爭，因此如何建立網(wǎng)站與搜索引擎蜘蛛的關(guān)系是站長們最關(guān)心的問題。

搜索引擎蜘蛛(也稱為： web spider和網(wǎng)絡(luò)爬蟲)使用極其復(fù)雜的爬行策略來遍歷互聯(lián)網(wǎng)上盡可能多的網(wǎng)站，也需要在保證網(wǎng)站的用戶體驗(yàn)不受影響的綜合考慮下抓取更多有價(jià)值的資源。各大搜索弓|引擎每天都會(huì)發(fā)送大量蜘蛛，起點(diǎn)通常是權(quán)重較高的網(wǎng)站或者訪問量較大的服務(wù)器。

搜索引擎蜘蛛會(huì)沿著內(nèi)外鏈入口訪問更多的網(wǎng)站頁面，并將網(wǎng)頁信息存儲(chǔ)在數(shù)據(jù)庫中。就像圖書館一樣，它把不同的書分類，最后壓縮加密成可以閱讀的方式，放在硬盤上供搜索用戶獲取。我們搜索的互聯(lián)網(wǎng)就是這個(gè)數(shù)據(jù)庫。

從10號(hào)開始

首先，搜索引擎蜘蛛喜歡抓取定期更新的網(wǎng)站。從某種意義上說，網(wǎng)站的更新頻率與抓取頻率成正比。即使在網(wǎng)站前期，沒有蜘蛛來抓取文章，它們也應(yīng)該定期更新。通過這種方式，蜘蛛可以獲取并統(tǒng)計(jì)這個(gè)網(wǎng)站的更新規(guī)則，并定期抓取新內(nèi)容，從而可以盡快抓取更新后的網(wǎng)站文章。

其次，原創(chuàng)性和新鮮感較高的文章更容易被蜘蛛抓取和收錄。如果網(wǎng)站中有大量重復(fù)的內(nèi)容，會(huì)讓蜘蛛覺得爬得太多沒有意義，還會(huì)讓搜索弓質(zhì)疑網(wǎng)站的質(zhì)量，甚至導(dǎo)致懲罰?！靶迈r度”主要指內(nèi)容的受歡迎程度和有效性，近期的“大事件”“熱點(diǎn)事件”容易被用戶注意到，被蜘蛛抓取。

除了以上兩點(diǎn)，關(guān)鍵詞的分布對(duì)蜘蛛抓取也有重要影響。因?yàn)殛P(guān)鍵詞是區(qū)分一個(gè)頁面內(nèi)容的重要因素之一，太多的關(guān)鍵詞會(huì)被搜索引擎視為“作弊”，所以關(guān)鍵詞的分布要控制在2%-8%左右的密度。

第二，保證服務(wù)器的穩(wěn)定運(yùn)行

服務(wù)器的穩(wěn)定性不僅關(guān)系到網(wǎng)站的用戶體驗(yàn)，對(duì)蜘蛛爬行也有很大的影響。站長要定期檢查服務(wù)器狀態(tài)，查看網(wǎng)站日志，查看是否有500狀態(tài)碼等標(biāo)識(shí)，及時(shí)發(fā)現(xiàn)隱患。

如果網(wǎng)站遇到黑客攻擊、服務(wù)器誤刪網(wǎng)站、服務(wù)器硬件癱瘓等問題，停機(jī)時(shí)間超過12小時(shí)，應(yīng)立即開啟百度站長平臺(tái)的防護(hù)功能，防止百度誤判網(wǎng)站存在大量無效死鏈頁面，及時(shí)修復(fù)網(wǎng)站和服務(wù)器。

服務(wù)器長期不穩(wěn)定會(huì)導(dǎo)致蜘蛛對(duì)頁面進(jìn)行有效抓取，降低搜索引擎的友好度，導(dǎo)致收錄度和排名下降。因此，網(wǎng)站必須選擇穩(wěn)定的服務(wù)器。

第三，優(yōu)化網(wǎng)站結(jié)構(gòu)

如果網(wǎng)站內(nèi)容不錯(cuò)，但頁面很少收錄，大部分是因?yàn)轫撁娓緵]有被蜘蛛抓取。這個(gè)時(shí)候網(wǎng)站要全面測試，包括Robots文件、頁面層次、代碼結(jié)構(gòu)、網(wǎng)站鏈接等等。

1.機(jī)器人文件，全稱是“機(jī)器人分類協(xié)議”。網(wǎng)站可以通過Robots協(xié)議告訴蜘蛛哪些頁面可以抓取，哪些頁面不能抓取。

2.頁面層次表現(xiàn)在網(wǎng)站的物理層次和邏輯層次等多個(gè)方面。以邏輯層次的URL結(jié)構(gòu)為例，內(nèi)存方便、層次短、長度適中的靜態(tài)URL受到搜索弓和蜘蛛的青睞。URL結(jié)構(gòu)(用“/”標(biāo)記)一般不要超過4層。過于復(fù)雜的結(jié)構(gòu)不利于搜索|列表，也會(huì)影響用戶體驗(yàn)。

3.網(wǎng)站代碼類別和結(jié)構(gòu)也會(huì)影響網(wǎng)頁是否被蜘蛛抓取。比如：IFRAME、JavaScript等代碼，目前百度搜弓蜘蛛無法有效理解和抓取，所以有必要盡量減少這類代碼的使用。此外，過多的代碼會(huì)導(dǎo)致蜘蛛抓取不完整。

4.網(wǎng)站鏈接是網(wǎng)頁之間權(quán)重傳遞的“入口”。鏈接的數(shù)量和質(zhì)量直接影響網(wǎng)頁能否被蜘蛛抓取和收集。低質(zhì)量的鏈接堆疊只會(huì)給網(wǎng)站帶來毀滅性的災(zāi)難，并及時(shí)消除錯(cuò)誤鏈接和死鏈接，從而減少蜘蛛對(duì)死鏈接的抓取時(shí)間。盡可能從正規(guī)和相關(guān)的網(wǎng)站拿回鏈接，這樣可以增加網(wǎng)站的權(quán)重。

此外，網(wǎng)站還可以為蜘蛛提供一些快捷通道，比如sitemap。-結(jié)構(gòu)清晰的網(wǎng)站地圖可以讓搜索引導(dǎo)蜘蛛清晰地了解網(wǎng)站結(jié)構(gòu)，從而成功抓取整個(gè)網(wǎng)站頁面。

通過高質(zhì)量的內(nèi)容更新、高質(zhì)量的鏈接交換和合理的網(wǎng)站結(jié)構(gòu)，搜索弓和蜘蛛可以更好地了解網(wǎng)站，抓取網(wǎng)站頁面。但是不能發(fā)布一些與網(wǎng)站內(nèi)容無關(guān)的頁面，或者過度優(yōu)化網(wǎng)站。因?yàn)橹挥姓嬲眯娜プ?，給用戶帶來價(jià)值的網(wǎng)站，才能被搜索引擎和用戶喜歡。

轉(zhuǎn)載自木易SEO博客，本文鏈接地址為：/2494.html

« 2018年社交電子商務(wù)八大關(guān)鍵詞：有繁榮，有漏洞，還需要向前探索！ | 微博CEO：流量≠品牌，訪客，用戶，收入≠價(jià)值 »