搜索引擎優化和網站推廣入門

爬行蜘蛛(spider, bot)是搜索引擎採集網站內容的工具。不同搜索引擎使用自各的蜘蛛從網站那裡抓取內容頁面。大多數搜索引擎的蜘蛛都有自己的身份標識。本文收集整理經常會光顧中國國內網站的爬行採集蜘蛛，供搜索引擎優化或其它作用參考：

Baiduspider/2.0： 百度的採集蜘蛛，做國內的網站，這個應該是最重要的蜘蛛
Googlebot/2.1： 谷歌（Google）的採集蜘蛛，第二重要的蜘蛛
bingbot/2.0： 必應（Bing）的採集蜘蛛，以前是Msnbot，現在改名了
JikeSpider： 人民網旗下的即刻搜索網站的採集蜘蛛，好像發展不慢啊
Sogou web spider/4.0： 搜狐旗下的搜狗搜索引擎的採集蜘蛛標識， 現在還有個New-Sogou-Spider/1.0，估計是新版本的。
Sosospider：騰訊旗下的搜搜網的採集蜘蛛
YoudaoBot/1.0：網易旗下搜索引擎有道的採集蜘蛛
Yahoo! Slurp China： 雅虎中國的採集蜘蛛， 這個蜘蛛的採集頻度比其它蜘蛛高，而且現今雅虎網站也帶來不了多少流量，所以最好在robots.txt中加入以下代碼限制這個蜘蛛的採集頻率：
User-agent: Yahoo! Slurp China
Crawl-delay: 1000
Mediapartners-Google： 這個是谷歌的，但不是搜索引擎的採集蜘蛛，是谷歌廣告聯盟AdSense採集頁面內容，以提供和頁面內容相關廣告的蜘蛛，如果不放AdSense廣告，可以把這個蜘蛛屏蔽了
YandexBot/3.0：俄羅斯最大的搜索引擎yandex的採集蜘蛛
MJ12bot/v1.4.0：英國一個搜索引擎優化公司的採集蜘蛛，採集頁面用來分析每個網站的外鏈數量。

如果有遺漏，歡迎補充。