爬行蜘蛛(spider, bot)是搜索引擎採集網站內容的工具。不同搜索引擎使用自各的蜘蛛從網站那裡抓取內容頁面。大多數搜索引擎的蜘蛛都有自己的身份標識。本文收集整理經常會光顧中國國內網站的爬行採集蜘蛛，供搜索引擎優化或其它作用參考：
>>閱讀全文