搜索引擎蜘蛛的作用是什么？我們網站上的內容如果要想被搜索引擎收錄并且給予排名，就必須要經過搜索引擎蜘蛛的爬取并且建立索引。所以讓搜索引擎蜘蛛更好的了解我們的網站是很重要的一步！搜索引擎蜘蛛在爬取某個網站，是通過網站的一個又一個鏈接抓取該網站的內容，通過過濾篩選找到新的內容后，根據自身的一套算法對網站進行排名，儲存在數據庫中。用戶最終通過搜索引擎搜索從而找到我們的網站。

而蜘蛛日志便是搜索引擎通過蜘蛛爬行所留下的痕跡。（詳細搜索引擎蜘蛛訪問頁面次數）一般我們會考慮蜘蛛搜索引擎的抓取質量，而其中能夠幫我們優化網站可能會涉及到以下的幾個蜘蛛抓取重要的概念：

1、爬取率：一天內網站被蜘蛛獲取的頁面數量。

2、爬取優先：那些頁面最常作為蜘蛛的入口。

3、爬取冗余度：網站一般被多少蜘蛛同時爬取。

4、爬取路徑：蜘蛛爬取路徑還原。

通過我們查詢網站蜘蛛詳細日志，我們可以分析出各大搜索引擎蜘蛛的訪問間隔頻率，以及最受蜘蛛喜愛的頁面，讓你精確地分析搜索引擎蜘蛛對你網站的"喜愛"程度。從而更好的改善收錄以及提升網站收錄排名。

所有頁面都可用于爬行嗎？

不。某些頁面可能無法用于爬行和索引。讓我們仔細看看這些類型的頁面：

受密碼保護的頁面。搜索引擎蜘蛛模擬了匿名用戶的行為，該用戶沒有任何憑據訪問受保護的頁面。因此，如果頁面受到密碼保護，它不會被爬行，因為 搜索引擎也將無法訪問它。

索引說明排除的頁面。這些頁面來自Robots.txt，帶有Noindex標簽、robots元標簽和X-Robots標簽。

孤兒頁面。孤兒頁面是網站中任何其他頁面中未鏈接的頁面。搜索引擎是一個蜘蛛機器人，這意味著它通過跟蹤它找到的所有鏈接來發現新的頁面。如果沒有指向頁面的鏈接，則頁面將不會被爬行，也不會在搜索中出現。

有些頁面被限制故意爬行和索引。這些通常是不打算在搜索中顯示的頁面：具有個人數據、策略、使用條款、頁面測試版本、存檔頁面、內部搜索結果頁面等的頁面。

但是，如果您想讓您的頁面可供爬行并帶來流量，請確保您不會保護帶有密碼、思維鏈接（內部和外部）的公共頁面，并仔細檢查索引說明。

你們中的一些人問我們，我應該為我的網站提交Sitemap還是Sitemap索引?

如果你有一個小網站，你可能不需要使用Sitemap索引文件-你可以在一個Sitemap中列出你所有的url。如果您有一個較大的站點，您可能希望或需要為您的站點擁有多個sitemap。在這種情況下，您可以通過在Sitemap索引文件中列出Sitemap來簡化提交和跟蹤。

在以下情況下，您必須為您的站點使用多個站點地圖:

你有超過50,000個url要列出。這是一個Sitemap所能包含的最大值。

你應該如何命名你的站點地圖?簡單地說，把網址提交給搜索引擎，搜索引擎回去爬取的。

建議您為Sitemap提供一個標識文件類型的擴展名。例如，如果您創建一個列出url的簡單文本文件，我們建議給Sitemap一個.txt擴展名。

如果您創建一個使用我們的Sitemap協議的XML Sitemap，請給它一個. XML擴展名。

把所有東西都放進去!列出包含網站內容、圖片、媒體和其他內容的url。

如果您只想包含一個子集的項目，您可以，但我們希望您能給我們盡可能多的關于您的網站的信息。記住，我們尊重robots.txt，所以如果你在你的Sitemap中包含任何在robots.txt中受限制的url，我們將不會抓取這些url。

你可以通過讓我們知道這些網頁來幫助用戶找到你的移動網頁。搜索引擎移動Sitemaps允許您為提供移動內容的url提交Sitemaps。創建和提交移動站點地圖的方式與處理其他站點地圖的方式大致相同:使用站點地圖生成器、站點地圖協議，或者通過聯合提要或文本文件。