搜索引擎蜘蛛的作用是什么？我們網(wǎng)站上的內(nèi)容如果要想被搜索引擎收錄并且給予排名，就必須要經(jīng)過搜索引擎蜘蛛的爬取并且建立索引。所以讓搜索引擎蜘蛛更好的了解我們的網(wǎng)站是很重要的一步！搜索引擎蜘蛛在爬取某個網(wǎng)站，是通過網(wǎng)站的一個又一個鏈接抓取該網(wǎng)站的內(nèi)容，通過過濾篩選找到新的內(nèi)容后，根據(jù)自身的一套算法對網(wǎng)站進(jìn)行排名，儲存在數(shù)據(jù)庫中。用戶最終通過搜索引擎搜索從而找到我們的網(wǎng)站。

而蜘蛛日志便是搜索引擎通過蜘蛛爬行所留下的痕跡。（詳細(xì)搜索引擎蜘蛛訪問頁面次數(shù)）一般我們會考慮蜘蛛搜索引擎的抓取質(zhì)量，而其中能夠幫我們優(yōu)化網(wǎng)站可能會涉及到以下的幾個蜘蛛抓取重要的概念：

1、爬取率：一天內(nèi)網(wǎng)站被蜘蛛獲取的頁面數(shù)量。

2、爬取優(yōu)先：那些頁面最常作為蜘蛛的入口。

3、爬取冗余度：網(wǎng)站一般被多少蜘蛛同時爬取。

4、爬取路徑：蜘蛛爬取路徑還原。

通過我們查詢網(wǎng)站蜘蛛詳細(xì)日志，我們可以分析出各大搜索引擎蜘蛛的訪問間隔頻率，以及最受蜘蛛喜愛的頁面，讓你精確地分析搜索引擎蜘蛛對你網(wǎng)站的"喜愛"程度。從而更好的改善收錄以及提升網(wǎng)站收錄排名。

所有頁面都可用于爬行嗎？

不。某些頁面可能無法用于爬行和索引。讓我們仔細(xì)看看這些類型的頁面：

受密碼保護(hù)的頁面。搜索引擎蜘蛛模擬了匿名用戶的行為，該用戶沒有任何憑據(jù)訪問受保護(hù)的頁面。因此，如果頁面受到密碼保護(hù)，它不會被爬行，因為 搜索引擎也將無法訪問它。

索引說明排除的頁面。這些頁面來自Robots.txt，帶有Noindex標(biāo)簽、robots元標(biāo)簽和X-Robots標(biāo)簽。

孤兒頁面。孤兒頁面是網(wǎng)站中任何其他頁面中未鏈接的頁面。搜索引擎是一個蜘蛛機(jī)器人，這意味著它通過跟蹤它找到的所有鏈接來發(fā)現(xiàn)新的頁面。如果沒有指向頁面的鏈接，則頁面將不會被爬行，也不會在搜索中出現(xiàn)。

有些頁面被限制故意爬行和索引。這些通常是不打算在搜索中顯示的頁面：具有個人數(shù)據(jù)、策略、使用條款、頁面測試版本、存檔頁面、內(nèi)部搜索結(jié)果頁面等的頁面。

但是，如果您想讓您的頁面可供爬行并帶來流量，請確保您不會保護(hù)帶有密碼、思維鏈接（內(nèi)部和外部）的公共頁面，并仔細(xì)檢查索引說明。

你們中的一些人問我們，我應(yīng)該為我的網(wǎng)站提交Sitemap還是Sitemap索引?

如果你有一個小網(wǎng)站，你可能不需要使用Sitemap索引文件-你可以在一個Sitemap中列出你所有的url。如果您有一個較大的站點，您可能希望或需要為您的站點擁有多個sitemap。在這種情況下，您可以通過在Sitemap索引文件中列出Sitemap來簡化提交和跟蹤。

在以下情況下，您必須為您的站點使用多個站點地圖:

你有超過50,000個url要列出。這是一個Sitemap所能包含的最大值。

你應(yīng)該如何命名你的站點地圖?簡單地說，把網(wǎng)址提交給搜索引擎，搜索引擎回去爬取的。

建議您為Sitemap提供一個標(biāo)識文件類型的擴(kuò)展名。例如，如果您創(chuàng)建一個列出url的簡單文本文件，我們建議給Sitemap一個.txt擴(kuò)展名。

如果您創(chuàng)建一個使用我們的Sitemap協(xié)議的XML Sitemap，請給它一個. XML擴(kuò)展名。

把所有東西都放進(jìn)去!列出包含網(wǎng)站內(nèi)容、圖片、媒體和其他內(nèi)容的url。

如果您只想包含一個子集的項目，您可以，但我們希望您能給我們盡可能多的關(guān)于您的網(wǎng)站的信息。記住，我們尊重robots.txt，所以如果你在你的Sitemap中包含任何在robots.txt中受限制的url，我們將不會抓取這些url。

你可以通過讓我們知道這些網(wǎng)頁來幫助用戶找到你的移動網(wǎng)頁。搜索引擎移動Sitemaps允許您為提供移動內(nèi)容的url提交Sitemaps。創(chuàng)建和提交移動站點地圖的方式與處理其他站點地圖的方式大致相同:使用站點地圖生成器、站點地圖協(xié)議，或者通過聯(lián)合提要或文本文件。