網(wǎng)站地圖Sitemap的作用是提供輔助資訊給搜尋引擎進(jìn)行索引 (例如個(gè)別 Universal Resource Identifier (URI) 資源的更新頻率 、最后更新日期等等)。網(wǎng)站地圖的作用和結(jié)構(gòu)是很容易理解，做法一般看起來(lái)很簡(jiǎn)單。就是將網(wǎng)站進(jìn)行一次全面的爬行 (例如用 ScreamingFrog 工具)， 將所有的 URI 都放在網(wǎng)站地圖 XML 檔案里面。但事實(shí)并不是那么簡(jiǎn)單，例如你的網(wǎng)站 URI 可以很多種類：文章、帖子、產(chǎn)品、作者、圖片、 視頻、 分類、標(biāo)簽、portfolio 等等。你當(dāng)然可以要求全部 URI 都放在網(wǎng)站地圖里面。但放與不放其實(shí)是一個(gè)質(zhì)量的考慮，例如 portfolio 內(nèi)是你的一些客戶實(shí)例，但內(nèi)容只有一張圖片。這張圖片基本上以圖像URI 的形式已經(jīng)加到索引數(shù)據(jù)庫(kù)中，再索引這個(gè)portfolio的意義不大，因?yàn)槠鋵?shí)是一個(gè)剪薄內(nèi)容thin content, 在這種情況下你應(yīng)該選擇不索引這portfolio, 為什么這？

何時(shí)選擇不索引

內(nèi)容淺薄。一般都相信搜尋引擎對(duì)網(wǎng)站是有一個(gè)質(zhì)量評(píng)分Quality Score。質(zhì)量評(píng)分很可能是來(lái)自各個(gè)被索引的URI的質(zhì)量計(jì)算，所以一些質(zhì)量低單薄的內(nèi)容可能會(huì)將整體網(wǎng)站的質(zhì)量評(píng)分拖低，所以就有盡可能不索引一些淺薄的內(nèi)容的說(shuō)法。淺薄的內(nèi)容一般無(wú)法在搜尋引擎排名中取得高位，只能在訪客進(jìn)入網(wǎng)站以后透過(guò)內(nèi)部的結(jié)連訪問(wèn)得到，所以不索引淺薄的內(nèi)容對(duì)吸引自然搜尋流量是沒(méi)有負(fù)面影響。既然搜尋引擎索引網(wǎng)站的內(nèi)容是要消耗crawl budget 爬行預(yù)算， 所以不索引一些沒(méi)有排名價(jià)值的內(nèi)容，是善用爬行預(yù)算，增加質(zhì)量評(píng)分的手段。

一些專業(yè)的建立網(wǎng)站地圖的工具，例如WordPress上面的Yoast SEO 插件，就可以讓你自由設(shè)定當(dāng)建立網(wǎng)站地圖時(shí)，是否要加入不同類型的URI。

甚至你可以在個(gè)別的頁(yè)面決定是否索引該頁(yè)面，做法就是將頁(yè)面定義為 content=”noindex”。

除了質(zhì)量的考慮，很多時(shí)候?yàn)榱朔婪逗诳腿肭?，不想將太多的網(wǎng)站結(jié)構(gòu)性資料曝光在搜尋用戶面前。你可以透過(guò)robots.txt提示搜尋引擎不要索引網(wǎng)站內(nèi)的一些目錄，避免一些敏感資料可能在不經(jīng)意的情況下被搜尋引擎取得到而暴露在黑客的面前。 同時(shí)亦可善用爬行預(yù)算。

另一個(gè)原因不索引是考慮到cannibalization 關(guān)鍵字競(jìng)食的問(wèn)題。當(dāng)兩個(gè)內(nèi)容非常相近的url 同時(shí)被收錄到索引資料庫(kù)，對(duì)搜尋引擎可能會(huì)造成混亂:究竟當(dāng)關(guān)鍵字搜尋查詢時(shí)該列出a 頁(yè)還是b頁(yè)？很多blogger新手誤解標(biāo)簽和分類的用法，將標(biāo)簽和分類都標(biāo)示為同一個(gè)關(guān)鍵字，這樣其實(shí)也造成了關(guān)鍵字競(jìng)食的問(wèn)題。但如果這個(gè)B頁(yè)URL是沒(méi)有排名價(jià)值，但在訪客立場(chǎng)是一個(gè)熱門瀏覽的網(wǎng)頁(yè)，只是瀏覽是透過(guò)內(nèi)部結(jié)連所引發(fā)。這個(gè)時(shí)候不單純是不索引，更應(yīng)該將訪問(wèn)瀏覽可能帶來(lái)的排名優(yōu)勢(shì)歸到A 頁(yè)。這亦是Yoast SEO插件標(biāo)準(zhǔn)網(wǎng)址 Standard URL的用法。

檢查索引狀態(tài)

你如何知道某URL是否比索引。你可以在Google Search Console (GSC) 的后臺(tái)輸入U(xiǎn)RL然后 (選 “網(wǎng)址審查”)，查詢是否被索引了。當(dāng)發(fā)現(xiàn)內(nèi)容不被索引時(shí)你可以要求Google進(jìn)行單獨(dú)索引該URL 。

你可以在搜尋頁(yè)面輸入一個(gè)site指令，看看你整個(gè)網(wǎng)站有多少頁(yè)面已經(jīng)被放在索引資料庫(kù)中。搜尋引擎有時(shí)會(huì)為同一個(gè)url的不同版本保留索引資料，特別是當(dāng)這個(gè)改動(dòng)只是在元標(biāo)題 meta title和元描述meta description中時(shí)。 保留索引資料的做法是對(duì)配對(duì)用戶搜尋查詢時(shí)有更多的選擇。

當(dāng)你發(fā)現(xiàn)索引資料庫(kù)中的項(xiàng)目數(shù)量比你整個(gè)網(wǎng)站的頁(yè)面和產(chǎn)品的總和都多很多，就可能表示是由于一些URL 參數(shù)(例如產(chǎn)品篩選) 所衍生出來(lái)的網(wǎng)址。數(shù)量太多表示爬行預(yù)算會(huì)受到影響，你應(yīng)該采取行動(dòng)，例如在GSC中將該參數(shù)排除。

URL不被索引的可能

如果你的網(wǎng)站很大。索引可能需要時(shí)間。如果您發(fā)現(xiàn)某些URL尚還沒(méi)有編入索引則是合理的。有幾種情況下URL可能不被索引：

·例如當(dāng)搜尋引擎發(fā)現(xiàn)類似的內(nèi)容已經(jīng)被加入到索引資料庫(kù)里面。最常見(jiàn)的例子就是產(chǎn)品的描述是一模一樣，例如你將同一件衣服大中小碼變成三個(gè)不同的產(chǎn)品，搜尋引擎就可能只索引其中一件產(chǎn)品，另外兩個(gè)搜尋引擎會(huì)看成重復(fù)的內(nèi)容不索引。

 技術(shù)性問(wèn)題。例如當(dāng)你采用一些特別的技術(shù)如 AMP網(wǎng)頁(yè)技術(shù)時(shí)，當(dāng)搜尋引擎發(fā)現(xiàn)一些網(wǎng)頁(yè)的內(nèi)部問(wèn)題不符合技術(shù)規(guī)格時(shí)，就可能決定不索引這個(gè)網(wǎng)頁(yè)然后回報(bào)錯(cuò)誤，你需要在GSC 后臺(tái)查看錯(cuò)誤，修正問(wèn)題然后再重新提交 URL。

搜尋引擎索引速度

雖然你可以在網(wǎng)站地圖之中告訴搜尋引擎URL更新頻率，但這并不表示搜尋引擎會(huì)根據(jù)您提供的信息，更頻密訪問(wèn)您的網(wǎng)站 。搜尋引擎決定是否在進(jìn)行索引是考慮先前索引你網(wǎng)站時(shí)所發(fā)現(xiàn)的優(yōu)質(zhì)內(nèi)容有多少和更新有多少。當(dāng)越多優(yōu)質(zhì)內(nèi)容網(wǎng)站更新越頻密，搜尋引擎自然會(huì)更多訪問(wèn)你的網(wǎng)站進(jìn)行索引。索引的速度快慢不是你付錢給搜尋引擎公司可以改變的。