網(wǎng)站地圖 Sitemap 的作用是提供輔助信息給搜尋引擎進(jìn)行索引 (例如個別 Universal Resource Identifier (URI) 資源的更新頻率 、最后更新日期等等)。網(wǎng)站地圖的作用和結(jié)構(gòu)是很容易理解，做法一般看起來很簡單。就是將網(wǎng)站進(jìn)行一次全面的爬行 (例如用 ScreamingFrog 工具)， 將所有的 URI 都放在網(wǎng)站地圖 XML 檔案里面。但事實并不是那么簡單，例如你的網(wǎng)站 URI 可以很多種類：文章、帖子、產(chǎn)品、作者、圖片、 視頻、 分類、標(biāo)簽、portfolio 等等。你當(dāng)然可以要求全部 URI 都放在網(wǎng)站地圖里面。但放與不放其實是一個質(zhì)量的考慮，例如 portfolio 內(nèi)是你的一些客戶實例，但內(nèi)容只有一張圖片。這張圖片基本上以圖像 URI  的形式已經(jīng)加到索引數(shù)據(jù)庫中，再索引這個 portfolio 的意義不大，因為其實是一個 剪薄內(nèi)容 thin content, 在這種情況下你應(yīng)該選擇不索引這個 portfolio, 為什么呢？

何時選擇不索引

內(nèi)容淺薄。一般都相信搜尋引擎對網(wǎng)站是有一個質(zhì)量評分 Quality Score。質(zhì)量評分很可能是來自 各個被索引的 URI 的質(zhì)量計算，所以一些質(zhì)量低單薄的內(nèi)容可能會將整體網(wǎng)站的質(zhì)量評分拖低，所以就有盡可能不索引一些淺薄的內(nèi)容的說法。淺薄的內(nèi)容一般無法在搜尋引擎排名中取得高位，只能在訪客進(jìn)入網(wǎng)站以后透過內(nèi)部的結(jié)連訪問得到，所以不索引淺薄的內(nèi)容對吸引自然搜尋流量是沒有負(fù)面影響。既然搜尋引擎索引網(wǎng)站的內(nèi)容是要消耗 crawl budget 爬行預(yù)算， 所以不索引一些冇排名價值的內(nèi)容，是善用爬行預(yù)算，增加質(zhì)量評分的手段。

一些專業(yè)的建立網(wǎng)站地圖的工具，例如 WordPress 上面的 Yoast SEO 插件，就可以讓你自由設(shè)定當(dāng)建立網(wǎng)站地圖時，是否要加入不同類型的 URI

甚至你可以在個別的頁面決定是否索引該頁面，做法就是將頁面定義為 content=”noindex”。

除了質(zhì)量的考慮，很多時候為了防范黑客入侵，不想將太多的網(wǎng)站結(jié)構(gòu)性資料曝光在搜尋用戶面前。你可以透過 robots.txt 提示搜尋引擎不要索引網(wǎng)站內(nèi)的一些目錄，避免一些敏感資料可能在不經(jīng)意的情況下被搜尋引擎取得到而暴露在黑客的面前。 同時亦可善用爬行預(yù)算。

另一個原因不索引是考慮到 cannibalization 關(guān)鍵字競食的問題。當(dāng)兩個內(nèi)容非常相近的 url 同時被收錄到索引數(shù)據(jù)庫是，對搜尋引擎可能會造成混亂:究竟當(dāng)關(guān)鍵字搜尋查詢時該列出 a 頁還是b 頁呢？很多blogger 新手誤解標(biāo)簽和分類的用法，將標(biāo)簽和分類都標(biāo)示為同一個關(guān)鍵字，這樣其實也造成了關(guān)鍵字競食的問題。但如果這個 B 頁 URL 是沒有排名價值，但在訪客立場是一個熱門瀏覽的網(wǎng)頁，只是瀏覽是透過內(nèi)部結(jié)連所引發(fā)。這個時候不單純是不索引，更應(yīng)該將訪問瀏覽可能帶來的排名優(yōu)勢歸到 A 頁。這亦是 Yoast SEO 插件標(biāo)準(zhǔn)網(wǎng)址 Standard URL 的用法。

檢查索引狀態(tài)

你如何知道某 URL 是否比索引。你可以在 Google Search Console (GSC) 的后臺輸入 URL 然后 (選 “網(wǎng)址審查”)，查詢是否被索引了。當(dāng)發(fā)現(xiàn)內(nèi)容不被索引時你可以要求 Google 進(jìn)行單獨(dú)索引該 URL 。

你可以在搜尋頁面輸入一個 site 指令，看看你整個網(wǎng)站有多少頁面已經(jīng)被放在索引 數(shù)據(jù)庫中。搜尋引擎有時會為同一個url的不同版本保留索引資料，特別是當(dāng)這個改動只是在元標(biāo)題 meta title 和元描述 meta description 中時。 保留索引資料的做法是對配對用戶搜尋查詢時有更多的選擇。

當(dāng)你發(fā)現(xiàn)索引數(shù)據(jù)庫中的項目數(shù)量比你整個網(wǎng)站的頁面和產(chǎn)品的總和都多很多，就可能表示是由于一些 URL 參數(shù) (例如產(chǎn)品篩選) 所衍生出來的網(wǎng)址。數(shù)量太多表示爬行預(yù)算會受到影響，你應(yīng)該采取行動，例如在 GSC 中將該參數(shù)排除。

URL 不被索引的可能

如果你的網(wǎng)站很大。索引可能需要時間。如果您發(fā)現(xiàn)某些 URL 尚未編入索引則是合理的。有幾種情況下 URL 可能不被索引：

例如當(dāng)搜尋引擎發(fā)現(xiàn)類似的內(nèi)容已經(jīng)被加入到索引數(shù)據(jù)庫里面。最常見的例子就是產(chǎn)品的描述是一模一樣，例如你將同一件衣服大中細(xì)碼變成三個不同的產(chǎn)品，搜尋引擎就可能只索引其中一件產(chǎn)品，另外兩個搜尋引擎會看成重復(fù)的內(nèi)容不索引。

技術(shù)性問題。例如當(dāng)你采用一些特別的技術(shù)如 AMP 網(wǎng)頁技術(shù)時，當(dāng)搜尋引擎發(fā)現(xiàn)一些網(wǎng)頁的內(nèi)部問題不符合技術(shù)規(guī)格時，就可能決定不索引這個網(wǎng)頁然后回報錯誤，你需要在 GSC 后臺查看錯誤，修正問題然后再重新提交  URL。

搜尋引擎索引速度

雖然你可以在網(wǎng)站地圖之中告訴搜尋引擎 URL 更新頻率，但這并不表示搜尋引擎會根據(jù)您提供的信息，更頻密訪問您的網(wǎng)站 。搜尋引擎決定是否在進(jìn)行索引是考慮先前 索引你網(wǎng)站時所發(fā)現(xiàn)的優(yōu)質(zhì)內(nèi)容有多少和更新有多少。當(dāng)越多優(yōu)質(zhì)內(nèi)容網(wǎng)站更新越頻密，搜尋引擎自然會更多訪問你的網(wǎng)站進(jìn)行索引。索引的速度快慢不是你付錢給 搜尋引擎公司可以改變的。