談論我們一遍又一遍看到的一些常見的頁面陷阱會很有幫助，以下這些點可以改善您的頁面搜索引擎優(yōu)化。

1.抓取預算

鑒于像谷歌這樣的搜索引擎為每個域（和子域）分配了一定的抓取預算，我總是驚訝于網(wǎng)站所有者只是試圖將所有內(nèi)容都推送到索引中。而且對于哪些網(wǎng)站可以進行爬蟲訪問，他們似乎也完全不小心。

要在您的網(wǎng)站上評估和解決這些問題，一個很好的起點是Google網(wǎng)站管理員工具（轉(zhuǎn)到：抓取>抓取統(tǒng)計信息），它可以讓您初步了解網(wǎng)站的運作情況。一個成功的圖表略有增加 - 這通常反映出Google會選擇添加的內(nèi)容，因此會更頻繁地返回。相反，如果該圖表跳躍或大幅減少，您可能會遇到問題。

有兩種方法可以控制搜索引擎抓取工具：使用robots.txt指令并在HTML標記中實現(xiàn)漫游器元標記（或?qū)⑵渥鳛镠TTP X-Robots標頭提供）。但是，這兩個指令的問題在于它們無法解決您的（潛在的）爬網(wǎng)預算問題：

機器人元標記：實施正確的“無索引 ”確實會阻止某個網(wǎng)頁顯示在搜索結果中，但該網(wǎng)頁仍會被抓取 - 因此必須使用抓取預算。

robots.txt：  阻止網(wǎng)址（或文件夾等）會阻止網(wǎng)站被抓?。ㄒ虼瞬粫速M抓取預算）; 然而，存在巨大的缺點。一個是頁面可能仍然（部分）顯示在搜索結果中（主要是由于從其他地方鏈接），所有入站鏈接汁將被截止。換句話說，這些鏈接無助于您的排名。

考慮到這些要點，你可能會考慮將這些結合起來......但請 - 不要！它根本無法工作。如果使用robots.txt阻止某個網(wǎng)頁，則系統(tǒng)不會抓取該網(wǎng)站，因此根本無法讀取元漫游器代碼！

注意過濾器和排序，分頁以及其他可能無用的頁面。我們經(jīng)?？吹竭@些只是被推到了索引，但肯定永遠不會或?qū)琶２灰速M谷歌的資源！

根據(jù)經(jīng)驗：如果你想確保不浪費爬行預算，只有頁面確實有用（所以不要首先創(chuàng)建其他頁面）。如果你有其他人不想出現(xiàn)，我會使用元機器人來至少利用入站鏈接資產(chǎn)。

2.重復內(nèi)容

我假設每個人都熟悉重復內(nèi)容（DC）問題，但結果并非如此。由于大量的內(nèi)部（部分）DC，看到有多少站點仍然表現(xiàn)不佳，我總是感到驚訝。盡管現(xiàn)在大多數(shù)網(wǎng)站都可以處理會話ID和跟蹤參數(shù)，但這里有一些“經(jīng)典”我想提醒你：HTTP與HTTPs被認為是DC，產(chǎn)品可用于多個類別（并且不使用單個產(chǎn)品URL也會導致DC，子域（如登臺服務器）可能會讓您遇到麻煩。

也就是說，rel =“canonical”元標記（或X-Robots Rel-Canonical Header）可以幫助您解決這些問題，但我認為這是解決DC問題的第三個最佳選擇。在我看來，這完全取決于效率 - 因此解決問題的最佳方法是確保您只使用一個（規(guī)范化的）URL而不是多個URL來提供內(nèi)容。就這么簡單。

我一般不會依賴谷歌稱之為“強烈暗示”的東西 - 因為它暗示他們可能會或可能不會考慮，但實質(zhì)上它并不像HTTP 301重定向那樣強制指令（他們很容易遵循）。

同樣，它歸結為盡可能少的谷歌選擇。使用令人驚嘆的內(nèi)容強制執(zhí)行單個唯一的URL，并將先前存在的URL（例如，舊版本或多個版本）重定向到此（新）URL，您將不會遇到DC問題。

3.正確標記

關于適當加價是否以及為何重要的問題，有很多不同意見。我并沒有真正參與討論，但我堅信干凈簡單的標記會有所幫助。這主要是因為我真的不想冒險嘗試從站點中提取信息時爬蟲可能會出現(xiàn)“問題”。這也是我認為做schema.org標記是一件好事的原因：它可以幫助引擎（不僅是爬蟲）真正理解（部分）內(nèi)容并理解它?？傊私馑暮x。

顯然，您必須考慮哪些信息可以并且想要提供給Google（以及其他人），但如果您不提供數(shù)據(jù)，他們會在其他地方獲取。所以一般來說，不要錯過這個。它不僅僅是因為更突出的結果而獲得更多的點擊率 - 順便說一句，這很棒 - 但是如果你將結構化數(shù)據(jù)與rel =“author”和/或rel =“publisher”相結合效益更大?；旧螱oogle正在逐步理解并將經(jīng)過驗證的實體分配給查詢集，您肯定不想錯過這一點。在我看來，谷歌正在大規(guī)模地移動到你需要成為給定實體的經(jīng)過驗證的權限的點，因此將自動受益于屬于該實體的所有長尾流量 - 這很有意義，因為事實是谷歌每天都會看到大約20％的新查詢。