robots.txt
robots.txt

meta robots 與 robots.txt 差別?與SEO的關聯?

常常搞不清出 meta robots 與 robots.txt 的差別?分別有什麼用呢?

目錄

meta robots 以及 robots.txt 的工作分別是阻止Google 檢索、索引你的頁面。在現今網路世界中,只有SEO排名高或流量高是沒有用的,流量必須有價值、要能夠產生轉換,所以使用者體驗相對重要,如果你有特定頁面會傷害使用者體驗,你可以透過這些方式去阻止該頁面出現在Google 搜尋結果中。

我們在 Google Search Console 顯示偵測到「Noindex」標記 有介紹noindex的標記,即為meta robots阻止Google索引特定頁面。

ai nuclear energy background future innovation disruptive technology
meta robots 與 robots.txt 差別?與SEO的關聯? 2

meta robots vs. robots.txt

以下以表格介紹兩者的差別:

meta robotsrobots.txt
功能阻止Google索引在搜尋結果阻止Google抓取資料
使用方式在<head>底下加入meta robots標籤,例如noindex上傳檔名為robots.txt的檔案到根目錄
使用時機特定頁面不希望出現在Google搜尋結果頁中,例如購物車頁、結帳頁、網站搜尋結果頁,但這些頁面可能對SEO有幫助,所以還是會讓Google抓取資料特定頁面完全不希望Google抓取資料,例如未完成頁面、測試頁面、機密頁面
  • robots.txt可以阻止搜尋引擎檢索你的特定頁面的資料,如果你使用了robots.txt來阻擋搜尋引擎,那麼搜尋引擎將會略過你所阻擋的頁面,不去做檢索。
  • 而meta robots 是在索引層面阻止搜尋引擎索引你的頁面,但Google還是有爬你的網站資料。
  • 如果只是不想讓網頁顯示在 Google 搜尋結果中,請不要以 robots.txt 做為隱藏網頁的方法。如果有其他網頁的說明文字指向您的網頁,即使 Google 未造訪您的網頁,還是能夠為網頁建立索引。

什麼是robots.txt?

robots.txt是一個檔案,這個檔案會規範來到你的網站的爬蟲的行為,像是有哪些頁面可以爬、哪些頁面不能爬。

robots.txt 檔案能夠告訴搜尋引擎檢索器,可存取網站上的哪些網址。 這個檔案主要用來避免網站因要求過多而超載,而不是讓特定網頁無法出現在 Google 搜尋結果

Google 特別強調,如要防止自己的網頁顯示在搜尋結果中,請使用其他方法,例如密碼保護或是 noindex 標記。

如需自行建立 robots.txt 檔案,可以參考Google官方 建立 robots.txt 檔案

robots.txt的使用時機

最一開始提到robots.txt是一種規範,他會告訴你來到你的網站的爬蟲有哪些頁面可以爬、哪些不能爬,所以robots.txt至少有以下幾種的使用時機

  • 不讓爬蟲爬機密檔案
  • 不讓爬蟲爬未完成的頁面或測試頁面
  • 不讓爬蟲爬一些相對不重要的內容,避免消耗抓取預算
  • 不讓不必要的爬蟲爬取你的網站,消耗網站資源

結論

若某些頁面你不希望在搜尋引擎被搜尋到,但這些頁面事實上有很多對SEO排名有加分的因素,例如有反向連結、流量,所以你會希望Google檢索這些頁面的資料,但別建立進搜尋引擎索引,這時候你需要meta robots 來阻止Google索引你的頁面(noindex)。

而未完成或是正在測試的頁面,對實質SEO沒有任何幫助,希望Google不要爬取資料的話就要使用robots.txt。

需特別注意的是:

如果其他網站連結到 robots.txt 所封鎖的網頁,系統仍然可以為該網頁建立索引。雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引,但如果我們透過網路上其他網頁的連結發現封鎖的網址,仍然會建立這些網址的索引。在這種情況下,網頁網址或者網頁連結中的錨定文字這類公開資訊,仍會顯示在 Google 搜尋結果中。如要完全避免這種情形,建議使用密碼保護伺服器上的檔案、使用 noindex,或是完全移除網頁。

資料來源:

Share 分享 :

分享在 facebook
分享在 twitter
分享在 telegram
分享在 email
Related Post

最新文章

網站設計 留白設計

乾淨的網站介面:15 個網站設計留白技巧

網站設計的多樣化我們時刻可以感受到,在瀏覽不同網站的時候,哪種網頁設計可以讓使用者覺得舒適、願意繼續瀏覽?乾淨簡約的風格越來越流行,讓我們一起來看看網站設計留白技巧吧!

Selected Post

精選文章

黑帽SEO

什麼是黑帽SEO?要避免的9種危險手法

以前許多行銷人員大量使用黑帽SEO策略對網站進行排名;然而,時代變了,大家逐漸瞭解到使用白帽SEO才能真正幫助網站長久發展。在本文中,將深入探討如果您不想違反演算法或網站管理員指南,應該避免使用哪些SEO手法。

定期維護網站

定期維護網站的重要性

你的網站是不是做好就放在那裡,好幾年沒有去更新、維護它呢?許多人可能不知道定期維護網站的重要性,讓這篇文章為你說明。

WordPress 維護

16個 WordPress 維護的技巧

網站架好了要如何進行 WordPress 維護?你需要定期維護網站核心功能、安裝的外掛、主題和其他方面。WordPress 是一個很棒的內容管理平台,但做好網站維護是讓你的網站在市場上走得更久的關鍵。