Robots.txt 是什麼？哪些設定會害你不被收錄

如何檢查自己網站的 robots.txt 有沒有問題

如果你懷疑網站收錄異常，第一步就應該先檢查 robots.txt。尤其是以下幾種情況，更建議優先排查：

• 網站剛完成改版或搬移主機
• 剛從測試站轉為正式站上線
• 近期自然搜尋流量突然下降
• Google Search Console 出現大量未收錄頁面

方法一：直接開啟 robots.txt 檔案

在瀏覽器網址列輸入：

https://你的網域/robots.txt

開啟後，逐一確認以下幾個常見問題：

1. 是否封鎖了整個網站？

# 危險設定，會封鎖整站
User-agent: *
Disallow: /

# 正常設定，只封鎖後台管理目錄
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

只要看到 Disallow: / 單獨出現，就代表整個網站對搜尋引擎關閉，需要立即處理。

2. 是否封鎖了重要頁面或目錄？

檢查是否有類似以下設定：

Disallow: /blog/
Disallow: /products/
Disallow: /assets/

如果這些目錄是網站的主要內容來源，封鎖後搜尋引擎將無法抓取，直接影響網站收錄與排名。

在某些 CMS（例如 WordPress）中，也可能看到類似設定，例如：

Disallow: /wp-content/themes/

如果該目錄包含網站主要 CSS 或 JavaScript，搜尋引擎可能無法正確渲染頁面，進而影響對頁面內容的理解。

3. 是否正確宣告 Sitemap？

robots.txt 內應包含 sitemap 的完整路徑，例如：

Sitemap: https://example.com/sitemap.xml

若沒有宣告 sitemap，搜尋引擎需要更長時間才能發現新頁面。

4. 是否有殘留的測試站規則？

測試站通常會設定以下規則，避免網站尚未完成時被搜尋引擎抓取：

User-agent: *
Disallow: /

如果正式上線時忘記移除，就會導致整個網站 SEO 被封鎖。這是實務中非常常見的失誤。

方法二：透過 Google Search Console 確認

Google Search Console（GSC） 是確認頁面是否被 robots.txt 影響的最直接工具。

單一頁面檢查：網址審查工具

GSC 左側選單 → 「網址審查」 → 輸入要檢查的頁面網址

系統會顯示該頁面的抓取與索引狀態。如果出現 「網址已遭 robots.txt 封鎖」，代表該頁面目前無法被 Google 抓取。

批量確認：索引報告

GSC 左側選單 → 「索引」→「網頁」

在「未收錄原因」中，可以找到 「因 robots.txt 封鎖而排除」 的頁面清單，讓你一次掌握所有受影響的頁面。

方法三：官方新版驗證工具（robots.txt 報告）

由於 Google 已移除舊版的互動式 robots.txt 測試工具，目前需要透過 Google Search Console（GSC） 的 robots.txt 報告來檢查設定狀態。

Google 目前將 robots.txt 的檢查功能整合在 Search Console 中，主要用於監測 robots.txt 檔案的抓取狀態與語法健康狀況。

查看位置：

進入 Google Search Console → 左側選單 「設定」 → 找到 「robots.txt」 欄位並點擊。

主要功能：

• 顯示 Google 最近一次抓取到的 robots.txt 內容
• 顯示最近抓取時間
• 標示 robots.txt 是否存在 語法錯誤 或 警告

工具限制：

• 此工具僅用於 查看 robots.txt 狀態
• 無法像舊版工具一樣直接在介面測試規則
• 若需要修改 robots.txt，必須先在伺服器上更新實體檔案
• 修改完成後，再回到 GSC 請求 Google 重新抓取