Robots.txt 與 XML Sitemap 怎麼設定?新手必懂的 SEO 網站檢索與收錄指南
你有沒有遇過,網站上線約三個月,Google Search Console 裡幾乎沒有收錄紀錄。頁面寫得認真、內容也有更新,但自然流量就是不來。這種情況,可思科技在 SEO實戰案例 中遇過不只一次,根源幾乎都指向同一個地方:robots.txt 或 XML Sitemap 設定出了問題,導致 Googlebot(即 Google 檢索器)根本進不來,或進來了卻找不到重要頁面。
這篇文章的目的,是讓你把這兩個檔案的角色和邊界說清楚。概念一旦對了,後續的 技術SEO 設定才不會白做。
一、網站內容遲遲沒有被 Google 收錄?先檢查爬蟲是否能正常檢索
Google 檢索器如何檢索網站?認識搜尋引擎的收錄流程
搜尋引擎把網站頁面放進搜尋結果,背後要走過三個階段:檢索(Crawl)、索引(Index)、排名(Rank)。
Google 檢索器會從已知網址出發,沿著頁面中的內部連結與外部連結一路抓取,把發現到的內容送回 Google 的伺服器。伺服器分析這些內容後,決定哪些頁面值得放進索引資料庫。只有進了索引的頁面,才有機會出現在搜尋結果裡。
檢索是一切的前提。如果爬蟲在第一步就被擋住,後面兩個階段根本無從發生。
Robots.txt 與 XML Sitemap 如何影響網站檢索與收錄?
robots.txt(漫遊器排除通訊協定)和 XML Sitemap(網站地圖)分別作用在這個流程的不同位置。
robots.txt 決定的是「Google 檢索器能不能進入某個路徑」,是一道門禁。XML Sitemap 決定的是「Google 知不知道某個頁面存在」,是一份館藏清單。
兩者缺一不可,但做的事完全不同。如果把它們搞混,後果可能是門禁誤擋了重要頁面,或者清單列了一堆搜尋引擎根本不該看的網址。
二、Robots.txt 是什麼?XML Sitemap 又是什麼?兩者功能與差異比較
Robots.txt 是什麼?控制搜尋引擎爬蟲檢索範圍
robots.txt 是放在網站根目錄的純文字檔,例如 example.com/robots.txt。它是爬蟲在進入網站之前,第一個會讀取的檔案。
這個檔案用來告訴搜尋引擎,哪些路徑可以抓取、哪些路徑請略過。白話說,就是你給 Google 檢索器的「入場規則」。
新手常誤解 robots.txt 是保密措施。任何人打開瀏覽器都能直接看到這個檔案的內容,把敏感資料的路徑寫進去,不但無法隱藏,反而是在公告位置。真正不想讓爬蟲讀取的頁面,才應該用 Disallow 規則 阻擋;不想讓某頁面出現在搜尋結果的,要用 noindex標記,而非依賴 robots.txt。
XML Sitemap 是什麼?協助搜尋引擎發現網站重要頁面
XML Sitemap,也就是 sitemap.xml,是一份用 XML格式 寫成的頁面清單,主動告訴搜尋引擎你的網站有哪些頁面、最後一次更新是什麼時候。
這份清單對以下情況特別有價值:
- 網站頁面數量多(數百頁以上),爬蟲可能無法靠連結全數發現
- 新網站外部連結很少,爬蟲發現不了深層頁面
- 內部連結結構不完整,部分頁面缺少從首頁到達的路徑
Sitemap 本身不保證收錄,Google 把它視為建議而非命令,最終是否收錄仍由演算法判斷內容品質與網站架構決定。
Robots.txt 與 XML Sitemap 有什麼不同?功能與用途比較
下表從六個維度整理兩者的核心差異,幫助你在設定前就建立清晰的分工概念:
| 比較維度 | robots.txt | XML Sitemap |
| 主要功能 | 控制爬蟲可以進入哪些路徑 | 告知搜尋引擎網站有哪些頁面 |
| 對爬蟲的性質 | 限制(爬蟲通常會遵守) | 建議(Google 可自行決定是否收錄) |
| 檔案位置 | 網站根目錄(唯一) | 通常在根目錄,可分割多個 |
| 格式 | 純文字 | XML格式 |
| 影響流程 | 檢索(Crawl)階段 | 發現與索引(Index)階段 |
| 是否必要 | 建議有,哪怕只有最基本的設定 | 頁面數量多或網站較新時效益顯著 |
透過上表的整理可以發現,兩者都不直接影響排名,但都影響你的內容能不能被完整發現與收錄。釐清這個區別,才能正確規劃 技術SEO 基礎。
三、Robots.txt 與 XML Sitemap 怎麼設定?新手實務操作教學
Robots.txt 設定教學:User-agent、Allow、Disallow 基礎語法
robots.txt 的規則由幾個固定指令組成。用文字編輯器建立純文字檔,存為 UTF-8 編碼,命名為 robots.txt,放到網站根目錄即可。
核心語法說明:
- User-agent:指定規則適用的使用者代理程式(爬蟲)名稱。萬用字元 * 表示所有爬蟲,Googlebot 表示只針對 Google 的爬蟲。
- Disallow:禁止爬蟲進入的路徑。
- Allow:允許進入的路徑(可用於覆寫 Disallow 設定)。
- Sitemap:在 robots.txt 中宣告 sitemap.xml 的完整網址。
一份基本設定範例如下:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search/
Allow: /
Sitemap: https://example.com/sitemap.xml
設定時,有幾個原則需要遵守:
- 通常應該阻擋的路徑:後台管理介面、購物車與結帳頁、站內搜尋結果頁、無意義的參數組合頁。
- 絕對不要阻擋的路徑:CSS 與 JavaScript 檔案(爬蟲需要它們理解網頁設計與結構)、任何希望被搜尋到的內容頁。
萬用字元 * 可用於路徑模式比對,例如 Disallow: /*?* 可阻擋所有含查詢字串的網址。規則大小寫敏感,/Admin/ 和 /admin/ 是不同路徑。
XML Sitemap 建立與提交:設定檔案路徑及 Google Search Console
sitemap.xml 的基本結構如下:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page-1/</loc>
<lastmod>2026-01-15</lastmod>
</url>
<url>
<loc>https://example.com/page-2/</loc>
<lastmod>2026-02-01</lastmod>
</url>
</urlset>
Sitemap 應該包含:所有希望被收錄的正式頁面、正規網址(Canonical URL)、真實反映的最後修改時間。
- 不該放進 Sitemap 的內容:設了 noindex標記 的頁面、會被 重新導向 的網址、被 robots.txt 阻擋的路徑、HTTP 狀態碼為 404 的頁面。若 Sitemap 中混入大量無效網址,會直接降低這份清單在 Google 眼中的參考價值。
建立完成後,透過Google Analytics 4與Search Console新增管理者權限教學完成帳號設定,接著到 Search Console 的「Sitemap」功能提交 sitemap.xml 的完整網址。提交後定期查看已提交筆數與已收錄筆數,兩者的差距就是需要調查的線索。
針對大型網站動態分割,單一 sitemap.xml 有上限,每個檔案最多 50,000 筆網址、檔案大小不超過 50MB(未壓縮)。超過上限時要切割成多個檔案,再用一個 索引檔(sitemap-index.xml)統整:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-posts.xml</loc>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-products.xml</loc>
</sitemap>
</sitemapindex>
依類型動態分割(商品、文章、分類頁各一份)可以讓網站結構更清晰,且在 Search Console 中能分別追蹤各類型頁面的收錄狀況,問題更容易定位。
內容管理系統網站設定:Yoast SEO 與 Rank Math 外掛操作注意事項
內容管理系統(如 WordPress)網站通常透過 Yoast SEO 或 Rank Math 管理 robots.txt 與 Sitemap,但這裡藏了幾個新手容易踩到的技術SEO 配置陷阱。
- 外掛配置陷阱一:外掛自動產生的 robots.txt 被舊的伺服器端檔案覆蓋。如果你的伺服器 網站根目錄 已經存在一個實體的 robots.txt 檔案,Yoast SEO 和 Rank Math 透過虛擬規則產生的 robots.txt 就不會生效,伺服器會優先回傳那個實體檔案。解法是刪除伺服器上的實體檔案,讓外掛接管。
- 外掛配置陷阱二:外掛設定介面裡的 noindex標記 設定,不等於 robots.txt 的 Disallow 規則。Yoast SEO 的「搜尋外觀」可以把特定類型頁面設為 noindex標記,很多人以為這樣就安全了,卻沒有確認 robots.txt 是否同時阻擋了同一個路徑。結果是 robots.txt 把爬蟲擋在外面,爬蟲讀不到 noindex標記,頁面仍然可能因為有 內部連結 或外部連結指向而被收錄。兩者要分開處理,noindex標記 給爬蟲讀得到才算有效。
- 外掛配置陷阱三:Sitemap 生成了但沒有同步到 Search Console。Rank Math 和 Yoast SEO 安裝啟用後會自動生成 Sitemap,但並不會自動提交給 Google。你仍然需要手動到 Search Console 完成提交,外掛只是幫你產生檔案。
四、Robots.txt 與 Sitemap 常見錯誤及 SEO 排障方法
Robots.txt 設定錯誤,導致重要網頁無法被檢索怎麼辦?
最嚴重的錯誤就一條:Disallow: /,整個網站被擋住。
這種設定常見於測試環境,問題在於開發階段設好了、上線時忘記改。網站一切看起來正常,但 Google 檢索器完全進不來,兩三個月後才發現流量歸零,而且不會有任何錯誤提示。上線後的第一個驗收動作就是在瀏覽器開無痕視窗,直接輸入 yourdomain.com/robots.txt,親眼確認檔案內容。
下表列出其他的常見錯誤與正確做法對照:
| ❌ 常見誤解 | ✅ 正確做法 |
| Disallow: / 擋全站,以為上線前會改 | 上線後立即驗收 robots.txt,確認沒有全站 Disallow 規則 |
| 用 robots.txt 隱藏後台路徑來保護安全 | robots.txt 任何人都能看,安全要靠帳號驗證與伺服器權限 |
| 阻擋 CSS 和 JS 資料夾,以為節省爬蟲資源 | 爬蟲需要 CSS/JS 才能理解頁面,阻擋會影響渲染判斷 |
| 把想隱藏的頁面用 Disallow 規則 處理就好 | 有外部連結的頁面仍可能被收錄;不想收錄要用 noindex標記 |
如果在 Google Search Console 的「涵蓋範圍」或「網頁」報表中看到大量「已封鎖(robots.txt)」的錯誤,就要回頭逐條檢查 robots.txt 規則是否誤傷了重要頁面。
已提交 Sitemap,為什麼 Google 仍然沒有收錄所有網頁?
提交了 Sitemap 卻只收錄部分頁面,是很常見的困惑。Google 把 Sitemap 視為建議而非命令,收錄率低通常有以下幾種原因:
- 內容品質不足:頁面字數過少、內容高度重複,或與其他頁面結構雷同。
- 正規網址 設定問題:頁面設了 正規網址 指向其他網址,Google 收錄的是 正規網址 目標頁,而非 Sitemap 中列出的這個。
- Sitemap 中混入了無效網址:包含 noindex標記 的頁面、重新導向 頁面、被 robots.txt 阻擋的路徑出現在 Sitemap 裡,拉低整份清單的信號品質。
- 更新時間不誠實:把所有頁面的 <lastmod> 都設為當天,Google 很快就學會忽略這個欄位。
在 Search Console 裡查看「已提交數」對比「已收錄數」,依我們實務觀察,差距若超過 20% 就值得逐項排查。如果想深入理解數據判讀,推薦參考可思科技的 SEO深度專欄:GSC AI報表完整教學|Google 最新 AI 成效報表怎麼看? 作為進階指引。
網站新增或修改內容後,需要重新提交 Sitemap 嗎?
Sitemap 應該由系統動態產生並自動更新,不需要每次手動重新提交。
靠手動維護的 Sitemap 一定會過期。正確做法是讓系統根據實際頁面狀態動態產生,包含新增頁面時自動加入、刪除頁面時自動移除、<lastmod> 依實際修改日期填寫,而非設成固定值。
內容管理系統(如 WordPress)透過 Yoast SEO 或 Rank Math 通常已經做到這一點,確認外掛有啟用 Sitemap 功能即可。如果是客製化系統,可思科技在執行 技術開發專題 時,都會在開發規格中明確要求此項自動化功能,確保每一次的內容更新都能即時反映給搜尋引擎,兼顧客製化高擴充性架構與極致效能。
如果你做了重大改版或新增了大量頁面,可以在 Search Console 的 Sitemap 功能手動點擊「重新提交」,讓 Google 優先重新抓取這份清單。日常的小幅更新則不需要額外操作。
五、網站索引常見問題
Q1.Robots.txt 檔案可以建立多個嗎?
每個網域(包含子網域)只能有一個 robots.txt 檔案,且必須放在該網域的 網站根目錄。example.com 和 m.example.com 是不同的主機,各自有獨立的 robots.txt,規則不會互相套用。如果你的網站同時有 HTTP 和 HTTPS 版本,兩個通訊協定下的 robots.txt 也是分開計算的,建議統一到 HTTPS 並做好 重新導向 設定。
Q2.每個網站都需要設定 XML Sitemap 嗎?
頁面數量少(約十幾頁以內)且內部連結結構完整的網站,Sitemap 的效益有限,把內部連結做好更實際。根據經驗,若頁面數量超過 100 頁、網站剛上線外部連結不足,或有較深層難以透過內部連結發現的頁面,Sitemap 的價值就很明顯。判斷基準在於:如果你不確定所有深層頁面能不能被爬蟲找到,就建議建置 Sitemap。
Q3.Robots.txt 與 Sitemap 應該放在哪個位置?
robots.txt 必須放在網站根目錄,位置是固定的,不能放在子目錄。Sitemap 通常也放在根目錄(example.com/sitemap.xml),但技術上可以放在任何可公開存取的路徑,只要在 robots.txt 的 Sitemap: 指令或 Search Console 中填寫完整的正確網址即可。兩個檔案都必須能被外部公開存取,不能設定 HTTP 認證或 IP 限制擋住爬蟲。
六、做好網站檢索與收錄設定,打好 SEO 技術基礎
技術SEO 的基礎,不在於盲目追逐最新演算法更新,而在於讓 Google 檢索器能正確進入、看到並理解你的網站。robots.txt 和 XML Sitemap 是這個基礎的兩個核心定點,一個管門禁、一個管清單,分工清楚才能發揮作用。
如果你現在的情況是網站上線一段時間、內容持續更新,但 Search Console 裡的收錄數字停滯不動,很可能問題就出在這兩個檔案的某一個環節。可思科技在執行 SEO關鍵字優化 與 SEO 實戰輔導的過程中,第一步絕對是稽核 robots.txt 與 Sitemap,因為技術設定的錯誤會讓後續所有的內容投資打折。如果你希望有系統地找出網站的技術缺口,歡迎參考我們的 行銷成長策略,透過技術與行銷雙輪驅動,讓專業團隊為你建立長期穩定的自然流量。