2024-04-11
內容大綱
架設網站時，我們時常需要建置一個測試站來測試，但我們又希望測試站上的資料不要被搜尋引擎搜尋到，
這時你就可以利用設置 robots.txt 檔案來阻擋搜尋引擎爬取！下面一步一步教你怎麼做：
1. 創建一個 robots.txt 的檔案，命名方式必須為小寫字母 (命名不正確則無效)
2. 設置robots.txt 檔案內容
以下介紹幾種常用的設定方法
a. 允許搜尋引擎爬取所有網站內容
User-agent: *
Disallow:
b. 禁止搜尋引擎爬取所有網站內容
User-agent: *
Disallow: /
c. 禁止搜尋引擎爬取指定檔案
User-agent: *
Disallow: /test.php
Disallow: /contact.php
基本語法介紹：
User-agent: 定義搜尋引擎
Disallow: 指定不想被檢索的目錄或檔案
Allow : 指定可被檢索的目錄或檔案
而我們的目的是想"禁止搜尋引擎爬取所有網站內容"，所以選擇 b 的語法複製貼上並儲存
3. 將robots.txt 檔案，放置在網站根目錄裡，直接到 http://yourdomain.com/robots.txt 看看是否正確上傳檔案
若是完成設定並上傳即完成所有設定囉！
如果想要確認 自己的 robots.txt 語法是否正確的話，可使用Google Search Console工具來做測試，參考此處