分享教學

回上一層 →

2020-04-30 後端工程師 Yen Chen 網頁不想被收錄在搜尋引擎中?你可以建立 robots.txt 阻擋搜尋引擎爬取!

架設網站時,我們時常需要建置一個測試站來測試,但我們又希望測試站上的資料不要被搜尋引擎搜尋到,
這時你就可以利用設置 robots.txt 檔案來阻擋搜尋引擎爬取!下面一步一步教你怎麼做:
 
1. 創建一個 robots.txt 的檔案,命名方式必須為小寫字母 (命名不正確則無效)
 
2. 設置robots.txt 檔案內容
 
以下介紹幾種常用的設定方法
 
a. 允許搜尋引擎爬取所有網站內容
User-agent: *
Disallow:
 
b. 禁止搜尋引擎爬取所有網站內容
User-agent: *
Disallow: /
 
c. 禁止搜尋引擎爬取指定檔案
User-agent: *
Disallow: /test.php
Disallow: /contact.php
 
基本語法介紹:
User-agent: 定義搜尋引擎
Disallow: 指定不想被檢索的目錄或檔案
Allow : 指定可被檢索的目錄或檔案
 
而我們的目的是想"禁止搜尋引擎爬取所有網站內容",所以選擇 b 的語法複製貼上並儲存
 
3. 將robots.txt 檔案,放置在網站根目錄裡,直接到 http://yourdomain.com/robots.txt 看看是否正確上傳檔案
若是完成設定並上傳即完成所有設定囉!
 
如果想要確認 自己的 robots.txt 語法是否正確的話,可使用Google Search Console工具來做測試,參考此處

專人服務

專人服務

LINE 立即聯繫