什麼是Robots。txt檔案？它有什麼作用？

Robots。txt 是網站裡的一個檔案，它告訴搜尋引擎抓取工具（蜘蛛）禁止或允許抓取網站的哪些內容。主流搜尋引擎（包括 Google、Bing 和 Yahoo）都能夠識別並尊重 Robots。txt的要求。

如需檢視網站是否有Robots檔案，請訪問網址：域名/robots。txt，譬如https：//loyseo。com/robots。txt，下圖的示例，是一個

WordPress

網站安裝完Rank math SEO外掛自動生成的robots檔案及其內容。

Robots。txt 是怎麼運作的？

要想知道Robots。txt檔案是如何發揮作用的，就要了解搜尋引擎的工作機制：①爬行②抓取③索引（也可以叫做收錄）。

爬行：

搜尋引擎的蜘蛛在爬網的過程中，透過從其他網站中獲取到了你的網址，那麼它就會記錄下這個網址。還有，你也可以透過搜尋引擎的站長工具，譬如

在Google Search Console

中提交你的網站地圖（Sitemap），告知搜尋引擎你的網站網址。

抓取：

蜘蛛透過訪問之前爬行獲取的網址，抓取你網頁裡的內容並存檔。爬行就像記錄商店門牌號，抓取就是進店拍照。那是否你提交的網址一定都會被抓取呢？不一定，因為搜尋引擎分配給你的抓取份額是有限的，如果你的站點很小，那基本不用擔心，那如果你的站點規模龐大，那麼，對於使用Robots。txt檔案，禁止某些不必要的內容被抓取，就很用必要了，這能讓抓取份額用在有意義的地方，而不是被無意義的內容消耗。

是否被抓取的內容一定會被索引呢？並不是，搜尋引擎有自己的規則來判定你的內容是否值得被索引，如果你的內容是重複的、抄襲的、無意義無價值的，那麼很可能是被抓取了，但是沒有索引。並且索引也是需要時間的，尤其對於新站，就像一個新人一樣，還需要時間考驗你，至於這個時間是多久，那就是搜尋引擎說了算了，你需要做的是持續堅持的做正確且有用的事情：寫內容體現專業度、做外部拓展增加信用度。

也可以直接在站長工具中檢視被索引的網頁。

是否被抓取的內容一定會被索引呢？並不是，搜尋引擎有自己的規則來判定你的內容是否值得被索引，如果你的內容是重複的、抄襲的、無意義無價值的，那麼很可能是被抓取了，但是沒有索引。並且索引也是需要時間的，尤其對於新站，就像一個新人一樣，還需要時間考驗你，至於這個時間是多久，那就是搜尋引擎說了算了，你需要做的是持續堅持的做正確且有用的事情：寫內容體現專業度、做外部拓展增加信用度。

好了，瞭解到搜尋引擎的工作機制後，我們開始說Robots檔案的運作。

當搜尋引擎的蜘蛛來到網站時，首先會閱讀這個Robots。txt檔案，瞭解到什麼網址禁止被抓取後，搜尋引擎便不去抓取這些頁面。

但是，如果這些網址存在其他的匯入連結（即外鏈時），譬如其他網址給了你一條外鏈指向這個內容，那麼這個頁面還是可能會被索引的，雖然，因為無法抓取而不能直接獲取頁面的內容，但是搜尋引擎會根據外鏈提供的相關資訊對這個內容進行索引並展示在搜尋結果中。

所以，如果你想一個內容不被抓取，也不被索引，那麼你還需要透過在內容中

設定noindex元標記（meta robots）

。

好了，瞭解了Robots。txt的工作原理後，我們開始製作一個robots。txt檔案。