robots爬蟲(chóng)協(xié)議，相信很多SEOer或個(gè)人站長(cháng)都不會(huì )感到陌生，即使剛入行的SEO小白也略有耳聞。對于SEO小白來(lái)說(shuō)，只是聽(tīng)過(guò)robots爬蟲(chóng)協(xié)議并不了解robots協(xié)議真正意義和用法。

什么是robots協(xié)議

robots（中文翻譯為機器人），robots協(xié)議即搜索引擎爬蟲(chóng)協(xié)議，它是搜索引擎爬蟲(chóng)與網(wǎng)站站點(diǎn)溝通的“橋梁”。網(wǎng)站站點(diǎn)通過(guò)robots文件中的聲明規則明確告知搜索引擎爬蟲(chóng)哪些文件/目錄可以抓取，哪些文件/目錄不可以抓取。

注意：如果網(wǎng)站站點(diǎn)存在不希望搜索引擎爬蟲(chóng)抓取收錄的內容是，才有必要創(chuàng )建robots.txt文件；如果您希望搜索引擎收錄網(wǎng)站上所有內容，則無(wú)需建立robots.txt文件。

robots.txt文件的存放位置

通常，網(wǎng)站的robots.txt文件放置在網(wǎng)站根目錄下，便于搜索引擎爬蟲(chóng)第一時(shí)間抓取該文件。

robots.txt文件格式

1、robots文件通常包含以一條或多條User-agent開(kāi)始，后面加上若干條Disallow或Allow。

2、User-agent:用來(lái)描述搜索引擎robot的名字。

3、如果存在多條User-agent記錄說(shuō)明有多個(gè)robot會(huì )受到“robots.txt”的限制，至少要有一條User-agent記錄。

4、如果User-agent的值設為*，則對任何robot均有效，且“User-agent:*”這樣的記錄只能有一條。

5、如果有“User-agent:SomeBot”和若干Disallow、Allow行，那么搜索引擎爬蟲(chóng)名為“SomeBot”只受到“User-agent:SomeBot”后面的 Disallow和Allow行的限制。

6、Disallow:用來(lái)描述不希望被訪(fǎng)問(wèn)的一組URL。

7、這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開(kāi)頭的URL不會(huì )被 robot訪(fǎng)問(wèn)。

8、比如：“Disallow:/help”這條規則表示的是禁止robot訪(fǎng)問(wèn)/help.html、/helpabc.html、/help/index.html等。

9、比如：“Disallow:/help/”這條規則表示的是允許robot訪(fǎng)問(wèn)/help.html、/helpabc.html，不能訪(fǎng)問(wèn)/help/index.html。

10、“Disallow:”說(shuō)明允許robot訪(fǎng)問(wèn)該網(wǎng)站的所有url，robots.txt文件中，至少要有一條Disallow記錄。

11、如果網(wǎng)站根目錄下robots.txt不存在或者為空文件，則對于所有的搜索引擎爬蟲(chóng)來(lái)說(shuō)，該網(wǎng)站都是開(kāi)放的。

12、Allow:用來(lái)描述希望被訪(fǎng)問(wèn)的一組URL。

13、與Disallow項相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開(kāi)頭的URL 是允許robot訪(fǎng)問(wèn)的。

14、比如：“Allow:/hibaidu”這條規則表示的是允許robot訪(fǎng)問(wèn)/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個(gè)網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現允許訪(fǎng)問(wèn)一部分網(wǎng)頁(yè)同時(shí)禁止訪(fǎng)問(wèn)其它所有URL的功能。

15、使用“*”and“$”：Baiduspider支持使用通配符“*”和“$”來(lái)模糊匹配url（“*” 匹配0或多個(gè)任意字符，“$” 匹配行結束符）。

如何玩轉robots協(xié)議

1、禁止所有搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內容

User-agent: *

Disallow: /

2、允許所有搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內容

User-agent: *

Allow: /

3、僅禁止baidu搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內容

User-agent: Baiduspider

Disallow: /

User-agent: *

Allow: /

4、僅允許baidu搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內容

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /

5、僅允許baidu及google爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站的任何內容

User-agent: Baiduspider

Allow: /

User-agent: Googlebot

Allow: /

User-agent: *

Disallow: /

6、僅允許baidu及360搜索引擎爬蟲(chóng)訪(fǎng)問(wèn)網(wǎng)站內容，并且禁止抓取所有圖片和php網(wǎng)頁(yè)內容

User-agent: Baiduspider

Allow: /

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.gif$

Disallow: /*.bmp$

Disallow: /*.php$

User-agent: 360Spider

Allow: /

Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.png$

Disallow: /*.gif$

Disallow: /*.bmp$

Disallow: /*.php$

User-agent: *

Disallow: /