亚洲aⅴ在线视频_精品国产污污网站_草久在线观看_成全电影免费高清观看_羞羞污的美女网站在线观看_日日摸夜夜摸人人嗷嗷叫_国色天香35项和28项的区别_精品国产一区二区刺激高潮_九九av高潮av喷吹_日韩无码免费一级片

Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見(jiàn)的文本編輯器，比如Windows系統(tǒng)自帶的Notepad，就可以創(chuàng)建和編輯它。robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。

一、原則

Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，基于以下原則建立：

1、搜索技術(shù)應(yīng)服務(wù)于人類，同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；

2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。

二、標(biāo)簽

Robots.txt文件主要是限制整個(gè)站點(diǎn)或者目錄的搜索引擎訪問(wèn)情況，而Robots Meta標(biāo)簽則主要是針對(duì)一個(gè)個(gè)具體的頁(yè)面。和其他的META標(biāo)簽（如使用的語(yǔ)言、頁(yè)面的描述、關(guān)鍵詞等）一樣，Robots Meta標(biāo)簽也是放在頁(yè)面中，專門用來(lái)告訴搜索引擎ROBOTS如何抓取該頁(yè)的內(nèi)容。

Robots Meta標(biāo)簽中沒(méi)有大小寫之分，name=”Robots”表示所有的搜索引擎，可以針對(duì)某個(gè)具體搜索引擎寫為name=”BaiduSpider”。content部分有四個(gè)指令選項(xiàng)：index、noindex、follow、nofollow，指令間以“,”分隔。

1.index指令告訴搜索機(jī)器人抓取該頁(yè)面；

2.follow指令表示搜索機(jī)器人可以沿著該頁(yè)面上的鏈接繼續(xù)抓取下去；

3.Robots Meta標(biāo)簽的缺省值是index和follow，只有inktomi除外，對(duì)于它，缺省值是index、nofollow。

三、其他屬性

1. Robot-version: 用來(lái)指定robot協(xié)議的版本號(hào)

例子: Robot-version: Version 2.0

2.Crawl-delay：雅虎YST一個(gè)特定的擴(kuò)展名，可以通過(guò)它對(duì)我們的抓取程序設(shè)定一個(gè)較低的抓取請(qǐng)求頻率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序兩次進(jìn)入站點(diǎn)時(shí)，以秒為單位的最低延時(shí)。

3. Visit-time:只有在visit-time指定的時(shí)間段里,robot才可以訪問(wèn)指定的URL,否則不可訪問(wèn).

例子: Visit-time: 0100-1300 #允許在凌晨1:00到13:00訪問(wèn)

4. Request-rate: 用來(lái)限制URL的讀取頻率

例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之間,以每分鐘40次的頻率進(jìn)行訪問(wèn)

Request-rate: 12/1m 0800 - 1300 在8:00到13:00之間,以每分鐘12次的頻率進(jìn)行訪問(wèn)

轉(zhuǎn)載請(qǐng)注明來(lái)自：http://mbxwmtr.cn/news/sitenews/85547.html

標(biāo)簽：網(wǎng)站優(yōu)化 Robots 海之睿