robots是什么
robots是網(wǎng)站跟蜘蛛間的協(xié)議，當(dāng)訪問站點(diǎn)時(shí)，它首先檢查機(jī)器人是否存在于站點(diǎn)的根目錄中。如果找到，蜘蛛就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問的范圍,如果該文件不存在,那么搜索機(jī)器人就沿著鏈接抓取。一定要注意txt文件必須放在站點(diǎn)的根目錄中，文件名必須為小寫。
robots.txt是一個(gè)純文本文件，在這個(gè)文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被搜索引擎訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。因此，機(jī)器人的優(yōu)化將直接影響到搜索引擎對(duì)站點(diǎn)的收錄。
只有在需要禁止抓取某些內(nèi)容時(shí)，才寫robots。一些服務(wù)器設(shè)置是問題：當(dāng)機(jī)器人文件不存在時(shí)，它返回200個(gè)狀態(tài)代碼和一些錯(cuò)誤消息，而不是404頁(yè)面，這是因?yàn)樗阉鳈C(jī)器人誤讀了robots文件信息。
robots mate是什么
robots meta標(biāo)簽主要是針對(duì)一個(gè)個(gè)具體的頁(yè)面。和其他的META標(biāo)簽(如使用的語(yǔ)言、頁(yè)面的描述、關(guān)鍵詞等)一樣， robots meta標(biāo)簽也是放在頁(yè)面的head>中，專門用來(lái)告訴搜索引擎機(jī)器人如何抓取該頁(yè)的內(nèi)容。
follow指令表示搜索機(jī)器人可以沿著該頁(yè)面上的鏈接繼續(xù)抓取下去；
robots meta標(biāo)簽的缺省值是index和follow；
index指令告訴搜索機(jī)器人抓取該頁(yè)面；
robots meta標(biāo)簽中沒有大小寫之分，name=“robots”表示所有的搜索引擎，可以針對(duì)某個(gè)具體搜索引擎寫為name=“ baiduspider' content部分有四個(gè)指令選項(xiàng)index、noindex、follow、nofollow，指令間以“，”分隔。
Robots和robots mate的區(qū)別
目前來(lái)說(shuō)，所有的搜索引擎都支持和遵守robots.txt的規(guī)定，但是支持robots mate的卻比較少，大家可以酌情使用。
閱讀本文的人還可以閱讀：
