常見的robots.txt文件用法實(shí)例

2973次閱讀

常見的robots.txt文件用法實(shí)例:

1、禁止所有搜索引擎抓取網(wǎng)站的任何部分

User-agent: *
Disallow: /

這是禁止所有目錄和文件被所有搜索引擎收錄。網(wǎng)站還沒上線時(shí),有的會先屏蔽所有蜘蛛抓取。

2、允許所有的spider抓?。ɑ蛘咭部梢越ㄒ粋€空的robots.txt文件)

User-agent: *
Allow: /

這是允許所有搜索引擎抓取網(wǎng)站的任何部分,既然是允許所有文件被抓取,可以不用創(chuàng)建robtos.txt文件,即默認(rèn)全部允許抓取。

3、禁止spider抓取特定目錄

User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/

這是禁止所有的spider抓取a、b、c目錄。這個規(guī)則我們最常用到,比如網(wǎng)站的程序后臺、程序目錄等都可以禁止spider抓取,以減少spider無意義的浪費(fèi)我們的空間資源。

4、禁止spider抓取搜索結(jié)果頁面

User-agent: *
Disallow: /so_article?*

如果你網(wǎng)站的搜索結(jié)果頁面URL格式如:/so_article?keyword=搜索關(guān)鍵字,則按以上格式進(jìn)行屏蔽,注意最后帶了一個星號*,代表屏蔽so_article?帶頭的所有URL。


對于大部分網(wǎng)站,常用的就是以上4種情況。


擴(kuò)展閱讀:

robots.txt概念和10條注意事項(xiàng)

robots.txt文件用法舉例,百度官方資料截圖版

本文由夫唯SEO特訓(xùn)營編輯整理。

搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來超過五萬學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。

192期A班報(bào)名時(shí)間7月1日-7月15日,請?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo)是:讓非技術(shù)人員輕松學(xué)會互聯(lián)網(wǎng)技術(shù)。

  • 搜外會員SEO交流群(免費(fèi))

    微信掃碼添加客服人員
  • 小程序運(yùn)營交流群(免費(fèi))

    微信掃碼添加客服人員
  • 搜外會員SEM競價(jià)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨(dú)立站英文SEO群

    微信掃碼添加客服人員
  • SEO團(tuán)隊(duì)KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運(yùn)營推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門、新聞源推廣……
Processed in 0.201737 Second , 38 querys.