通過(guò)robots.txt文件屏蔽蜘蛛抓取不存在的后綴

73645次閱讀

通過(guò)網(wǎng)站日志分析,會(huì)發(fā)現(xiàn)搜索引擎蜘蛛抓取了一些網(wǎng)站上不存在的文件后綴,如:.php、.asp、.aspx等。

搜外網(wǎng)站后臺(tái)日志分析結(jié)果如下圖:

image.

搜外主站實(shí)際上不存在php后綴的URL地址。

可通過(guò)robots.txt文件禁止蜘蛛抓取不存在的后綴,減少出現(xiàn)404返回值。


在robots.txt文件填寫(xiě)屏蔽規(guī)則如下:

Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$

注意前面一個(gè)*,后面一個(gè)$,代表后綴。

參考搜外的robots.txt文件寫(xiě)法,點(diǎn)擊這里

擴(kuò)展閱讀:

robots.txt概念和10條注意事項(xiàng)


本文由夫唯SEO特訓(xùn)營(yíng)編輯整理。

搜外專(zhuān)注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來(lái)超過(guò)五萬(wàn)學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動(dòng)搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門(mén)等。

192期A班報(bào)名時(shí)間7月1日-7月15日,請(qǐng)?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo)是:讓非技術(shù)人員輕松學(xué)會(huì)互聯(lián)網(wǎng)技術(shù)。

  • 搜外會(huì)員SEO交流群(免費(fèi))

    微信掃碼添加客服人員
  • 小程序運(yùn)營(yíng)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 搜外會(huì)員SEM競(jìng)價(jià)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨(dú)立站英文SEO群

    微信掃碼添加客服人員
  • SEO團(tuán)隊(duì)KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運(yùn)營(yíng)推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門(mén)、新聞源推廣……
Processed in 0.081999 Second , 38 querys.