Robots.txt 文件應(yīng)放在哪里?

33125次閱讀

robots.txt 文件必須放在網(wǎng)站的根目錄。

放在子目錄的 Robots.txt 文件搜索引擎不能爬取到,所以不會起任何作用。

如:

http://03365n.com/robots.txt    是有效的。

http://03365n.com/a/robots.txt  是無效的。


以下3種情況需要注意:

1、如果手機(jī)網(wǎng)站采用的是m.的二級域名,要給手機(jī)網(wǎng)站設(shè)置robots.txt的話,robots.txt要放在m. 這個(gè)二級域名的根目錄下,而不是www的根目錄。

2、給網(wǎng)站添加了一個(gè)站內(nèi)站,如果要屏蔽某鏈接,是在www根目錄下的robots里屏蔽,而不是給站內(nèi)站創(chuàng)建獨(dú)立的robtos.txt文件。

3、網(wǎng)站有多個(gè)二級域名的話,應(yīng)該每個(gè)二級域名設(shè)置一個(gè)robots.txt。搜外問答的例子,點(diǎn)擊查看。


擴(kuò)展閱讀:

robots.txt概念和10條注意事項(xiàng)

本文由夫唯SEO特訓(xùn)營編輯整理。

搜外專注SEO培訓(xùn)和SEO周邊Saas服務(wù)解決方案,10年來超過五萬學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動搜索、零基礎(chǔ)建站、群站SEO思維、搜外6系統(tǒng)、SEM入門等。

192期A班報(bào)名時(shí)間7月1日-7月15日,請?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo)是:讓非技術(shù)人員輕松學(xué)會互聯(lián)網(wǎng)技術(shù)。

  • 搜外會員SEO交流群(免費(fèi))

    微信掃碼添加客服人員
  • 小程序運(yùn)營交流群(免費(fèi))

    微信掃碼添加客服人員
  • 搜外會員SEM競價(jià)交流群(免費(fèi))

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰(zhàn)微信群

    微信掃碼添加客服人員
  • 大站流量總監(jiān)群(審核身份)

    微信掃碼添加客服人員
  • Google獨(dú)立站英文SEO群

    微信掃碼添加客服人員
  • SEO團(tuán)隊(duì)KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統(tǒng)學(xué)習(xí)群站SEO
成為互聯(lián)網(wǎng)運(yùn)營推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門、新聞源推廣……
Processed in 0.076211 Second , 47 querys.