主體內容不能空短,空短內容也會被判斷為無價值內容。
?
舉個例子:某網站反饋網站內容未被建索引,分析發(fā)現,網站抓取沒有問題,但被抓取到的頁面,都提示需要輸入驗證碼才能查看全部頁面,這類頁面被判斷為空短頁面,這類頁面在抓取后,會被判定為垃圾內容。
?
網站主體內容太短被判斷無價值內容原因:
1、蜘蛛對一個網站抓取后發(fā)現大面積都是低值的空短頁面時,爬蟲會認為這個站點的整體價值比較低,導致針對該站點的頁面更新會比較慢,進而抓取甚至建索引庫也會比較慢。
?
2、網站內容未全部搭建完成,未對外開放,但已被蜘蛛爬取發(fā)現。針對這種情況,建議網站在邀請測試階段使用robots封禁。
?
3、有些網站,設置用戶查看權限,如需用戶登陸才能查看全部內容,這樣的行為對搜索引擎也極不友好,蜘蛛無法模擬用戶登陸,僅能抓取網站已展示頁面,可能會導致抓取頁面為空短的現象。
閱讀本文的人還可以閱讀: