搜索引擎的去重原理是什么?蜘蛛是怎么判斷重復頁面的?

[复制链接]
查看: 4099|回复: 0
发表于 2017-9-20 10:19:18 | 显示全部楼层 |阅读模式
搜索引擎一般會對已經抓取過的重復頁面進行歸類處理,比如,判斷某個站點是否包含大量的重復頁面,或者該站點是否完全采集其他站點的內容等,以決定以后對該站點的抓取情況或是否直接屏蔽抓取。
  去重的工作一般會在分詞之后和索引之前進行,搜索引擎會在頁面已經分出的關鍵詞中,提取部分具有代表性的關鍵詞,然后計算這些關鍵詞的“指紋”。每一個網頁都會有個這樣的特征指紋,當新抓取的網頁的特征指紋和已索引網頁的關鍵詞指紋有重合時,那么該網頁就可能會被搜索引擎視為重復內容而放棄索引。
  
    因此網絡上流行的大部分偽原創工具,不是不能欺騙搜索引擎,就是把內容做的鬼都讀不通,所以理論上使用普通偽原創工具不能得到搜索引擎的正常收錄和排名。但是由于搜索百度并不是對所有的重復頁面都直接拋棄不索引,而是會根據重復網頁所在網站的權重適當放寬索引標準,這樣使得部分作弊者有機可乘,利用網站的高權重,大量采集其他站點的內容獲取搜索流量。不過經過百度搜索多次升級算法,對采集重復信息,垃圾頁面進行了多次重量級打擊。
    所以谷歌SEO在面對網站內容時,不應該再以偽原創的角度去建設,而是以提升用戶體驗度的目的去建設,雖然后者的內容不一定全是原創,一般如果網站權重沒有大問題,都會得到健康的發展。
另外,不僅僅是搜索引擎需要“網頁去重”,自己做網站也需要對站內頁面進行去重。對于分類信息或者新聞類的網站,如果不加以限制,用戶所發布的信息必然會有大量的重復,這樣不僅在google seo方面表現不好,站內用戶體驗也會降很多。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即註冊

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即註冊

本版积分规则

精彩课程推荐

網站結構如何優化符合SEO

主讲:帝國專業網絡推廣 Yahoo Seo

新手入門Google Seo應該怎麼做好谷歌SEO的

主讲:帝國專業網絡推廣 Google Seo

淘寶SEO常見15個核心問題

主讲:帝國專業網絡推廣 谷歌SEO問答

外貿網站做谷歌網站優化時需要注意哪些問題

主讲:帝國專業網絡推廣 Google Seo

SEO優化新思維:匠人心態快速搞定SEO排名

主讲:帝國專業網絡推廣 網站優化

如何優化圖片網站

主讲:帝國專業網絡推廣 谷歌優化

如何正確的看待SEO的價值

主讲:帝國專業網絡推廣 社會媒體

淺談外鏈、反鏈、友鏈、內鏈的關系

主讲:帝國專業網絡推廣 外鏈建設

谷歌SEO相关

  • 谷歌网站优化怎么做?

  • 外贸SEO网站建设

  • 谷歌SEO教程

  • 外贸SEO怎么做?

  • 外贸SEO公司哪家好?

外贸SEO推广

  • 外贸SEO服务

  • 外贸SEO价格

  • 谷歌网站优化流程

  • 谷歌网站优化软件

  • 外贸SEO优化方案

谷歌网站优化范圍

  • 外贸企業SEO

  • 外貿網站制作

  • 谷歌网站优化教程

  • 谷歌网站优化培训

  • 百度SEO优化工具

谷歌网站优化推广

關注微信公眾號

google seo  技術支持:帝國網絡  |谷歌网站优化咨詢電話:0755-86200006 | 公司地址:深圳市南山區麗山路6-28號  

google SEO- 谷歌SEO- 谷歌網站優化- Google Seo優化- 谷歌网站优化- 外贸SEO