搜索引擎的去重原理是什么？蜘蛛是怎么判斷重復頁面的？

帝國專業網絡推廣 · 发表于 2017-9-20 10:19:18

搜索引擎一般會對已經抓取過的重復頁面進行歸類處理，比如，判斷某個站點是否包含大量的重復頁面，或者該站點是否完全采集其他站點的內容等，以決定以后對該站點的抓取情況或是否直接屏蔽抓取。
　　去重的工作一般會在分詞之后和索引之前進行，搜索引擎會在頁面已經分出的關鍵詞中，提取部分具有代表性的關鍵詞，然后計算這些關鍵詞的“指紋”。每一個網頁都會有個這樣的特征指紋，當新抓取的網頁的特征指紋和已索引網頁的關鍵詞指紋有重合時，那么該網頁就可能會被搜索引擎視為重復內容而放棄索引。
　　
因此網絡上流行的大部分偽原創工具，不是不能欺騙搜索引擎，就是把內容做的鬼都讀不通，所以理論上使用普通偽原創工具不能得到搜索引擎的正常收錄和排名。但是由于搜索百度并不是對所有的重復頁面都直接拋棄不索引，而是會根據重復網頁所在網站的權重適當放寬索引標準，這樣使得部分作弊者有機可乘，利用網站的高權重，大量采集其他站點的內容獲取搜索流量。不過經過百度搜索多次升級算法，對采集重復信息，垃圾頁面進行了多次重量級打擊。
所以谷歌SEO在面對網站內容時，不應該再以偽原創的角度去建設，而是以提升用戶體驗度的目的去建設，雖然后者的內容不一定全是原創，一般如果網站權重沒有大問題，都會得到健康的發展。
另外，不僅僅是搜索引擎需要“網頁去重”，自己做網站也需要對站內頁面進行去重。對于分類信息或者新聞類的網站，如果不加以限制，用戶所發布的信息必然會有大量的重復，這樣不僅在google seo方面表現不好，站內用戶體驗也會降很多。

搜索引擎的去重原理是什么？蜘蛛是怎么判斷重復頁面的？

本帖子中包含更多资源

網站結構如何優化符合SEO

淘寶SEO常見15個核心問題

新手入門Google Seo應該怎麼做好谷歌SEO的

外貿網站做谷歌網站優化時需要注意哪些問題

SEO優化新思維：匠人心態快速搞定SEO排名

如何優化圖片網站

如何正確的看待SEO的價值

淺談外鏈、反鏈、友鏈、內鏈的關系

谷歌SEO相关

谷歌网站优化怎么做？

外贸SEO网站建设

谷歌SEO教程

外贸SEO怎么做？

外贸SEO公司哪家好？

外贸SEO推广

外贸SEO服务

外贸SEO价格

谷歌网站优化流程

谷歌网站优化软件

外贸SEO优化方案

谷歌网站优化范圍

外贸企業SEO

外貿網站制作

谷歌网站优化教程

谷歌网站优化培训

百度SEO优化工具