廣州網捷網站建設技術有限公司
首頁 | 聯系方式 | 加入收藏 | 設為首頁 | 手機站
網站建設
聯系方式

聯系人:陳經理
電話:020-8672252
郵箱:service@haoxtv.com

當前位置:首頁 >> 優化知識 >> 正文

搜索引擎如何監控網站網頁變化?

編輯:廣州網捷網站建設技術有限公司  時間:2013/01/28  字號:
摘要:搜索引擎如何監控網站網頁變化?
(1) 為減少瀏覽器對web服務器流量過大,http 1.1 設計了 if-modified-since 和 E-tag 功能,你可以在每一次下載后,記住last-modified-time 和 E-tag內容,然后下一次抓取時,在http協議上帶上這些值,如果內容沒變化,web服務器直接返回頁面未變化錯誤碼,從而快速得出網頁未變化結論;此法判斷不出,在跳入指紋比較。
(2) 從效率上考慮,我們不能對所有網頁一視同仁,而應該重點檢查;測試發現,大部分網站的網頁變化應該有一定規律的,比如首頁和論壇列表頁等容易發生變化,但老新聞內容頁可能幾年都不會發生變化;只要把經常變的給揪出來,變化內容就順便發現了,那么怎么跟蹤這些變化呢?可以記錄每個url的階段性變化歷史(如訪問了幾次,變化了幾次),然后下次抓取時,對其進行預測,優先級排序,經常變化的經常訪問。
上一條:百度與谷歌相比有哪些不足之處 下一條:網站被掛黑鏈,怎樣快速恢復百度排名
能播放女人另类zooz0,,亚洲一区二区三区无码国产,,手机在线观看亚洲av电影网,,国产精品久久