請(qǐng)高手深度分析搜索引擎蜘蛛 解開我心頭的疑團(tuán)

2010-04-04 16:08?來源 wenzhou1

　　搜索引擎蜘蛛使勁的在我的網(wǎng)站上爬，本來是一件好事，最近我發(fā)現(xiàn)了雅虎在爬哪個(gè)網(wǎng)頁以后，我一直很納悶。因?yàn)檫@是我做的一個(gè)靜態(tài)網(wǎng)頁，忘記刪除了。網(wǎng)站導(dǎo)航和目錄里面都沒有指向這個(gè)網(wǎng)頁，可是雅虎蜘蛛?yún)s在這個(gè)網(wǎng)頁上使勁的爬，有時(shí)候每秒爬行十幾次，4月4日的日志我檢查了下，雅虎爬了1400多次，竟然大部分時(shí)間在這個(gè)單獨(dú)頁面上，這樣子的爬行對(duì)服務(wù)器的壓力會(huì)很大。對(duì)網(wǎng)站收錄又沒有什么幫助，因?yàn)檫@個(gè)頁面沒有什么特別的內(nèi)容，最近我在這個(gè)頁面上加了很多文本內(nèi)容。但是即使這樣，一個(gè)搜索引擎只關(guān)注我網(wǎng)站的一個(gè)內(nèi)頁，總不是什么好現(xiàn)象，請(qǐng)高手深度分析下，這是什么原因引起的，會(huì)帶來什么壞的后果，以待我更好的改進(jìn)。

這個(gè)頁面的地址：http://www.wenzhousx.com/seo/seo.html

我做了一個(gè)和這個(gè)一樣的頁面，蜘蛛?yún)s不來爬

http://www.dchiamo.cn/seo/這兩個(gè)頁面一樣的原因是我剛做的時(shí)候，路徑問題沒有搞對(duì)，所以，把那個(gè)文件夾里的seo.html的文件忘了刪除，現(xiàn)在蜘蛛這么狠命的爬，我都不敢刪除這個(gè)文件了，刪了我怕給我一串的404

蜘蛛爬行統(tǒng)計(jì)：

編輯： 溫州視線