« feedburner的超级团队 | Main | 有什么遗憾的嘛? »

一份关于搜索引擎机器人的研究报告

作者:virushuo 发表于 2006-05-09 03:05 最后更新于 2006-05-09 03:05
版权声明:按照by-nc-sa的cc协议可转载,拒绝采用“独家” 授权媒介(含网站和平面媒体)转载、引用、链接,除非获得本人许可。转载时请务必以超链接形式标明文章原始出处和作者信息及本声明。


如果有人作一个包含2,147,483,647个页面的网站,目的是用来做搜索引擎的机器人行为研究,你是不是觉得他疯了?

1年前,真的有人这么做了。大家现在差不多忘了这档子事,这哥们又冒出来了,这次还带来了一份报告,他还真把这事情作成了: http://drunkmenworkhere.org/219

既然作成了,就值得看看了。我以前曾经说过,抓取这事情不是那么简单的,如何能按最合适的频率抓取数据,也是一个很好的数学模型。国内的百度,搜狗之类,显然这个就没作好。

要是能搞个中文的机器人分析,肯定很有趣。百度那样的疯狂死抓法,作出来的图样会不会有一种变态的美呢?

相关文章:
blog comments powered by Disqus
CC License. Some rights reserved.
署名·非商业用途·保持一致
本站之所有未作特别说明的内容均使用 创作共用协议.
POWERED_BY_MT_3.2