北京SEO

软件大小: 10 KB 软件语言: 简体中文 软件类别: 国产软件添加日期: 2009-6-22 0:38:58当前版本:运行环境: Win9x/NT/2000/XP/2003授权方式: 绿色版快 快 捷: 电信高速下载发布人员: admin软件人气: 本日： 6总计： 461asp抓蜘蛛的代码，生成日志文件，仅2.34K。使用方法：将本代码加入要统计的文件中，其中路径改为你的路径<!--#

 每种搜索引擎为了更好的服务和内容提供给使用者，他会去认真的爬行每个网站的每个页面，并且把那些对于用户有用的信息页面的url记录起来，还有网站的主要信息。当用户在搜索某个信息时，他就会根据信息找到url，同时提供该页面的快照。这是搜索引擎的工作原理。
那么他是如何抓取页面的呢？
爬虫进入某个页面之后，首先会把头部和底部部分去掉，爬取正文内容，这个时候他就会把正文内容分成几部分，然后每一部分都会和搜索引擎数据库的信息对比.

网页的URL必须是可以被抓取的。如果网页是由数据动态生成的，那么URL一般要改写成静态的，想必这个大家也是知道的，而且也是晓得它的重要性的，这个也就是去掉那些URL中问号参数之类的东西，也要去掉Session ID。技术上倒不是搜索引擎不能读取这种URL，但是为了避免陷入无限循环，搜索引擎蜘蛛通常要远离这类URL的。
...