【文件属性】:
文件名称:C# 编写的网络爬虫程序源码
文件大小:780KB
文件格式:RAR
更新时间:2013-09-29 04:45:13
网络爬虫 C# 网络蜘蛛 net
可配置:线程数、线程等待时间,连接超时时间,可爬取文件类型和优先级、下载目录等。
状态栏显示统计信息:排入队列URL数,已下载文件数,已下载总字节数,CPU使用率和可用内存等。
有偏好的爬虫:可针对爬取的资源类型设置不同的优先级。
健壮性:十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。
较好的性能:基于正则表达式的页面解析、适度加锁、维持HTTP连接等。
网友评论
- 代码太老,问题好多
- 没开始用 貌似功能很全
- 很好的代码 不错
- 试了一下感觉不错,谢谢
- 就是NWebCrawler而已,描述那么多,就不知道加个名字NWebCrawler。。。。晕 浪费我积分和时间
- 这个是我目前找到最好的一个
- 这个是我目前找到最好的一个
- 很好的代码,还有进程挂起等应用,
- 不怎么好用,差距有点大
- 我已编译通过,能很好运行,与介绍内容一致,值得推荐学习。谢谢楼主