【文件属性】：
文件名称：colly：用于Golang的优雅的Scraper和Crawler框架
文件大小：110KB
文件格式：ZIP
更新时间：2021-02-04 18:03:28
go golang crawler scraper framework
科利
Gophers的闪电般快速且优雅的抓取框架
Colly提供了一个干净的界面来编写任何种类的爬虫/爬虫/蜘蛛。
使用Colly，您可以轻松地从网站中提取结构化数据，这些数据可用于各种应用程序，例如数据挖掘，数据处理或归档。
产品特点
清洁API
快速（单个内核上> 1k请求/秒）
管理请求延迟和每个域的最大并发
自动cookie和会话处理
同步/异步/并行抓取
快取
自动编码非Unicode响应
Robots.txt支持
分布式刮
通过环境变量进行配置
扩展名
例
func main () {
c := colly . NewCollector ()
// Find and vi