文件名称：Charlotte:网络蜘蛛
文件大小：1.71MB
文件格式：ZIP
更新时间：2024-06-06 10:06:32
Python
Charlotte 1. 数据库以及库安装： 1.1 安装数据库 安装mysql,默认用户名密码:root/root，对应配置修改Charlotte下的setting.py的DATABASES。 1.2 安装库 安装python3+,然后进入工程根目录，执行: pip install -r requirements.txt windows依赖VS编译工具，单独 1.3 数据表 工程根目录下执行： python manage.py makemigrations python manage.py migrate 2.爬取IP代理数据 cd 到 spiders/ProxyIp目录，命令行下执行： scrapy crawl xici cd 到 spiders/tools目录，清晰有效ip数据： python proxyip.py 3.爬取下的心楼盘信息 cd 到 s