WebCrawlerExample:PyQt + Scrapy + MongoDB

时间:2021-04-29 08:29:21
【文件属性】:
文件名称:WebCrawlerExample:PyQt + Scrapy + MongoDB
文件大小:2.86MB
文件格式:ZIP
更新时间:2021-04-29 08:29:21
Python README 残留的问题: 文档完成; 抓取准确率已经进一步提高; 抓取效率和时间,空间性能暂不考虑。 实际存在的不可克服的问题: 部分数据确实没有中标金额; 部分数据把供应商和金额放在单独的附件里; 不标注金额的名称,直接放在供应商名字的后面; 中标结果由多包构成。 程序运行须知: 安装PyQt,Scrapy,MongoDB,PyMongo; 命令行启动MongoDB服务; 命令行运行:python Scraper.py(即界面程序)。
【文件预览】:
WebCrawlerExample-master
----pylint_lab_1.Scraper.txt(43KB)
----Scraper.py(15KB)
----shzfcg()
--------shzfcg()
--------pylint_shzfcg.txt(0B)
--------pylint_shzfcg.settings.txt(142B)
--------pylint_global.txt(5KB)
--------scrapy.cfg(256B)
--------pylint_shzfcg.spiders.shzfcgSpider.txt(4KB)
--------pylint_shzfcg.pipelines.txt(318B)
--------pylint_shzfcg.spiders.__init__.txt(0B)
--------pylint_shzfcg.items.txt(91B)
----pylint_lab_1.txt(0B)
----pylint_lab_1.Scraper_rc.txt(834B)
----Scraper_rc.py(72KB)
----images()
--------爬取.png(8KB)
--------配置.png(7KB)
--------@C~UPI~(BXEMY~~6A0M0$U1.jpg(544KB)
--------查询.png(2KB)
----pylint_global.txt(4KB)
----Scraper.qrc(168B)
----__init__.py(0B)
----doc()
--------系统设计.pdf(445KB)
--------需求规格说明书(最终版).pdf(312KB)
--------用户手册.pdf(878KB)
--------系统分析.pdf(231KB)
--------需求报告.pdf(250KB)
--------测试报告.pdf(663KB)
----README.md(547B)
----.gitignore(702B)

网友评论