【文件属性】：
文件名称：Crawler-Elasticsearch:多线程爬虫与Elasticsearch搜索引擎的项目实战
文件大小：3.24MB
文件格式：ZIP
更新时间：2021-04-03 18:59:29
Java
项目：多线程爬虫与Elasticsearch搜索引擎实战
1，迭代内容：
版本1：
用Java编写一个多线程爬虫，完成HTTP请求，HTML解析等工作，得到数据后放入H2数据库中，通过Flyway将建表，添加原始数据的工作等（自动化）
使用Maven进行包管理，使用CircleCI进行自动化测试，在生命周期绑定Checkstyle，SpotBugs插件保证代码质量
版本2：使用ORM（对象关系映射）重构，使用MyBatis框架
版本3：通过flyway插件迁移数据，将数据从H2数据库迁移到MySQL数据库
版本4：将主函数从爬虫类中撤出，形成新的类，方便调用爬虫线程
版本5：进行Elasticsearch编写一个简单的搜索程序
2，建立：
建立GitHub仓库并克隆到本地：
# 后期建议使用SSH
git clone https://github.com/weiranyi/JavaPro
【文件预览】：
Crawler-Elasticsearch-main
----.gitignore(305B)
----images()
--------Elasticsearch.png(1.5MB)
--------news_database.png(793KB)
--------search_code.png(688KB)
--------Docker.png(535KB)
----src()
--------main()
--------test()
----LICENSE(11KB)
----pom.xml(7KB)
----README.md(2KB)
----.circleci()
--------checkstyle.xml(1KB)
--------config.yml(473B)