【文件属性】:
文件名称:selenium-grid-docker-swarm:与Selenium Grid和Docker并行进行Web抓取
文件大小:6KB
文件格式:ZIP
更新时间:2021-05-25 14:21:00
docker docker-swarm selenium selenium-webdriver selenium-grid
使用Selenium Grid和Docker Swarm进行并发Web抓取
想学习如何建立这个项目?
查看。
要使用这个项目吗?
货叉/克隆
创建并激活虚拟环境
安装要求
Digital Ocean并访问令牌
将令牌添加到您的环境中:
(env)$ export DIGITAL_OCEAN_ACCESS_TOKEN=[your_token]
启动四个Droplet并部署Docker Swarm:
(env)$ sh project/create.sh
运行刮板:
(env)$ docker-machine env node-1
(env)$ eval $( docker-machine env node-1 )
(env)$ NODE= $( docker service ps --format " {{.Node}} " selenium_hub )
(env)$ for
【文件预览】:
selenium-grid-docker-swarm-master
----project()
--------destroy.sh(200B)
--------create.sh(1KB)
--------scrapers()
--------script.py(530B)
----requirements.txt(57B)
----LICENSE(1KB)
----README.md(1KB)
----docker-compose.yml(677B)
----.gitignore(26B)