【文件属性】：
文件名称：Crawling_Project:使用python，BeautifulSoup
文件大小：45KB
文件格式：ZIP
更新时间：2021-04-07 23:43:04
Python
Crawling_Project
我们使用python，Beautiful Soup来搜寻发布的报纸和当地报纸。
1. PUBMED抓取
我们爬行以建立医学论文的数据集。
发表什么
PubMed是一个免费的搜索引擎，可访问MEDLINE数据库，该数据库主要包含有关广泛的健康和福祉主题（例如生命科学，生物医学和健康心理学）的参考和摘要。
使用的语言是python ，我使用BeautifulSoup对其进行了爬网。
ps。 这是使用代理一段时间的版本。 （虽然通过执行440,000个py文件并行抓取，但该ip由于被误认为是僵尸攻击而被永久停止了。）
这是作为搜寻器存储库的数据库类型。
确认了出版的pmid（唯一id值）中不存在任何内容，并且通过标题的存在或不存在来判断pmid中是否存在纸的内容。
源代码
import requests
from bs4 import Beauti
【文件预览】：
Crawling_Project-main
----README.md(6KB)
----medpub_crowling()
--------med6.py(2KB)
--------med1.py(3KB)
--------med7.py(2KB)
--------med5.py(2KB)
--------med4.py(2KB)
--------med2.py(2KB)
--------med3.py(2KB)
----news_crowling()
--------경인일보_환경.py(3KB)
--------경북신문.py(0B)
--------gynam.py(3KB)
--------당진신문.py(3KB)
--------고양신문.py(3KB)
--------남도일보.py(3KB)
--------대구신문.py(3KB)
--------대전시티저널.py(3KB)
--------대전투데이.py(3KB)
--------경북매일신문.py(3KB)
--------국제신문_보건복지.py(2KB)
--------국제신문_환경.py(2KB)
--------gnmaeil.py(3KB)
--------굿모닝충청.py(3KB)
--------금강일보.py(3KB)
--------경북일보.py(3KB)
--------경인일보_보건의료.py(3KB)
--------kyeonggiilbo.py(3KB)
--------뉴스경남.py(3KB)
--------gnilbo.py(3KB)
--------광남일보.py(2KB)
--------김해뉴스.py(3KB)
--------gangwondomin.py(2KB)
--------gynamdomin.py(2KB)
--------대전일보.py(3KB)
--------대구일보.py(3KB)
--------광주매일신문.py(2KB)
--------경북도민일보.py(3KB)
--------경상일보.py(3KB)
--------gangwon.py(0B)