吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

时间:2024-01-16 09:59:38

1、下载MongoDB

官网下载:https://www.mongodb.com/download-center#community

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

上面这张图选择第二个按钮

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

上面这张图直接Next

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

把bin路径添加到path中,如下图:

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

在安装路径下自己创建一个文件mongo.conf,配置内容如下:

#数据库路径
dbpath=E:\mongodb\data
#日志输出文件路径
logpath=E:\mongodb\log\mongo.log
#错误日志采用追加模式
logappend=true
#启用日志文件,默认启用
journal=true
#这个选项可以过滤掉一些无用的日志信息,若需要调试请使用设置为false
quiet=true
#端口号默认为27017
port=27017

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

启动MongoDB服务

打开cmd命令行护着用Windows+R键打开,输入cmd

进入mongo安装路径的bin目录下

输入如下命令启动MongoDB:mongod --dbpath "E:\mongodb\data"

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

当你点击回车的时候,出现上面界面,说明已经成功了。

配置本地windows mongodb 服务

这样可设置为 开机自启动,可直接手动启动关闭,可通过命令行net start MongoDB 启动。该配置会大大方便。也不要在进入bin的目录下启动了

在mongodb新建配置文件mongo.config,这个是和bin目录同级的,该配置文件内容在上面可以找到。

用管理员身份打开cmd,左上角会出现管理员三个字,然后一次进入你的bin的目录下G:\mongodb\bin,这个一定要有管理员的身份去打开,否则执行下面命令会一直报错

输入:mongod --dbpath "E:\mongodb\data" --logpath "E:\mongodb\log\mongo.log" --install --serviceName "MongoDB"

如果输入次命令出现错误的话,先删除服务sc delete MongoDB,再次输入上个命令就好了

这样的话,mongodb服务Windows已经配置好了,我们可以不用进入bin的目录下启动MongoDB了

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

在浏览器输入http://localhost:27017,如果在浏览器中出现下面一段英文说明成功了

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

接下来在pycharm安装mongo plugo

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

安装好后重启IDE

重启后在右边能看到

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

创建一个mongo server

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

测试连接成功,点击OK保存设置就可以了。

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

下面这段代码将爬取到的天气数据放到MongoDB中。

import time
import pymongo
import requests client = pymongo.MongoClient('localhost',27017)
#在MongoDB中新建名为weather的数据库
book_weather = client['weather']
#在weather库中创建名为sheet_weather_3的表
sheet_weather = book_weather['sheet_weather_3'] #爬取天气数据
url = 'https://cdn.heweather.com/china-city-list.txt'
response = requests.get(url)
response.encoding='utf8'
data = response.text
data_1 = data.split('\n')
#去除前三行不要的数据
for i in range(3):
data_1.remove(data_1[0]) temp = 1
for item in data_1:
url = 'https://free-api.heweather.net/s6/weather/forecast?location='+item[1:13]+'&key=232ab5d4b88e46bcb8bd8c06d49ebf91'
strhtml = requests.get(url)
time.sleep(3)
dic = strhtml.json()
if(temp>3):
#向sheet_weather_3表写入当前这条数据
sheet_weather.insert_one(dic)else:
temp+=1

运行代码

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

可以看到:爬取到的数据都以json的格式保存到mongodb数据库了。

接下来查询Mongodb数据库。代码如下:

import pymongo

client = pymongo.MongoClient('localhost',27017)
book_weather = client['weather']
sheet_weather = book_weather['sheet_weather_3']
#查找HeWeather6.basic.admin_area值为北京的数据。
for item in sheet_weather.find({'HeWeather6.basic.admin_area':'北京'}):
print(item)

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

接下来查询最大气温大于0度的城市名称。代码如下:

import pymongo

client = pymongo.MongoClient('localhost',27017)
book_weather = client['weather']
sheet_weather = book_weather['sheet_weather_3']
for item in sheet_weather.find():
#因为数据是预测3天的,因此这里需要循环3此
for i in range(3):
#取出最大气温值
tmp_max = item['HeWeather6'][0]['daily_forecast'][i]['tmp_max']
#使用update方法,将表中最低气温数据修改数据值
sheet_weather.update_one({'_id':item['_id']},{'$set':{'HeWeather6.0.daily_forecast.{}.tmp_max'.format(i):int(tmp_max)}}) #找出最高气温不小于0度的城市
for item in sheet_weather.find({'HeWeather6.daily_forecast.tmp_max':{'$gte':0}}):
print(item['HeWeather6'][0]['basic']['admin_area'])

吴裕雄--天生自然PYTHON爬虫:安装配置MongoDBy和爬取天气数据并清洗保存到MongoDB中

可以看出北京这几天的天气最高气温都是大于零度的。

mongodb中比较符:

小于:$lt

小于等于:$lte

大于:$gt

大于等于:$gte