【文件属性】:
文件名称:Weather_Data_to_DB
文件大小:5KB
文件格式:ZIP
更新时间:2021-03-05 03:49:49
Python
ETL处理美国所有50个州的天气数据的过程。
刮ing
使用Selenium报废了网站,以获取所有美国州的纬度和经度值并将其保存到.csv文件中。
萃取
从OpenWeather API提取天气数据。 使用前一天记录的每个美国州的历史小时数据。
变形
转换后的JSON API对Pandas DataFrame的响应以显示:
收集日期
州名
时区
当天最低和最高温度的天气状况
一天的最低温度
一天的最高温度
加载
使用mysql.connector将数据帧加载到本地托管MySQL数据库中。
【文件预览】:
Weather_Data_to_DB-master
----.gitignore(30B)
----scraper.py(1KB)
----config.ini(82B)
----README.md(724B)
----US_States.csv(2KB)
----weather_etl.py(4KB)