【文件属性】：
文件名称：bigdataProject：使用brawlstars api进行抓取并保存到hadoop
文件大小：16.39MB
文件格式：ZIP
更新时间：2021-02-16 09:49:50
HiveQL
大数据项目
브롤스타즈api를이용한터수집이터수집
프로젝트
파이썬을이용해로그
mysql테이블에
mysql의터를이터를스쿱을이용해hdfs로이동
hdfs파일을하이브외부테이블이디렉토리로이동
제플린에서하이브를이용해데이터를
데이터
获取（/ rankings / {countryCode} / players）플레랭커들의이어태그를태그를
Get（/ players / {playerTag} / battlelog）플레이어배틀로배틀
데이터
Python
DB_connection.py sqlalchemy的python的vm的mysql的다。
crawling_ranking.py crawling_func（）이정정보를가져온다。
rank.py crawling_func（）랭킹정보를가져온다。 Flatten용해이용해json데이터를뒤이터프
【文件预览】：
bigdataProject-master
----crawling_code()
--------.DS_Store(6KB)
--------DB_connection.py(190B)
--------ranking.py(579B)
--------battlelog.py(3KB)
--------crawling_ranking.py(410B)
--------__pycache__()
----hive()
--------team_winning.hql(691B)
--------best_mode.hql(111B)
--------.DS_Store(6KB)
--------best_combination.hql(848B)
--------map_best_brawler.hql(614B)
--------team_list.hql(660B)
--------create_external_table.hql(1KB)
--------best_brawler.hql(472B)
--------best_map.hql(122B)
--------hive.hql(4KB)
----workflow()
--------brawl.xml(1KB)
--------brawl_coordinator.xml(378B)
--------.DS_Store(6KB)
--------mysql.sh(163B)
--------hdfs.sh(105B)
----README.md(4KB)
----발표ppt.pdf(7.4MB)
----zeppelin_result.mp4(9.66MB)
----brawstars.sql(1KB)
----zeppelin()
--------Brawlstars.json(28KB)