对于ElasticSearch与Hadoop是如何互相调用的?

时间:2021-11-10 19:00:44

1、在HDFS中,数据是以文件形式保存的,比如JSON:

https://blog.csdn.net/napoay/article/details/68945483

2、python读写HDFS,一般是使用hdfs这个库

https://www.cnblogs.com/Jims2016/p/8047914.html

3、再加上python读写elasticsearch,这样,整个架构图最右边的办法就都有了。

4、最后需要关注的问题就是,每个JSON文件是如何组织的?比如是一个月一个文件?还是一年一个文件?我的经验是一个月一个业务一个JSON,这样容量可以控制,而且数量也可以控制。