1、在HDFS中,数据是以文件形式保存的,比如JSON:
https://blog.csdn.net/napoay/article/details/68945483
2、python读写HDFS,一般是使用hdfs这个库
https://www.cnblogs.com/Jims2016/p/8047914.html
3、再加上python读写elasticsearch,这样,整个架构图最右边的办法就都有了。
4、最后需要关注的问题就是,每个JSON文件是如何组织的?比如是一个月一个文件?还是一年一个文件?我的经验是一个月一个业务一个JSON,这样容量可以控制,而且数量也可以控制。