文件名称：基于Kafka的多台远程服务器上的网页文件接入到本地的技术方案以及Flume+Kafka调研
文件大小：427KB
文件格式：DOC
更新时间：2022-04-02 13:58:08
Kafka Flume 数据接入
第一章 需求 对方的网页文件接入到我方服务器。每个文件要知道其：网站、采集时间等。 通过消息队列将多个远程服务器上的【数据文件】源源不断的接入到本地服务器，数据文件是下载下来的网页，传输过来的时候还要带上来自的网站和下载日期等信息。 目前讨论消息队列用Kafka。 第二章 基本方案 1、我现在能想到的就是: 远程服务器编写程序, 不停读取文件的内容成为一个字符串，然后再加上来自的网站、下载日期等信息，组合成一个JSON字符串，通过调用kafka的生产者API将字符串写入Kafka。 2、JSON数据格式设计： { “source”: “来源网站名” , “filename” : “html文件名”, “download-date”: “下载日期” , ”content” : “一个html文件的全部字符串 “ } 注：假设.js \.css \.png文件都不需要 3、消息主题的设计： 一个网站对应一个topic，对应到本地的一个文件夹。 4、其他： 如果只是传输文件，不考虑加上网站、下载日期等信息的话，我知道的用Flume可能更方便，但是要加上网站、下载日期的信息（类似主题订阅的功能），flume就不太方便了？ 5、可能存在的顾虑：网页数据文件对数据顺序性的要求的程度。 Kafka单分区的情况小支持消息有序性， 多分区下确保消息有序的方案还需深入调研。 如果之后一个主题下对应的网页文件没有特别的传输顺序要求，这一块应该会容易处理很多。