Kafka 3.x.x 入门到精通（03）——对标尚硅谷Kafka教程
Kafka 3.x.x 入门到精通（03）——对标尚硅谷Kafka教程 2. Kafka基础2.1 集群部署2.2 集群启动2.3 创建主题2.4 生产消息2.4.1 生产消息的基本步骤2.4.2 生产消息的基本代码2.4.3 发送消息2.4.3.1 拦截器2.4.3.1.1 增加拦截器类2...
Kafka重点笔记
Kafka重点笔记 默认端口号 9092 一、kafka将数据保存在哪里？ kafka是将数据保存在磁盘。 二、离线计算、实时计算 离线计算：T+1模式。处理的数据是静态数据，有界限，知道什么时候开始也知道什么时候结束。 实时计算：以事件为驱动，低延迟，高效率。没有界限，知道什么时候开始，但是不知道...
【消息队列】kafka是如何保证消息不被重复消费的
一、kafka自带的消费机制kafka有个offset的概念，当每个消息被写进去后，都有一个offset，代表他的序号，然后consumer消费该数据之后，隔一段时间，会把自己消费过的消息的offset提交一下，代表我已经消费过了。下次我要是重启，就会继续从上次消费到的offset来继续消费。但是当...
第1节 kafka消息队列：11、kafka的数据不丢失机制，以及kafka-manager监控工具的使用；12、课程总结
12、kafka如何保证数据的不丢失12.1生产者如何保证数据的不丢失kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到如果是同步模式：ack机制能够保证数据的不丢失，如果ack设置为0，风险很大，一般不建议设置为0producer.ty...
kafka消费者启动报错
报错信息：WARN Fetching topic metadata with correlation id 14 for topics [Set(test)] from broker [BrokerEndPoint(2,ubuntu,9092)] failed (kafka.client.Clien...
kafka-spark streaming （一）
Kafka-spark streaming1、安装包kafka安装需要zookeeper、jdk。官网下载最新的：https://kafka.apache.org/downloadshttp://mirrors.hust.edu.cn/apache/zookeeper/http://www.orac...
【Kafka】Windows环境配置测试
一、配置1、Java配置：JAVA_HOME路径不要有空格2、下载/kafka_2.11-1.1.0，地址是https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz，并解压缩至C:\1000_Study\...
Zookeeper和Kafka的部署
目录 一、Zookeeper的基本概念 1. Zookeeper定义 2. Zookeeper工作机制 3. Zookeeper特点 4. Zookeeper数据结构 5. Zookeeper应用场景 5.1 统一命名服务 5.2 统一配置管理 5.3 统一集群管理 5.4 服务器动态上下线 5...
kafka学习记录-prettyZoo
zookeeper的作用 在ZooKeeper软件中创建节点Node，创建一个Node时，我们会设定这个节点是持久化创建，还是临时创建。所谓的持久化创建，就是Node一旦创建后会一直存在，而临时创建，是根据当前的客户端连接创建的临时节点Node，一旦客户端连接断开，那么这个临时节点Node也会被...
kafka（五）——消费者流程分析(c++)-流程（c++）
配置消费者客户端；订阅主题和分区；拉取消息；处理消息；提交消费位移；配置消费者客户端 int CKafkaConsumer::Create(){std::string errorStr;RdKafka::Conf::ConfResult errorCode;do {// 1、创建配置对象// 1....
记录一个腾讯云上kafka不能正常启动问题
问题描述：刚在新的腾讯云三台节点上安了Zookeeper和kafka，改好对应配置文件后，启动zk和kafka。启动zk后，启动kafkajpsall以后 发现两个进程都启了（这里有猫腻，kafka其实没起来，过几秒就自动掉了，但我以为正常起了）我再启动kafka的查看主题：bin/kafka-to...
kafka学习笔记四（面试题）
kafka学习笔记四（面试题） [Kafka 常见面试题]如何保证消息的不重复不丢失-阿里云开发者社区 (aliyun.com)18道kafka高频面...
Kafka集群监控工具之二--Kafka Eagle
基于kafka:kafka_2.11-0.11.0.0.tgzkafka-eagle-bin-1.2.1.tar.gz1.下载解压tar -zxvf kafka-eagle-bin-1.2.1.tar.gz -C /home/cluster2.配置vim /home/cluster/kafka-ea...
kafka 配置认证与授权
本例不使用kerberos做认证，使用用户名和密码的方式来进行认证1、服务端配置1.0 配置server.properties 添加如下配置#配置 ACL 入口类a...
Kafka服务器允许客户端远程连接
前言：安装好Kafka（服务端ip为192.1683.45），window使用Java调用kafka-clients库来远程连接Kafka服务端，进行生产者和消费者测试，发现消息发不出去。但是如果把生产者和消费者的测试代码放到服务器上允许，就可以测试成功。原因分析：1、排查是不是服务器的防火墙原因，...
zookeeper和kafka消息队列
zookeeper zookeeper介绍 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目 zookeeper特点 zookeeper是由一个领导者(leader)，多个跟随者(follower)组成的集群 Zookeepe集群中只要有半数以上节点存活，Zooke...
Flink读取kafka scala 和 java的小坑
报错就是找不到kafka的类Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecordCaused by: java.lang.ClassNotFoundException...
【消息队列】消息队列的推拉模式（RocketMQ+Kafka）
文章目录一、前言二、推拉模式2.1 推拉模式的时候指的是 Comsumer 和 Broker 之间的交互2.2 推模式2.3 拉模式三、RocketMQ 中的长轮询四、Kafka 中的长轮询五、面试金手指5.1 Producer-Broker 和 Consumer-Broker5.2 推模式5.3 ...
使用Docker安装Kafka-Kafka-python
接下来介绍如何使用 python 的 kafka 库实现：生产者读取本地文档中的内容并以流的形式发送到 kafka 主题，消费者从 kafka 主题接收数据流并输出。（注：代码中的 ip 地址注意替换） 库安装 pip3 install kafka-python 生产者 from kafka im...
记kafka-manager踩过的一个大坑
记kafka-manager踩过的一个大坑踩过一个大坑：Yikes! Ask timed out on [ActorSelection[Anchor(akka://kafka-manager-system/), Path(/user/kafka-manager/kafka007/kafka-stat...