消息中间件：Puslar、Kafka、RabbigMQ、ActiveMQ
消息队列 消息队列：它主要用来暂存生产者生产的消息，供后续其他消费者来消费。 它的功能主要有两个： 暂存（存储） 队列（有序：先进先出从目前互联网应用中使用消息队列的场景来看，主要有以下三个： 异步处理数据 系统应用解耦 业务流量削峰消息队列模型 点对点模式 多个生产者可以向同一个消息队列发送消息...
kafka启动报错Cannot allocate memory；There is insufficient memory for the Java Runtime Environment to continue.
kafka启动过程报错，配置没有问题，这就懵了！！Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0130000, 986513408, 0) failed; error='Cannot al...
kafka启动报错&问题解决
kafka启动报错&问题解决一早上班，就收到运维同事通知说有一台物理机宕机，导致虚拟机挂了。只得重启kafka服务器。1.启动启动zookeeperbin/zkServer.sh start conf/zoo.cfg &启动kafkabin/kafka-server-start.sh...
Kafka 启动报错java.io.IOException: Can't resolve address.
阿里云上 部署Kafka 启动报错java.io.IOException: Can't resolve address.本地调试的,报错需要在本地添加阿里云主机的 host 映射linux kafka server 192.168.0.141 hostname bogon在windowsjava 代...
kafka启动报错"A broker is already registered on the path /brokers/ids/1"解决方案
问题kafka挂掉后，启动报错日志如下[2020-03-19 17:50:58,123] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStart...
Kafka启动报错
文章目录问题解决问题通过./kafka-server-start.sh ../config/server.properties启动kafka之前在server.properties中修改了brokcer.id=1报错如下：kafka.common.InconsistentBrokerIdExcep...
Kafka基础/1
Kafka 概念 Kafka 是一个分布式的流媒体平台。 应用：消息系统、日志收集、用户行为追踪、流式处理 特点：高吞吐量、消息持久化、高可靠性、高扩展性 术语： broker：Kafka 的服务器，Kafka 当中每一台服务器，我们称其为broker Zookeeper：管理集群（Kafka ...
为什么要使用Kafka？
我们在学习一个东西的时候，往往只有真正了解它背后的含义，才能一步一步的掌握它，直到运筹帷幄。对于Kafka来说，我也是一个小白，本篇文章我就以一个小白的角度来初探一下Kafka，本篇文章基于官方文档，顺便说一句官方文档真的很重要，且读且珍惜。背景Kafka最早是由LinkedIn公司开发的，作为其自...
kafka多消费者的kafka.common.ConsumerRebalanceFailedException异常解决办法
应用场景: kafka的多消费者消费同一个topic的数据，并且保证每条记录都能被消费掉实现方式: topic要创建多个partition(partition的个数要大于等于消费者的个数),多个消费者在同一个组之内第一步： 创建topic的多partition，并进行验证,如下所示:[[email ...
Kafka参数调优，解决The request included a message larger than the max message size the server will accept.
背景：我用opencv获取摄像头的rtsp流，捕获到每帧，把帧进行base64编码，然后通过Kafka把编码后的帧发送出去最初Kafka发视频文件和发摄像头的帧是没问题的，生产者可以一直发送，消费者可以一直接收。后来为了模拟不同清晰度的视频流，让视频流代码使用不同清晰度的视频文件发送和存储，于是修改...
kafka可视化客户端利器：Kafka Tool
文章目录一、 下载并安装二、使用技巧2.1 配置连接2.2 配置2.3 查看数据一、 下载并安装下载地址：https://www.kafkatool.com/download.html根据不同的系统下载对应的版本，我这里kafka版本是2.12，下载kafka tool 2.0.1。双击安装程序进行...
高效实用Kafka-Kafka消息处理(底层原理)
导语 这篇博客主要是为大家分享一下关于Kafka集群消息的处理与集群的维护，之前的博客中简单的描述了Kafka的基本的原理以及集群架构，这篇博客主要是详细介绍一下Kafka集群的消息处理以及集群的维护文章目录Kafka消息组织原理Kafka消息的写入操作原理Kafka消息删除原理Kafka消息检索...
KSQL介绍：面向Apache Kafka的开源Streaming SQL引擎
本文转自：云头条（YunTouTiao）公众号。英文原文：https://www.confluent.io/blog/ksql-open-source-streaming-sql-for-apache-kafka/我非常高兴地宣布KSQL，这是面向Apache Kafka的一种数据流SQL引擎。KS...
Kafka服务关闭失败 No kafka server to stop
遇到的问题如下，使用kafka关闭命令无法扎到服务。解决方法：进入kafka安装目录下的bin目录，编辑kafka-server-stop.sh脚本，修改以下内容编辑命令：vi kafka-server-stop.sh将 PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | ...
利用Spark将Kafka数据流写入HDFS
利用Spark将Kafka数据流写入HDFS 在当今的大数据时代，实时数据处理和分析变得越来越重要。Apache Kafka作为一个分布式流处理平台，已经成为处理实时数据的事实标准。而Apache Spark则是一个强大的大数据处理框架，它提供了对数据进行复杂处理的能力。 本篇博客将介绍如何使用Sp...
java网络异常情况导致的阻塞导致Kafka消息无法消费
最近碰到kafka消息无法消费，怀疑线程阻塞了。使用jvisualvm工具进行查看，查看的条件是项目需要设置开启远程调试功能。参考我之前的文章。设置成功后可以可视化查看线程情况：对线程进行dump，按间隔5秒一次采样10次，发现堆栈一直停留在获取高德GPS位置信息里，查看相关代码发现http请求没有...
kafka安装环境配置
上传压缩包到3台服务器，解压，我的目录在/usr/local/kafka/里面下载路径：http://kafka.apache.org/downloadsvi /etc/profile添加环境变量export KAFKA_HOME=/opt/programs/kafka_2.11-0.10.1.0e...
Kafka配置SSL(云环境)
本文结合一个具体的实例给出如何在公有云环境上配置Kafka broker与client之间的SSL设置。测试环境阿里云机一台(Server端)：主机名是kafka1，负责运行单节点的Kafka集群。本文选择0.11.0.0版本Mac笔记本一台(Client端)：通过公网连接阿里云机器上的Kafka服...
【Kafka】Kafka安装、配置、使用-2. Kafka使用
2.0 集群分发脚本xsync(重要) scp课程 scp安全拷贝scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） 2.0.1 scp命令 scp -r $pdir/$fname $user@$host:$p...
使用Docker快速搭建Kafka
前言 今天讲下如何使用Docker快速搭建kafka。 前期准备，需要安装好docker、docker-compose。 一、安装Kafka 1、创建Kafka目录，执行如下命令。 mkdir -p /docker/kafka/cd /docker/kafka/ 2、编写yaml文件，内容如下。 v...