Kafka 0.10.0文档翻译二

时间：2022-05-13 04:48:59

1.快速开始

本教程假设你从零开始，没有已存在的Kafka或zk数据

1.1 下载代码

下载 0.10.0.0 release版本，并解压

> tar -xzf kafka_2.11-0.10.0.0.tgz
> cd kafka_2.11-0.10.0.0

1.2启动服务端

Kafka需要zookeeper，如果没有，需要先启动zk。你可以使用kafka中打包的脚本启动一个简易的单节点的zk节点。

> bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)

然后再启动kafka服务器

> bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)

1.3创建一个主题

创建一个名为"test"的单分片且只有一个副本的主题

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

现在，你可以用以下命令查询主题列表

> bin/kafka-topics.sh --list --zookeeper localhost:2181
test

或者，除了手动创建主题外，也可以配置当发布到一个不存在的主题时自动创建该主题

1.4生产消息

kafka自带命令行客户端，可以从文件或标准输入中获取数据并作为消息输出到kafka集群。默认每一行作为一条单独消息。运行producer，在控制台键入一些消息并发送到服务端。

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

1.5消费消息

kafka也有命令行版本的消费者可以将消息下载到标准输出。

> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message

如果你在不同终端支行以上命令行，你将可以看到生产者终端键入消息，消费者终端展示消息。
以上所有的命令行工具都有附加选项，不带参数运行以上命令将展示详细帮助信息。

1.6: 建立多节点集群

到目前为止，我们已经在单节点运行，但这比较无趣。对kafka来说，单节点代理是仅有一个节点的集群。因此启动多个代理节点也没有太多需要变化的。但为了感受一下，我们展示集群到三个节点（所有的都在本地机器）
首先，为每一个代理节点建立一个配置文件:

> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties

然后编辑文件设置以下属性：

config/server-1.properties:
    broker.id=1
    listeners=PLAINTEXT://:9093
    log.dir=/tmp/kafka-logs-1

config/server-2.properties:
    broker.id=2
    listeners=PLAINTEXT://:9094
    log.dir=/tmp/kafka-logs-2

属性broker.id是每个节点在集群中唯一并永久的名称。由于我们在同一机器上运行，因此需要重写端口和日志目录，以保证各节点使用不同的端口且不发现数据覆盖。
我们已经启动了zk和单节点kafka，因此我们仅需要启动二个新的节点：

> bin/kafka-server-start.sh config/server-1.properties &
> bin/kafka-server-start.sh config/server-2.properties &
标签：

相关文章