跟我一起学kafka(二)

时间:2023-03-09 01:29:02
跟我一起学kafka(二)

  kafka安装到linux服务器中的情况较多,但是我们现在在学习当中,所以可以拿windows先试试手。要想学kafk那么必然要做一件事就是安装好kafka,下面我讲详细得windows下安装kafka得步骤告诉大家。

  第一步:先安装jdk,因为kafka依赖于Java环境,所以确保你的系统中装有JDK(安装jdk我就不说了,请自行百度,在此分享一个下载链接:http://pan.baidu.com/s/1i5jgMFF)

  第二步:这里我们要使用完全的zookeeper,而不是用Kafka打包的那个,因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka,位置在\kafka\bin\windows库中。下载地址:http://pan.baidu.com/s/1c12D7C8.这里面包含zookeeper和kafka得下载链接,请注意哦

  第三步:解压你得zookerper到你指定得目录,我解压到了F盘跟我一起学kafka(二)

解压完了还不算完,要修改一下配置文件和环境变量才能使用!

1)。打开F:\zookeeper-3.4.8\conf\zoo_sample.cfg这个文件,建议不要用记事本打开,用noteped++这类得文本编辑器打开,然后按ctrl+f找到dataDir这个属性并讲后面得属性改为图中所示,这个属性得意思就是日志文件存放得位置,我们必须手动创建data文件夹,不会自动创建哦!

跟我一起学kafka(二)

其他得不用动,端口号默认为2181就行。

2)。在系统变量中添加ZOOKEEPER_HOME,值为你得zookeeper安装路径:

跟我一起学kafka(二)

修改path变量,值为:System Variable%ZOOKEEPER_HOME%\bin;注意不是让你把path得值清空!!!,而是在最前面或者最后面新增!记住每个值要以;隔开.

跟我一起学kafka(二)

好了 该配置得配置完毕了,让我们启动服务,进入bin目录下启动zkserver命令,按住shift键,鼠标右键单机,会发现多出一个选择:在此处打开命令,选择它.

跟我一起学kafka(二)

跟我一起学kafka(二)

如果你看到了这些文字那说明你已经安装成功了,恭喜,Zookeeper已经完成并在端口2181运行。否则请回调到第三步重新来一遍!

跟我一起学kafka(二)

第四步:解压kafka到你指定得目录.我得还是在F盘。

跟我一起学kafka(二)

当然了还得修改一些东西才可以使用。

1)、进入Kafka配置目录,例如F:\kafka_2.11-0.9.0.1\config,编辑文件“server.properties”

跟我一起学kafka(二)

找到并修改log.dirs得值为:f:\kafka_2.11-0.9.0.0\kafka-logs,当然了这个文件夹也是手动创建得!如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我们使用了同一个机器,因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。OK,现在我们启动kafka,重要:请确保在启动Kafka服务器前,Zookeeper实例已经准备好并开始运行。

第五步:进入Kafka安装目录,按下Shift+右键,选择“打开命令窗口”选项,打开命令行,现在输入.\bin\windows\kafka-server-start.bat .\config\server.properties 并回车

跟我一起学kafka(二)

如果一切正常,那么你看到得界面应该是正常,否则请自行百度解决,注意JDK版本必须1.7以上

跟我一起学kafka(二)

现在Kafka已经准备好并开始运行,可以创建topic来存储消息了。我们也能从Java/Scala代码中,或直接从命令行中生成或使用数据.

现在创建topic,命名为“test”,在f:\kafka_2.11-0.9.0.1\bin\windows打开新的命令行。输入下面的命令,回车:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

跟我一起学kafka(二)

创建Producer及Consumer来测试服务器,在f:\kafka_2.11-0.9.0.1\bin\windows打开新的命令行。输入下面的命令,回车:

kafka-console-producer.bat --broker-list localhost:9092 --topic test,再打开一个f:\kafka_2.11-0.9.0.1\bin\windows新的命令行。输入下面的命令,回车:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

再producer端输入任意文字,你会发现consumer端都会接收到。

跟我一起学kafka(二)

OK Kafka安装就完成了!稍后我会奉上java如何使用,我找找代码,因为代码在公司电脑上,而我现在家!