Kafka集群的搭建
一、背景
最近在学习 kafka ,此处记录一下 mac 上 搭建 kafka 集群的步骤。
二、安装软件
由于 kafka 依赖 zookeeper 因此需要安装 zookeeper ,而 kafka 是基于 scala 语言编写, scala 又是基于 jdk 的,因此需要安装 jdk 。
JDK , 推荐在 jdk8 及以上的版Ka本,此处安装 jdk 略。 zookeeper , 在本机搭建一个 3 个节点的 zk 伪集群。 kafka 在本地搭建一个3个节点的 kafka 集群。 三、安装步骤 1、搭建一个 3 个节点的 zk 伪集群
ip客户端连接端口集群选举接口集群原子广播接口server.id中id的值节点名,目前没用到,这个配置fk到hosts文件中
注意:
server.id 的中的 id 的配置是在 zoo.cfg 配置文件的 dataDir 配置项指定的目录中 创建 myid 文件指定的。
1、下载 zookeeper 安装包
get https://mirror.bit.edu.cn/apache/zookeeper/zooa集keeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
2、解压三份,并放置在 zookeeper 目录中
3、修改 zookeeper 配置文件,此处以 zk01 为例子
修改 conf 目录下的 zoo_sample.cfg 为 zoo.cfg
编辑群的 zoo.cfg 配置文件
注意:
此处拿 zk01 为示例编写,因为是本地上启动多个,所以 需求修改端口 各个服务器上的 myid 文件对应的值 都应该不一样,且唯一。 dataDir 的路径需要修改。 其余的配置可以看着修改,看具体的情况。 启动3个zk节点
分别进入到 zk01/bin , zk02/bin , z搭建k03/bin 目录下执行 如下命令
./zkServer.sh --config ../conf start 连接 zk 集群 ./zkCli.sh -server 127.0.0.1:2181,127.0.0.1:3181,12Ka7.0.0.1:4181 2、搭建一个3个节点的 kafka 集群
注意:
broker.id 的值必须唯一,且是数字。
1、下载 kafka
https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.1fk3-2.6.0.tgz
2、解压3份,并放置到 kafka 目录中
3、修改 server.properties 文件,此处以 kafka01 为例子
需要修改的属性 ,此处以 kafka01 为示例,不同的接口修改具体的值
4、启动3个kafka节点
依次进入到 kafka01/a集bin , kafka02/bin , kafka03/bin 目录,执行如下命令
./kafka-server-start.sh ../config/server.properties &
5、kafka测试
此处以 kafka01 作为示例
1、创建一个主题
b群的in/kafka-topics.sh --create --topic test-001 --replication-factor 1 --partitions 1 --bootstrap-server&搭建nbsp;127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
2、查看主题信息
bin/kafka-topics.sh --describe --bootstrap-server 127.0.0.1:9092Ka,127.0.0.1:9093,127.0.0.1:9094 --topic test-001
3、往创建的主题中发布一条信息
bin/kafka-console-producer.sh --topic test-001 --fkbootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
4、读取刚刚往主题中发布的消息
bin/kafka-console-consumer.sh --topic tea集st-001 --from-beginning --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
到此,一个简单的可用的kafka集群就搭建完毕了。
&nbs群的p;
(责任编辑:行业观察)
- 腾讯重磅发布 “混元图像 3.0”,开创多模态图像生成新时代
- 2021年的十大云计算趋势
- 开发人员如何理解kubernetes
- 应对模型推理缺陷:苹果MIND团队加紧招聘AI人才
- 对冲基金敦促英特尔进行重大分拆:剥离芯片制造业务加强竞争力
- 儿童画中国龙
- 马斯克宣布 X 平台将推出全新 AI 推荐算法,提升信息流质量
- 标签: AI家居
- OpenAI向临床医生免费开放专业级服务
- 云计算核心技术Docker教程:docker-compose添加和覆盖配置
- 标签: CCC认证 充电宝 市场监管总局 电动自行车
- 值得考虑的开源云平台和工具
- AI工程师成长记 - 工作方法!
- 标签: 腾讯天美蒙特利尔 3A游戏研发 中国游戏出海 天美工作室
- AMD 签署价值数百亿美元多年芯片协议,向 OpenAI 供应 6 吉瓦 AI 计算能力
- 标签: 华虹公司 华力微 白鹏 资产减值
- 美国参议员提出“SANDBOX 法案” 允许AI公司设定长达10年自我监管规则
- 亚马逊云计算掌舵者Andy Jassy接任公司CEO
- 多尺度表征10亿像素图像,斯坦福神经场景表征新方法入选SIGGRAPH
- 大数据阻止网络安全威胁的5种可行方法
- 阿里云创始人王坚:云计算的第三次浪潮有可能要几十年才能到高峰 views+
- Bubble 推出其首个 AI Agent,革新可视化开发体验 views+
- 云计算开发:Python3三角函数tan()方法详解 views+
- ChatGPT使用报告出炉:七成对话与工作无关,7亿用户如何玩转AI? views+
- MIT发明一款计算机系统,可自动设计机器人结构,获得25年来最高成就 views+
- 标签: 字节跳动 Seed团队 自动驾驶 火山引擎 views+
- 标签: 钛动科技 钛极大模型 Navos AI营销 views+
- 标签: 萝卜快跑 AutoGo 阿布扎比 无人驾驶 views+
- 谷歌Gemini火速登顶:iPhone用户的免费应用新宠 views+
- 2021年后求职分析:你敢裸辞吗? views+
