在Ubuntu上高效配置Apache Kafka涉及多个步骤，包括安装必要的软件、配置Zookeeper、配置Kafka Broker、启动服务以及性能优化。以下是一个详细的步骤指南：
1. 安装Java环境
Kafka需要Java环境来运行，推荐使用OpenJDK。
sudo apt update
sudo apt install openjdk-11-jdk -y
验证Java安装：
java -version
2. 安装Zookeeper
Kafka依赖于Zookeeper进行集群管理和协调。
下载并解压Zookeeper
wget https://downloads.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
tar -xzvf apache-zookeeper-3.7.0-bin.tar.gz
sudo mv apache-zookeeper-3.7.0 /opt/zookeeper
配置Zookeeper
编辑Zookeeper的配置文件 /opt/zookeeper/conf/zoo.cfg，设置数据目录和客户端连接端口：
dataDir /opt/zookeeper/data
clientPort 2181
启动Zookeeper：
/opt/zookeeper/bin/zkServer.sh start
验证Zookeeper是否启动成功：
netstat -nap | grep 2181
3. 安装Kafka
从Apache Kafka官网下载最新稳定版本的Kafka。
wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
tar -xzvf kafka_2.13-3.7.0.tgz
sudo mv kafka_2.13-3.7.0 /opt/kafka
4. 配置Kafka Broker
配置Kafka
进入Kafka的配置目录 /opt/kafka/config，编辑 server.properties 文件，设置以下关键配置项：
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://your_server_ip:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181
环境变量配置
编辑 /etc/profile 或 /etc/bash.bashrc 文件，添加Kafka和Zookeeper的环境变量：
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin
export ZOOKEEPER_HOME=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
使环境变量生效：
source /etc/profile
5. 启动Kafka和Zookeeper
启动Zookeeper服务：
/opt/zookeeper/bin/zkServer.sh start
启动Kafka服务：
/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
6. 验证配置
创建一个Topic并测试生产者和消费者是否正常工作：
/opt/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
/opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
/opt/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
7. 性能优化
Broker配置调优
编辑Kafka的 server.properties 文件，优化以下参数：
num.partitions: 设置与消费者线程数基本相等的分区数，以充分利用并行处理能力。num.io.threads: 根据CPU核心数设置，通常设置为总核数的50%。log.segment.bytes: 根据磁盘容量和性能设置，通常为1GB。log.retention.hours: 根据数据保留需求设置，例如72小时。compression.type: 启用压缩可以减少网络I/O开销，提升吞吐量，常见的压缩类型有GZIP、Snappy、Lz4等。acks: 设置为all以确保消息的可靠性，但会牺牲一定的吞吐量。
Producer配置调优
batch.size=1048576
linger.ms=100
compression.type=LZ4
acks=all
buffer.memory=33554432
Consumer配置调优
fetch.min.bytes=1048576
fetch.max.wait.ms=1000
max.poll.records=200
其他通用调优建议
- 操作系统参数调整: 增加文件描述符的限制（
ulimit -n 65535），调整内核参数如vm.swappiness、vm.dirty_background_ratio等。 - 硬件选择: 使用SSD硬盘以提高磁盘I/O性能，确保有充足的CPU核心和内存。
- 网络和I/O优化: 使用高性能的网络设备，并调整TCP参数如
tcp_nodelay、tcp_keepalive_time等。
8. 监控和维护
使用JMX或其他监控工具（如Prometheus、Grafana）来实时监控Kafka集群的性能。定期检查和清理日志文件，确保磁盘空间充足。进行Kafka和Zookeeper集群的维护和升级。
请注意，这些配置参数和建议的值需要根据实际的业务需求和系统环境进行调整。在进行任何配置更改之前，建议在测试环境中验证其效果，以确保不会对生产环境造成不良影响。
本网站发布或转载的文章均来自网络，其原创性以及文中表达的观点和判断不代表本网站。
