Apache ZooKeeper

Apache ZooKeeper 简介

Apache ZooKeeper 是一个开源的 分布式协调服务，由 Apache Hadoop 项目孵化而来，现已成为分布式系统的核心基础设施。它通过 高可用的数据节点（ZNode） 提供 配置管理、命名服务、分布式锁 等功能，广泛应用于 Kafka、HBase、Dubbo 等分布式系统中。ZooKeeper 的核心优势在于其 强一致性（ZAB 协议）、高可用性和简单的 API，能够有效解决分布式环境下的协调难题。

核心特性

1. 强一致性（ZAB 协议）
   • 所有写操作通过 Leader 节点 同步到集群，保证数据一致性
   • 支持 顺序一致性（Sequential Consistency）
2. 高可用架构
   • 集群模式（通常 3-5 节点）避免单点故障
   • 故障节点自动恢复，不影响服务
3. 数据模型（ZNode）
   • 类似文件系统的树形结构（/services/dubbo/provider）
   • 支持 临时节点（Ephemeral） 和 顺序节点（Sequential）
4. Watch 机制
   • 客户端可监听 ZNode 变更（如节点创建、删除、数据更新）
5. 轻量级与高性能
   • 适用于 读多写少 场景，读性能达 10万+ QPS
6. 多语言客户端
   • 支持 Java、C、Python、Go 等语言

核心概念

典型应用场景

1. 配置中心
   • 集中管理集群配置（如数据库连接字符串）
2. 分布式锁
   • 通过 临时顺序节点 实现互斥锁
3. 服务注册与发现
   • 微服务实例上线/下线自动通知（如 Dubbo）
4. 选主（Leader Election）
   • 多个节点竞争成为主服务（如 Kafka Controller）
5. 集群状态管理
   • 监控节点存活状态（如 HBase RegionServer）

快速入门示例

1. 启动 ZooKeeper 集群

# 下载并解压
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.1/apache-zookeeper-3.8.1-bin.tar.gz
tar -xzf apache-zookeeper-3.8.1-bin.tar.gz
cd apache-zookeeper-3.8.1-bin

# 配置集群（conf/zoo.cfg）
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

# 启动节点（每个节点执行）
bin/zkServer.sh start

2. 命令行操作

# 连接客户端
bin/zkCli.sh -server 127.0.0.1:2181

# 创建节点
create /test "hello"
create -e /ephemeral_node ""  # 临时节点
create -s /seq_node ""        # 顺序节点（如 /seq_node000000001）

# 监听节点变化
get -w /test

3. Java 客户端示例

ZooKeeper zk = new ZooKeeper("localhost:2181", 3000, event -> {
    System.out.println("Event: " + event.getType());
});

// 创建节点
zk.create("/service/node", "data".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

// 读取数据
byte[] data = zk.getData("/service/node", false, null);
System.out.println(new String(data));

性能优化建议

1. 集群部署
   • 生产环境至少 3 节点（避免脑裂问题）
   • 节点分散在不同机架
2. 数据设计
   • 单个 ZNode ≤ 1KB，避免大对象
   • 高频数据缓存在客户端
3. 监控指标
   • 关注 znode_count 和 watch_count
   • 设置 JVM 堆内存（如 -Xmx4G）
4. 客户端调优
   • 复用 ZooKeeper 实例，避免频繁创建连接
   • 合理设置 sessionTimeout（默认 30s）