Elasticsearch

Elasticsearch 简介

Elasticsearch 是一个开源的 分布式搜索和分析引擎，基于 Apache Lucene 构建，由 Elastic 公司开发并维护。它专为 实时数据检索、日志分析、全文搜索 等场景设计，支持 PB 级数据的快速查询，广泛应用于 日志管理（ELK Stack）、企业搜索、安全分析（SIEM） 等领域。Elasticsearch 的核心优势在于其 高性能、可扩展性和丰富的查询 DSL（领域特定语言），使其成为现代数据架构的关键组件。

核心特性

1. 分布式与高可用
   • 数据自动分片（Sharding）和副本（Replication）
   • 支持跨集群搜索（Cross-Cluster Search, CCS）
   • 基于 Raft 协议 的选举机制（7.x+ 版本）
2. 实时搜索与分析
   • 近实时（NRT）索引，数据写入后 1 秒内可查
   • 支持全文检索、模糊搜索、聚合分析（Aggregations）
3. 多数据类型支持
   • 结构化数据（如数据库表）、半结构化数据（如 JSON）、非结构化文本
   • 内置 数值、地理坐标、IP 地址 等字段类型
4. 强大的查询语言
   • Query DSL：支持布尔查询、范围查询、嵌套查询等
   • SQL 兼容：通过 Elasticsearch SQL 执行类 SQL 查询
5. 生态集成
   • Kibana：可视化与监控
   • Logstash：数据采集与管道处理
   • Beats：轻量级数据采集器（如 Filebeat 收集日志）
6. 安全与权限
   • 基于角色的访问控制（RBAC）
   • 支持 TLS 加密和审计日志

核心概念

典型应用场景

1. 日志管理与分析（ELK Stack）
   • 集中存储和分析应用日志（如 Nginx、Java 日志）
2. 企业级搜索
   • 电商商品搜索、内容管理系统（CMS）全文检索
3. 安全分析（SIEM）
   • 通过 Elastic Security 实现威胁检测
4. 指标监控
   • 结合 Metricbeat 收集服务器/容器指标
5. 推荐系统
   • 基于用户行为数据（点击、购买）实现个性化推荐

快速入门示例

1. 启动 Elasticsearch（Docker）

docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:8.12.0

访问 http://localhost:9200 验证运行状态。

2. 创建索引并插入数据

# 创建索引
curl -X PUT "localhost:9200/products" -H "Content-Type: application/json" -d'
{
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "price": { "type": "double" }
    }
  }
}'

# 插入文档
curl -X POST "localhost:9200/products/_doc/1" -H "Content-Type: application/json" -d'
{
  "name": "智能手机",
  "price": 3999.99
}'

3. 执行搜索（Query DSL）

curl -X GET "localhost:9200/products/_search" -H "Content-Type: application/json" -d'
{
  "query": {
    "match": { "name": "手机" }
  }
}'

性能优化建议

1. 硬件配置
   • 内存：至少 50% 分配给 JVM Heap（不超过 32GB）
   • 磁盘：使用 SSD 并预留 50% 空间（避免分片迁移失败）
2. 索引设计
   • 冷热数据分离（Hot-Warm Architecture）
   • 使用 Index Lifecycle Management (ILM) 自动滚动索引
3. 查询优化
   • 避免 wildcard 模糊查询（改用 n-gram 分词器）
   • 使用 filter 替代 query 缓存高频过滤条件
4. 集群调优
   • 控制分片数量（建议单分片 ≤ 50GB）
   • 为专用节点分配角色（如独立的 Master 节点）