ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

Elasticsearch 7.10.2 安装部署与 Kibana 联动实战

Elasticsearch 7.10.2 安装部署与 Kibana 联动实战 1. 为什么偏偏选 7.10.2 这个版本Elasticsearch 的版本迭代速度一直很快7.x 系列小版本号就没停过8.x 也早已铺开。但如果你翻一翻各大技术社区里跟“elasticsearch安装”相关的帖子会发现 7.10.2 这个版本的出镜率格外高。原因其实不复杂7.10.2 是最后一个采用 Apache 2.0 许可的版本从 7.11 开始 Elastic 就把许可协议切换成了 Elastic License 和 SSPL 双许可模式。这意味着如果你在生产环境里用 7.10.2法务层面要省心得多不会有那种“到底能不能商用”的纠结。再一个7.10.2 的功能完整度已经非常成熟了。全文检索、聚合分析、倒排索引、近实时搜索这些核心能力一个不少Kibana 7.10.2 配套的可视化功能也足够日常使用。对于中小规模的数据检索场景——比如日志分析、商品搜索、文档管理——它完全扛得住。很多团队的生产集群至今还跑在这个版本上稳得很。还有个现实因素热词里有人问“elasticsearch 7.17.0下载”和“elasticsearch 9版本rrf是企业版的怎么办”这说明版本选择本身就是个让人头疼的事。我的建议很直接如果你追求许可宽松、功能够用、社区资料多7.10.2 就是那个甜点版本。后面提到的 rrfReciprocal Rank Fusion属于更高版本才引入的能力对大多数业务来说暂时用不上没必要为了一个高级排序功能去背许可合规的包袱。提示如果你所在的组织对软件许可非常敏感动手之前先跟法务或合规同事确认一下当前使用的版本许可范围这比装完了再补救要省事得多。这一篇要聊的就是把 7.10.2 装起来、跑起来、用起来。不管你是刚接触 elasticsearch教程的新手还是想从零搭一套 ELK 做日志分析的老手下面这些步骤都是可以直接抄作业的。整套流程我会分成环境准备、安装部署、关键配置、Kibana 联动、性能初调、问题排查几个板块来讲中间会穿插我自己踩过的坑和一些实测有效的参数调整。2. 装之前先把地基打牢2.1 硬件与操作系统的选择装 Elasticsearch 之前第一件事是确认机器扛不扛得住。官方给的最低配置是 2 核 CPU、2GB 内存但那只是“能启动”的门槛。实际用起来JVM 堆内存至少给 2GB物理内存建议 8GB 起步。为什么是这个数因为 Lucene 的段合并和文件缓存非常吃内存堆内存给少了查询一上来就触发 GC响应时间直接从毫秒级跳到秒级。如果你用的是 Windows 来跑 elasticsearch windows 版本建议物理内存不低于 16GB因为 Windows 本身占的资源就比 Linux 多。Linux 环境则推荐用 CentOS 7.9 或 Ubuntu 20.04 这类长期支持版本内核参数调整起来更顺手。磁盘方面SSD 是必须的机械盘跑 ES 的写入性能会让你怀疑人生。容量估算有个粗算公式原始数据大小乘以 1.5 到 2 倍再除以副本数。比如你有 100GB 原始日志1 个副本那大概需要 200GB 到 300GB 的磁盘空间。操作系统层面还有一个容易忽略的点——文件描述符数量和内存映射区域数量。Linux 默认的 ulimit 和 vm.max_map_count 都太低不改的话 ES 启动时会直接报错退出。这部分我在后面的配置章节会给出具体的调整命令。2.2 Java 环境到底要不要单独装这是被问得最多的问题之一。答案是7.10.2 自带 JDK不需要你单独装 Java。Elasticsearch 从 7.0 开始就把 OpenJDK 打包在发行版里了解压之后jdk目录就在里面启动脚本会自动使用自带的 Java 环境。所以在“elasticsearch安装”这个环节上你可以跳过配置 JAVA_HOME 这一步省了不少事。但有一种情况需要注意如果你打算在同一台机器上跑 Logstash 或者自定义的 Java 客户端程序那些组件可能对 Java 版本有自己的要求。这时候可以单独装一个 OpenJDK 11 放在系统层面跟 ES 自带的 JDK 互不干扰。ES 7.10.2 自带的是 OpenJDK 15兼容性没问题不用去动它。注意千万不要手贱去改jdk目录里的内容也不要设置JAVA_HOME指向别的地方。启动脚本用的是相对路径去找自带 JDK你改了环境变量反而可能导致启动失败。2.3 下载渠道与文件校验官方下载地址是https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-10-2选对应操作系统的压缩包就行。Linux 用.tar.gzWindows 用.zip。下载完之后强烈建议做一次 SHA256 校验命令如下# Linux 校验 shasum -a 256 elasticsearch-7.10.2-linux-x86_64.tar.gz把输出跟官网提供的校验值比对一下一致才说明文件完整。之前我有一次下载中途网络抖动文件少了几个字节解压的时候才发现报错白白浪费了半小时。Kibana 的下载方式同理版本号必须跟 ES 完全一致7.10.2 配 7.10.2版本号对不上连不上是小事数据错乱才是大麻烦。2.4 Linux 内核参数调整实操在 Linux 上部署的话下面这几个参数必须提前改否则大概率启动失败。第一个是vm.max_map_count。ES 的 Lucene 引擎需要大量的内存映射文件这个值默认只有 65530远远不够。临时修改用sysctl -w vm.max_map_count262144永久生效则写入/etc/sysctl.confecho vm.max_map_count262144 /etc/sysctl.conf sysctl -p第二个是文件描述符和进程数限制。编辑/etc/security/limits.conf在末尾加上* soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096改完需要重新登录终端才会生效用ulimit -n和ulimit -u验证一下。第三个是禁用 swap因为交换分区会让 ES 的性能变得极其不稳定。临时关闭用swapoff -a永久关闭就注释掉/etc/fstab里 swap 那一行。这些参数看似琐碎但每一个都是生产环境用血泪换来的经验不调的话轻则启动报错重则运行中频繁掉节点。3. 安装部署全流程3.1 Linux 下的解压与目录规划下载完.tar.gz之后不要直接在当前目录解压。我的习惯是建一个统一的应用目录比如/usr/local/elasticsearch这样后期维护和备份都清晰。操作步骤如下# 创建目录并解压 mkdir -p /usr/local/elasticsearch tar -zxvf elasticsearch-7.10.2-linux-x86_64.tar.gz -C /usr/local/elasticsearch --strip-components1 # 创建专用用户ES 不允许 root 直接启动 useradd esuser chown -R esuser:esuser /usr/local/elasticsearch这里有个关键点Elasticsearch 出于安全考虑禁止以 root 用户启动。所以必须建一个普通用户来运行。上面用--strip-components1是为了去掉压缩包自带的那层版本目录让文件直接落在/usr/local/elasticsearch下路径更干净。目录结构大概是这样的bin放启动脚本config放配置文件data存索引数据logs存日志jdk是自带 Javaplugins放插件。心里有这张地图后面改配置就不会迷路。3.2 Windows 下的解压与目录规划Windows 用户下载.zip之后直接解压到不含中文和空格的路径下比如D:\elasticsearch-7.10.2。这里特别提醒路径里千万别有中文或空格否则启动脚本里的路径解析会出问题报一些莫名其妙的错。解压后的目录结构和 Linux 基本一致只是启动脚本换成了.bat文件。Windows 下不需要单独建用户但建议以管理员身份运行命令行避免权限不足导致的文件写入失败。如果你之前装过其他版本的 ES记得先把旧的环境变量清理干净。我见过有人 PATH 里同时挂着两个版本的bin目录结果elasticsearch.bat调到了旧版本启动日志里的版本号跟预期对不上排查了半天才发现是环境变量在捣乱。3.3 核心配置文件 elasticsearch.yml 逐项拆解配置文件在config/elasticsearch.yml这是整个安装过程中最需要耐心看的部分。7.10.2 的默认配置是给单机开发环境用的生产环境需要调整不少地方。下面按重要性逐项说明。cluster.name是集群名称默认叫elasticsearch。如果你同一个网段里有多套 ES 集群名字必须区分开否则会意外合并成一个集群那可就热闹了。node.name是节点名称单机随意集群里建议用有意义的名字比如node-1、node-2。path.data和path.logs指定数据和日志的存放路径。生产环境强烈建议把 data 目录挂到独立的磁盘分区上跟系统盘分开这样索引写入不会影响系统稳定性。network.host默认是localhost只允许本机访问。如果要让其他机器连上就得改成0.0.0.0或者具体的内网 IP。改这个的同时discovery.seed_hosts和cluster.initial_master_nodes也得配套调整。对于单机部署最简单的做法是加上一行discovery.type: single-node这样 ES 会自动跳过集群发现流程直接以单节点模式启动。如果是多节点集群那cluster.initial_master_nodes里要列出所有有资格当选主节点的节点名。这些配置我建议你先在测试环境跑通再往生产环境搬。3.4 JVM 内存参数怎么给才合理JVM 参数在config/jvm.options文件里最关键的是-Xms和-Xmx两个值。默认是 1GB小场景够用但稍微有点数据量就不行了。设置原则有几条堆内存不要超过物理内存的 50%也不要超过 32GB。为什么是 32GB因为 JVM 的指针压缩机制在堆内存超过 32GB 后会失效性能反而下降。所以哪怕你机器有 128GB 内存单个 ES 节点的堆内存也建议压在 31GB 以内。那剩下的内存干什么用留给 Lucene 的文件缓存。ES 的查询性能很大程度上取决于文件缓存命中率堆内存之外的内存越多查询越快。举个例子一台 64GB 内存的机器堆内存给 31GB剩下 33GB 给系统缓存这个比例就比较理想。如果物理内存只有 16GB堆内存给 8GB剩下 8GB 给缓存也凑合。修改方法很简单在jvm.options里找到这两行改成你要的值-Xms8g -Xmx8g注意-Xms和-Xmx必须设成一样的值避免运行期堆伸缩带来的性能抖动。别问为什么设成一样就对了。3.5 安全配置与密码设置7.10.2 默认是关闭安全功能的也就是没有密码、没有 HTTPS。这在开发测试环境没问题但生产环境必须开。开启安全功能涉及几个步骤先在elasticsearch.yml里设置xpack.security.enabled: true然后重启 ES再用bin/elasticsearch-setup-passwords interactive命令交互式设置各个内置用户的密码。这个命令会依次让你给elasticsearch、kibana、logstash_system等用户设密码。密码设完之后Kibana 的配置文件里也要填入对应的账号密码否则 Kibana 连不上 ES。这块如果配错了最常见的现象就是 Kibana 启动后界面一直转圈日志里报 401 未授权。先把安全功能配好再导入数据不然数据导完了再加密码还得回头改一堆连接配置麻烦得很。4. 启动验证与 Kibana 联动4.1 首次启动与后台运行Linux 下不能直接./elasticsearch启动那样终端一关进程就没了。正确姿势是用-d参数让它后台运行su esuser cd /usr/local/elasticsearch ./bin/elasticsearch -d -p pid-p pid会把进程号写进文件方便后续停止。启动之后等个十几秒用curl http://localhost:9200验证一下。如果返回一段 JSON里面有version : { number : 7.10.2 }那就说明启动成功了。如果报连接拒绝先去看logs/elasticsearch.log里面会有具体的错误信息。Windows 下启动就是双击bin\elasticsearch.bat或者在命令行里执行。窗口会刷出一堆日志等出现started字样就说明成功了。别关那个窗口关了服务就停了。想让它作为后台服务运行可以用elasticsearch-service.bat install注册成 Windows 服务然后通过服务管理器启动。4.2 健康检查与状态确认启动只是第一步还得确认集群状态正常。访问http://localhost:9200/_cluster/health?pretty会返回一个 JSON重点是status字段。绿色表示一切正常黄色表示主分片正常但副本分片没分配——单节点环境下黄色是正常的因为没有第二个节点来放副本。红色就说明有主分片丢失必须马上排查。再访问_cat/nodes?v可以看节点列表_cat/indices?v看索引列表。这几个 API 是日常运维最常用的建议记在备忘录里。有时候启动看着成功了但集群状态是红的原因可能是磁盘空间不足触发了只读锁或者数据目录权限不对。养成启动后先看健康状态的习惯比出了问题再回头翻日志要高效得多。4.3 Kibana 安装与连接配置Kibana 的安装流程跟 ES 差不多解压、改配置、启动。配置文件在config/kibana.yml关键就两行elasticsearch.hosts: [http://localhost:9200] server.host: 0.0.0.0第一行指向 ES 的地址第二行让 Kibana 监听所有网卡方便从其他机器访问。如果 ES 开了安全功能这里还要加上elasticsearch.username和elasticsearch.password。启动命令是./bin/kibanaWindows 下是bin\kibana.bat。Kibana 启动比 ES 慢一些第一次可能要等一两分钟。看到日志里出现Kibana is now available就说明好了。浏览器访问http://localhost:5601如果能看到 Kibana 的欢迎界面整个 ELK 的骨架就算搭起来了。注意 Kibana 和 ES 的版本必须完全一致7.10.2 配 7.10.2差一个小版本都可能连不上。4.4 第一个索引的创建与数据写入装完了总得写点数据验证一下。用 Kibana 的 Dev Tools 最方便或者直接用 curl。先创建一个测试索引curl -X PUT localhost:9200/test_index?pretty -H Content-Type: application/json -d { settings: { number_of_shards: 1, number_of_replicas: 0 } } 单节点环境副本数设 0避免集群一直处于黄色状态。然后插一条文档curl -X POST localhost:9200/test_index/_doc?pretty -H Content-Type: application/json -d { title: elasticsearch安装测试, content: 这是一条测试数据, timestamp: 2024-01-01T00:00:00 } 最后搜索一下curl localhost:9200/test_index/_search?pretty能看到刚才插入的数据就说明整条链路通了。这几个命令虽然简单但覆盖了索引创建、文档写入、搜索查询三个核心操作新手拿这个练手最合适不过。5. 性能优化从安装阶段就该做的事5.1 分片数量的规划逻辑很多人安装的时候随手就用了默认的 5 个分片结果数据量一上来才发现分片太多集群元数据膨胀查询反而变慢。分片数量应该在创建索引之前就想清楚因为后期改分片数量需要 reindex代价不小。一个经验公式单个分片的大小控制在 10GB 到 50GB 之间。如果你预计索引总量是 100GB那分 3 到 5 个分片比较合适。分片太小比如每个只有几百 MB会导致 Lucene 段文件过多查询时要打开的段也多性能反而下降。分片太大比如超过 50GB恢复和迁移的时间会很长一个节点挂了重新分配分片要好几个小时。还有一点分片数量一旦设定就不能直接改只能通过_reindex重建索引。所以安装完成后别急着批量导入数据先花十分钟估算一下数据规模把分片数定下来。这个时间投入绝对值得。5.2 内存锁定与禁止 swap 的实操前面提过要禁用 swap但光禁用还不够还得让 ES 把堆内存锁定在物理内存里防止被换出。在elasticsearch.yml里加上bootstrap.memory_lock: true然后在 Linux 的 systemd 服务文件或者启动脚本里给 esuser 加上memlock权限。用ulimit -l检查一下如果是unlimited就对了。这个配置的作用是告诉操作系统ES 的堆内存你别动别往 swap 里挪。因为一旦发生内存交换ES 的响应时间会从毫秒级恶化到秒级甚至更久对于实时搜索场景来说这是致命的。Windows 下没有直接对应的配置项但可以通过系统设置把页面文件调小来间接达到类似效果。不过 Windows 环境的稳定性整体不如 Linux如果是生产环境我还是建议上 Linux。5.3 线程池与写入优化的初步调整7.10.2 的线程池默认配置对大多数场景够用但如果你做的是高并发写入——比如日志采集——可以关注一下thread_pool.write.queue_size这个参数。默认值是 10000队列满了之后写入请求会被拒绝。如果你的日志量特别大可以适当调大这个值但别调太大否则堆积的请求会占用大量内存。写入性能还有一个关键点是refresh_interval。默认是 1 秒意味着每秒都会生成一个新的 Lucene 段。对于写入密集但查询要求不高的场景可以把它调大到 30 秒甚至 60 秒这样能显著降低段合并的压力。对应的索引配置如下{ settings: { refresh_interval: 30s } }等数据导入完成后再调回 1 秒兼顾写入速度和查询实时性。这个技巧在批量导入数据的时候特别管用能让导入速度提升好几倍。6. 常见问题与排查技巧实录6.1 启动报错速查表安装过程中遇到的报错五花八门我整理了一张速查表覆盖了 90% 以上的常见问题报错信息根本原因解决方法max virtual memory areas vm.max_map_count [65530] is too low内存映射区域数量不足sysctl -w vm.max_map_count262144max file descriptors [4096] for elasticsearch process is too low文件描述符限制太低修改/etc/security/limits.conffailed to obtain node locks数据目录被占用或权限不对检查是否已有 ES 进程在跑确认目录属主java.lang.RuntimeException: can not run elasticsearch as root用 root 启动了切换到普通用户启动Connection refusedES 没启动或端口不对检查进程和network.host配置No space left on device磁盘满了清理磁盘或扩容解冻只读索引这张表建议收藏下次遇到报错先对一遍能省不少搜索时间。其中vm.max_map_count和文件描述符这两个问题在 Linux 环境出现的频率最高装之前就把参数调好能避免 80% 的启动失败。6.2 端口占用与防火墙排查ES 默认监听 9200HTTP和 9300节点间通信两个端口。启动报BindException: Address already in use的话先用netstat -tlnp | grep 9200看看是谁占了。常见的情况是之前启动的 ES 没关干净进程还在后台跑着。ps -ef | grep elasticsearch找到进程号kill掉再重新启动就行。防火墙这块也容易卡人。Linux 的 firewalld 或者 iptables 可能把 9200 端口拦了导致本机 curl 能通但其他机器连不上。临时排查可以systemctl stop firewalld试一下确认是防火墙问题后再添加具体的放行规则。Windows 下则是检查“高级安全 Windows Defender 防火墙”的入站规则把 9200 和 5601 端口加进去。别图省事直接把防火墙全关了生产环境这么干等于裸奔。6.3 集群黄色和红色的处理思路单节点环境下集群是黄色很正常因为副本分片没地方分配。想变绿就把副本数设成 0或者再加一个节点。但如果多节点集群也是黄色就得看看_cat/shards?v里哪些分片是未分配的。常见原因是节点磁盘使用率超过 85%触发了水位线ES 会自动停止分配分片到该节点。红色状态意味着有主分片丢失这通常比较严重。先看_cluster/allocation/explain的输出里面会解释为什么分片分配不了。可能是数据目录损坏也可能是节点下线太久。遇到红色别慌先别急着删索引大部分情况通过重新分配或者恢复快照都能解决。如果确实无法恢复再从快照里还原数据。注意磁盘水位线有三个档位85% 时不再分配新分片90% 时尝试迁移分片95% 时索引变成只读。所以日常监控磁盘使用率非常重要别等到 95% 触发只读锁了才发现。6.4 日志阅读的正确姿势ES 的日志在logs/目录下主日志是elasticsearch.log还有gc.log记录垃圾回收情况。排查问题的时候先看主日志的最后 100 行大部分错误都会在那里露出马脚。GC 日志则用来判断是不是内存不够导致了停顿如果看到频繁的 Full GC那基本就是堆内存给少了回去调大-Xmx就行。日志的默认滚动策略是按天和按大小时间久了会占不少磁盘。可以在log4j2.properties里调整保留策略或者直接配一个定时清理任务。我自己的做法是保留最近 7 天的日志更早的自动删掉既能追溯问题又不至于把磁盘撑爆。6.5 几个容易踩的坑和独家建议第一个坑是时区问题。ES 默认用 UTC 时间存储Kibana 展示的时候按浏览器时区转换。如果你发现 Kibana 里的时间跟实际差了 8 小时别急着骂 ES去 Kibana 的 Advanced Settings 里把时区改成Asia/Shanghai就好了。第二个坑是索引名不能用大写字母。这是 7.x 版本的硬性规定创建索引时名字里有大写会直接报错。用全小写加下划线的命名方式最稳妥比如app_log_2024_01。第三个建议是安装完先做一次快照备份配置。哪怕现在没有数据先把快照仓库配好后面数据量上来了随时可以备份。很多人都是数据丢了才想起来快照这回事那时候已经来不及了。配置快照仓库需要设置path.repo然后通过_snapshotAPI 注册具体命令可以查阅官方文档这里就不展开了。第四个建议是关于 elasticsearch license 的。7.10.2 用的是 Apache 2.0功能没有阉割但也没有官方商业支持。如果你的业务对技术支持有硬性要求可以考虑购买订阅或者选用其他方案。但对于大多数自建场景来说社区版完全够用省下的预算拿去买 SSD 提升硬件性能效果更立竿见影。最后再分享一个我自己的习惯装完 ES 之后马上把elasticsearch.yml和jvm.options备份一份到 Git 仓库里。后面每次改配置都提交一次出了问题随时可以回滚。这个习惯帮我省过好几次事特别是在调优阶段频繁改参数的时候有版本记录心里踏实得多。
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进