ELK 集群搭建总结

因公司开发人员查询线上日志困难需求，故计划搭建 ELK 系统解决这一问题。了解到之前搭建过单机单节点的 ELK，但由于负载内存过高，停止弃用了。所以这次准备了三台性能不错的服务器，开始搭建 ELK 集群。

过程曲折且艰辛，记录下来以备不时之需。

由于这种方案，每个 logstash 都需要占用较大内存，这对线上各日志收集的应用服务器，压力太大难以承受。

filebeat是一个轻量级的日志采集器，部署简单占用内存小。这一方案总体上比较好了，只是 logstash 这一节点的压力比较大，查询到filebeat可以负载均衡输出到多个logstash，所以后边考虑了在准备的三台 elk 服务器上都安装一个 logstash ，这样就实现了下边这一方案。

上边的方案其实已经能够满足一般公司的日志需求，但超大的日志数量可能会存在数据错乱缺失，节点脑裂等多个问题。要尽量解决这些问题，要做的工作还很多，这里收集部分网上的建议，记录如下：

在个服务器上通过 yum install -y ***.rpm 直接快速安装

安装后程序位置都在 /usr/share/ 下

配置文件都在 /etc/ 下

建议用 ansible 管理

启动：elasticsearch --- logstash --- filebeat --- kibana

停止：kibana --- filebeat --- logstash --- elasticsearch

1. 创建单独的 namespace

2. 生成开启 x-pack 时的 ssl 证书

3. 部署 elasticsearch master 节点

4. 部署 elasticsearch data 节点

5. 部署 elasticsearch client/ingest 节点

6. 暴露 elasticsearch service

7. 设置 elasticsearch 的密码

这时就可以通过账号 elastic 和密码 03sWFWzGOjNOCioqcbV3 登录 elasticsearch 了

8. 配置 kibana.yaml 连接 elasticsearch 的 secret

9. 部署 kibana

这时就可以通过账号 elastic 和密码 03sWFWzGOjNOCioqcbV3 登录 kiban了

10. 部署 zookeeper

11. 部署 kafka

12. 部署 filebeat

13. 部署 logstach

---