Docker ELK+Filebeat安装与配置

参考链接:https://www.jianshu.com/p/5df9db5cda8f


环境说明

  • linux
    CentOS Linux release 7.5.1804 (Core)

  • docker
    Docker version 1.13.1

  • elk
    sebp/elk latest

  • filebeat
    filebeat-6.4.0

elk跟filebeat在同一台机器上



架构

  • Elasticsearch
    一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是要能够处理和搜索巨量的日志数据。

  • Logstash
    读取原始日志,并对其进行分析和过滤,然后将其转发给其他组件(比如 Elasticsearch)进行索引或存储。Logstash 支持丰富的 Input 和 Output 类型,能够处理各种应用的日志。

  • Kibana
    一个基于 JavaScript 的 Web 图形界面程序,专门用于可视化 Elasticsearch 的数据。Kibana 能够查询 Elasticsearch 并通过丰富的图表展示结果。用户可以创建 Dashboard 来监控系统的日志。

  • Filebeat
    引入Filebeat作为日志搜集器,主要是为了解决Logstash开销大的问题。相比Logstash,Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。


日志处理流程:
Filebeat将日志发送给Logstash进行分析和过滤,然后由Logstash转发给Elasticsearch,最后由Kibana可视化Elasticsearch 的数据



安装 ELK 套件

ELK 的部署方案可以非常灵活,在规模较大的生产系统中,ELK 有自己的集群,实现了高可用和负载均衡。我们的目标是在最短的时间内学习并实践 ELK,因此将采用最小部署方案:在容器中搭建 ELK。

  • 运行ELK镜像需要vm.max_map_count至少需要262144内存


切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
在尾行添加以下内容   
vm.max_map_count=262144
并执行命令
sysctl -p
elk启动的时候可能会提示如下错误:
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
查看容器日志:docker logs 容器ID
参考链接:
https://blog.csdn.net/jiankunking/article/details/65448030



  • 安装docker

在线安装吧,如果自定义安装请搜索下安装方法,这里就不再描述了
yum install docker   
启用服务
systemctl start docker
开机启动
systemctl enable docker
  • 运行ELK镜像

sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
  • 配置logstash

查看容器信息
docker ps -a

进入容器
sudo docker exec -it elk /bin/bash
或
sudo docker exec -it 容器ID /bin/bash

修改02-beats-input.confcd /etc/logstash/conf.d/
vi 02-beats-input.conf

/etc/logstash/conf.d/02-beats-input.conf修改成如下图所示:

(这里vi命令使用有点问题,我是通过DEL键一行一行的删掉了那3行的)

将以下三行删除掉。这三行的意思是是否使用证书,本例是不使用证书的,如果你需要使用证书,将logstash.crt拷贝到客户端,然后在filebeat.yml里面添加路径即可

ssl => true 
ssl_certificate => "/pki/tls/certs/logstash.crt"
ssl_key => "/pki/tls/private/logstash.key"
注意:sebp/elk docker是自建立了一个证书logstash.crt,默认使用*通配配符,
如果你使用证书,filebeat.yml使用的服务器地址必须使用域名,不能使用IP地址,否则会报错

这里如果不去掉这三行配置的话,在后面启动filebeat时,会提示如下错误:
2018-09-12T10:01:29.770+0800    ERROR   logstash/async.go:252   Failed to publish events caused by: lumberjack protocol error
2018-09-12T10:01:29.775+0800    ERROR   logstash/async.go:252   Failed to publish events caused by: client is not connected
2018-09-12T10:01:30.775+0800    ERROR   pipeline/output.go:109  Failed to publish events: client is not connected
  • 重启elk容器

docker restart 容器ID



  • kibana可视化页面

在浏览器输入:http://ip:5601 ,稍等一会即可看到kibana启动成功管理页面


安装Filebeat

filebeat有多种安装方式,我这里采用rpm包的安装方式,可自动注册为systemd的服务


  • 下载filebeat的rpm包

cd /opt/softwares
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-x86_64.rpm

或者到官网查看最新版本直接下载:https://www.elastic.co/downloads/beats/filebeat


  • 安装filebeat

rpm -ivh filebeat-6.4.0-x86_64.rpm
  • 配置filebeat

cd /etc/filebeat
vi filebeat.yml


配置改为上图所示
enabled:filebeat 6.0后,enabled默认为关闭,必须要修改成true
paths:为你想要抓取分析的日志所在路径


配置改为上图所示。注释掉Elasticsearch output,开启Logstash output。
如果直接将日志发送到Elasticsearc,请编辑此行:Elasticsearch output
如果直接将日志发送到Logstash,请编辑此行:Logstash output
如果是分布式,在节点机器上只装有filebeat没有elk其它组件的话,上面的hosts里面的localhost:5044换成IP:5044就可以了
只能使用一行输出,其它的注掉即可
避免一条日志被分隔成多条的filebeat配置说明
paths
    指定要收集的日志文件的地址,如有多个日志文件,可以写多行进行配置。 
    支持通配符进行匹配,如:- /kingboy/*.log达到的效果和上面的配置是一样的
multiline.*
filebeat处理log文件是按行处理的,也就是说会把一行当成一条数据进行处理,那么log中的异常信息就会被当成多条日志分开处理,显然不是我们想要的。这三行的作用就是将异常信息归并到上一条日志信息中。
    pattern
        value为正则表达式,'^\['表示不是以[开头的行,都当做是异常信息,归并为一行。  ^(ERROR|WARNING) 表示以ERROR或者以WARNING开头的
    negate
        true 或 false;默认是false,匹配pattern的行合并到上一行;true,不匹配pattern的行合并到上一行 Default is false.
    match
        after 或 before,合并到上一行的末尾或开头。
增加节点机器的名称,避免上报过去的日志不知道是哪台机器传过来的
在/etc/filebeat/filebeat.yml文件里面加入如下配置,并重启
serverIP是变量,表示服务器的IP,这里也可以替换成自己写死的字符串
fields_under_root: true
fields:  
    host: ${serverIP}



  • 启动filebeat服务

启动filebeat
systemctl start filebeat.service
查看filebeat状态
systemctl status filebeat.service
查看filebeat日志
tail -f /var/log/filebeat/filebeat
参考链接:https://www.jianshu.com/p/7ca38fa881ae


kibana配置

点击左上角的Discover按钮,如下图所示,提示创建“index pattern”(或者齿轮Management里面的index pattern"):

如下图,红框中输入filebeat-*,再点击Next step:

如下图,下拉框中选择@timestamp,再点击Create index pattern


在弹出的页面上,再次点击左上角的Discover按钮,然后点击右上角的Last 15 minutes,如下图:

此时页面上会显示最近15分钟内的日志,如果最近15分钟内没有任何日志上报,您也可以点击下图红框中的Today按钮,展示今天的所有日志:



kibana的登录认证问题:

由于kibana没有登录,所以网址搭建后很不安全,这里用 nginx转发来实现登录逻辑

1.配置nginx,这是nginx的配置文件


server {
  listen       80;
  server_name log.xxx.com;
  location / {
     auth_basic "secret";
     auth_basic_user_file /data/nginx/db/passwd.db;
     proxy_pass http://localhost:5601;
     proxy_set_header Host $host:5601;
     proxy_set_header X-Real-IP $remote_addr;
     proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
     proxy_set_header Via "nginx";
  }
  access_log off;
}

上面的配置表示将elk.yjmyzz.com的请求,转发到服务器的5601端口,同时使用最基本的用户名、密码来认证。


2.配置登录用户名,密码

htpasswd -c /data/nginx/db/passwd.db user1

注意passwd.db的路径要跟nginx配置中的一致,最后的user1为用户名,可以随便改,输入完该命令后,系统会提示输入密码,搞定后passwd.db中就有加密后的密码了,有兴趣的可以cat看下。

提示:htpasswd是apache自带的小工具,如果找不到该命令,尝试用yum install httpd安装


3.关掉kibana端口的外网访问

用nginx转发后,一定要记得配置iptables之类的防火墙,禁止外部直接访问5601端口,这样就只能通过nginx来访问了。