elk收集nginx日志

什么是ELK？

ELK是一个开源的数据分析平台，包括Elasticsearch、Logstash和Kibana三个组件。Elasticsearch是一个分布式搜索和分析引擎，Logstash是一个日志收集和处理工具，Kibana是一个数据展示和可视化平台。这个组合可以实现对各种数据源的集中处理、归纳、搜索和可视化。

Nginx日志特点

Nginx是一个高性能的HTTP和反向代理服务器，广泛应用于互联网架构中。由于Nginx具有高效、稳定、易配置、模块化等特点，被越来越多的企业和团队使用。Nginx的日志记录方式简单明了，可以方便地记录访问者IP、请求方式、请求路径、状态码、响应时间等信息。但是Nginx日志的格式与其他系统略有不同，需要进行一些特殊的处理。

如何收集Nginx日志？

为了对Nginx日志进行集中处理和分析，我们需要使用一个日志收集和处理工具，比如Logstash。Logstash支持多种输入插件和输出插件，可以实现各种数据源的快速导入和分发。对于Nginx日志，Logstash自带了一个输入插件nginx模块， 可以直接读取Nginx的access log，并将其发送到Elasticsearch等目的地。

step1.安装Logstash:官网下载后，解压到指定目录下。

step2.编辑配置文件:启动logstash需要一个配置文件，Logstash 的配置文件是 YAML 格式的。在 conf 目录下新建 nginx.conf，内容如下：

input {

file {

path => "/usr/local/nginx/logs/access.log"

start_position => "beginning">

}

}

filter {

grok {

match => { "message" => "%{COMBINEDAPACHELOG}" }

}

}

output {

elasticsearch {

hosts => ["localhost:9200"]

index => "nginx-accesslog-%{+YYYY.MM.dd}"

}

}

根据以上的配置可以看到 ：我们指定了日志路径；我们使用 grok 插件解析 Nginx 的日志格式；我们指定了输出，将日志发送到 Elasticsearch，index 使用 nginx-accesslog-时间戳。

如何可视化分析Nginx日志？

ELK 已经可以接收和处理 nginx 日志，接下来我们需要使用 Kibana 将日志可视化展示出来。使用 Kibana 可以通过各种可视化图表（如柱状图、饼状图、地图等）对数据进行分析、对比和展示。

step1.启动kibana:在bin目录下运行./kibana命令。

step2.连接elasticsearch:Kibana 需要连接 Elasticsearch 以访问数据，打开 kibana 页面，找到左侧菜单的Dev Tools，输入以下命令测试Elasticsearch是否运行正常：

GET /nginx-accesslog-*/_search

{}

step3.创建index:切换到左侧菜单的Management ，然后Inputs 选择Add New 中 System Logs 可以选择nginx模式，此模式可以引入 Logstash 配置文件中指定的 index。

step4.创建Dashboard:打开 Kibana 首页，选择左侧菜单的 Dashboards，点击 Create a Dashboard 新建面板，选定需要展示的图表和数据字段，然后保存即可。

总结

Nginx日志可以通过Logstash收集和处理，然后通过Kibana进行可视化展示和分析。这样可以提高日志管理和分析的效率和精度，对于企业管理和运营决策具有重要的意义。在安装配置ELK的过程中需要注意的地方很多，但是当你熟悉一些基础操作之后，就可以进行更深层次的数据分析工作。