简介

：接收，处理，转发日志

：文档型数据库，实时的分布式搜索和分析引擎

：查询、生成报表的web GUI

Logstash

配置

在安装目录bin文件夹里新建一个logstash.conf

填入以下配置

input { stdin {} }filter {    grok {        match => ["message",  "%{COMBINEDAPACHELOG}"]    }}output { stdout { codec => rubydebug } }

配置文件语法类似Ruby

input: 数据的来源，可以是文件，tcp等等

filter 以何种规则从字符串中提取出结构化的信息，grok是logstash里的一款插件，可以使用正则表达式匹配日志，上文中的%{COMBINEDAPACHELOG}是内置的正则，用来匹配apache access日志，更多pattern在*

output 配置保存解析结果，可以是文件，es数据库等多种方式

* patterns本地路径大致为：logstash-1.5.0\vendor\bundle\jruby\1.9\gems\logstash-patterns-core-0.1.10\patterns

然后执行 logstash -f logstash.conf ，windows下是logstash.bat

windows有个坑，路径中有空格会启动失败，编辑logstash.bat文件，替换第6行为
CALL "%SCRIPT_DIR%\setup.bat"

测试日志

在控制台输入一条apache日志

127.0.0.1 - - [05/May/2015:15:45:21 +0800] "GET /t/10002 HTTP/1.1" 200 7593 "http://127.0.0.1/index" "Mozilla/4.0 (compatib1e; MSIE 6.1; Windows NT)"

返回结果

可以看到原来的一行字符串，经过logstash的处理后，输出json格式的结果，得到有语义的结构化文档

以上就是Logstash的主要功能：

1. 接收日志（input）

2. 处理成json格式的文档（filter）

3. 输出日志（output）

日志文件处理

再试试文件的

input {    file {        path => "D:/Program Files/logstash-1.5.0/log/access_test.log"        type => "apache"        start_position => "beginning"    }}filter {     grok {         match => {            "message" => "%{COMBINEDAPACHELOG}"        }    }    date {        locale => "en"        match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z", "ISO8601" ]    }}output {    file {        path => "D:/Program Files/logstash-1.5.0/log/logstash-access_test.log"        type => "apache"        start_position => "beginning"    }}

Elasticsearch

启动与管理

安装管理监控工具Marvel

./bin/plugin -i elasticsearch/marvel/latest

启动Elasticsearch

./bin/elasticsearch

ubuntu有个，主机重启后，service启动es报touch的pid文件不存在，按修改/etc/init.d/elasticsearch

访问查看引擎是否启动

Marvel管理地址：

导入数据

修改logstash.conf的output部分

output {    elasticsearch {        host => "127.0.0.1"        protocol => "http"        index => "logstash-test-%{type}-%{host}"        workers => 5        template_overwrite => true    }}

再运行一次logstash，输出的结果就导入elasticsearch了

Documents代表文档数量，大约有两万多个