本文共 1267 字，大约阅读时间需要 4 分钟。
input插件
input 插件指定数据的输入源，一个pipeline可以有多个input插件。
stdin
举例：
file
配置
glob匹配语法
举例
kafka
kafka是最流行的消息队列。
codec 插件
codec插件作用域input和output插件，负责将数据在原始与logstash event之间转换。
常见的codec
测试
结果分别如下：
line –> rubydebug：
line –> dots
不论输入什么，输出都会变成一个点。一般用于不关注输出的时候，比如压测时，只关心logstash是否运行。
json –> rubydebug
multiline
使用场景
当一个event的message由多行组成的时候，需要用到这个codec，常见情况是堆栈日志信息处理，如：
设置参数
举例
filter插件
filter插件是logstash的主要功能之一，可以对logstash event进行丰富的处理。如类型转换、删除字段等。
常见filter插件
date插件
将日期字符串解析为日期类型，然后替换@timestamp字段或者其他字段。
例如：
date参数如下：
grok插件
grok是内置带有名字的正则表达式的集合，通常用于将一条日志文件解析成为一个json形式。
grok语法如下：
也可以自定义匹配规则：
自定义 gork pattern
match匹配多种样式
overwrite重写方法
dissect插件
dissect几区分隔符原理解析数据，解决grok解析消耗过多cpu资源的问题。
只能应用于每行格式相似且分割符明确的场景
语法：
举例：
mutate插件
可以对字段进行各种操作，包括重命名，删除替换更新等。主要操作有：
convert
实现字段类型转换，类型为hash，支持integer、float、string、boolean
gsub
对内容进行替换，类型为数组，每3项为一个替换配置
split
将字符串切割成为数组
join
将数组拼接为字符串
merge
将两个数组合并成为1个数组，字符串会被转换为1个元素的数组进行操作
rename
将字段重命名
update/replace
更新字段内容，updatge在字段存在的时候才生效，replace在字段不存在的时候会执行行增加字段的操作
remove
删除字段
json插件
将内容为json的数据进行解析
geoip插件
根据ip地址提供对应的地域信息，比如经纬度、城市名称等，方便进行地理数据分析。
ruby插件
当所有插件都无法满足需求的时候，可以编写ruby代码来修改logstash event对象
output插件
output负责将数据输出到指定的位置。output常见插件有如下几种：
stdout
输出到标准输出，一般用于调试。
file
输出到文件，实现将分散的日志集中到一个文件中，方便查看。
elasticsearch
输出到elasticsearch中，基于http实现。
