Graylog Collector Sidecar 安装配置

Graylog Collector Sidecar 是针对不同日志收集方式(filbeat、nxlog)的轻量级配置和管理系统,也可以称为Backends。Sidecar可以安装在Windows机器,也可也安装在Linux机器。如果在被收集日志的服务器上面安装了graylog-collector-sidecar的服务,graylog server可以通过Rest API(前端页面)集中管理和配置要收集日志的路径、正则匹配和过滤日志、多行日志支持、检测日志文件的时间间隔等配置。

1.Graylog Collector Sidecar使用场景:
1)相同的业务:因为相同的业务一般日志存储路径、需要收集日志内容一般都相同,通过Sidecar集中配置和收集。不同的业务可以通过Tag的方式来区分。
2)系统日志的收集:包括系统内核日志、安全日志等。
2.Graylog Collector Sidecar安装配置,下面是在Centos6.x上面安装配置过程。点击查看graylog官方文档。

[root@tuxapp ~]# rpm -ivh collector-sidecar-0.1.6-1.x86_64.rpm
[root@tuxapp ~]# graylog-collector-sidecar -service install
[root@tuxapp ~]# /etc/init.d/collector-sidecar start

Graylog Collector Sidecar支持NXLog、Filebeat和Winlogbeat的方式收集日志。即在安装Sidecar的服务器上面不需要安装nxlog或者filbeat。下面是Sidecar的配置文件及其参数详解,Rest API的端口默认为9000,可以修改graylog server.conf的rest_listen_url参数来修改端口号。

[root@tuxapp ~]# cat /etc/graylog/collector-sidecar/collector_sidecar.yml
server_url: http://192.168.3.243:8080/api/
update_interval: 60
tls_skip_verify: false
send_status: true
list_log_files:
collector_id: file:/etc/graylog/collector-sidecar/collector-id
cache_path: /var/cache/graylog/collector-sidecar
log_path: /var/log/graylog/collector-sidecar
log_rotation_time: 86400
log_max_age: 604800
tags:
- Tuxedo
backends:
- name: nxlog
enabled: false
binary_path: /usr/bin/nxlog
configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf
- name: filebeat
enabled: true
binary_path: /usr/bin/filebeat
configuration_path: /etc/graylog/collector-sidecar/generated/filebeat.yml
[root@tuxapp ~]# /etc/init.d/collector-sidecar restart

Sidecar配置文件参数详解:

3.Graylog 前端页面的配置。下面演示如何通过Graylog Web接口配置Sidecar来收集业务日志。

1)首先新建一个Beats input,Sidecar可以将收集的日志发送给该input,端口为5045。

2)Collector Sidecar收集器的配置,通过Graylog Web接口的菜单栏,点击 System / Collectors / Manage configurations 新建一个名为Tuxedo Collector Sidecar的收集器。

3)在配置管理列表里面点击 Tuxedo Collector Sidecar,然后给该收集器设置一个Tags。名称为collector_sidecar.yml配置文件里面设置的名称。Tags相当于分组,相同的业务设置相同的Tags,方便配置的管理。

4)给Collector Sidecar 配置OUTputs。Output类型为Beats,端口为5405,即前面System/Input设置的端口。

5)给Collector Sidecar 配置Inputs。配置的时候注意Type和端口。该input主要定义了收集日志文件’/home/tuxapp/logs/*.out’和匹配规则[‘Error’,’error’]。

6)Graylog Collector Sidecar配置检查。

如果配置正常的话在安装collector-sidecar的服务器上面会自动生成filebeat.yml配置文件。该配置文件是根据在graylog WEB接口定义Beats Inputs自动生成的。

[root@tuxapp ~]# cat /etc/graylog/collector-sidecar/generated/filebeat.yml
filebeat:
prospectors:
- encoding: utf-8
exclude_files: []
fields:
collector_node_id: tuxapp
gl2_source_collector: ebac8660-f6f9-4666-b886-ab175553d8c8
type: log
ignore_older: 0
include_lines:
- 'Error:'
- 'error:'
paths:
- /home/tuxapp/logs/*.out
scan_frequency: 60s
tail_files: true
type: log
- encoding: utf-8
exclude_files: []
fields:
collector_node_id: tuxapp
gl2_source_collector: ebac8660-f6f9-4666-b886-ab175553d8c8
type: log
ignore_older: 0
include_lines:
- server died
paths:
- /home/tuxapp/logs/ULOG.*
scan_frequency: 60s
tail_files: true
type: log
output:
logstash:
hosts:
- 192.168.3.243:5045
path:
data: /var/cache/graylog/collector-sidecar/filebeat/data
logs: /var/log/graylog/collector-sidecar
tags:
- Tuxedo

如果配置正常的话在System/Collectors下面可以看到Collectors的状态都为Running。

如果配置正常的话在System/Inputs里面在对应的input 点击右边的Show received messages,就可以看到graylog收集的日志。

----------------本文结束 感谢阅读----------------
听说,打赏我的人最后都成了大神(* ̄▽ ̄*)

发表评论

电子邮件地址不会被公开。 必填项已用*标注

昵称 *