/opt/logstash/bin/logstash -f ma.conf --configtest
/opt/logstash/bin/logstash -f /etc/logstash/conf.d/ --configtest
un listener qui permet d'envoyer un seul evenement logstash pour plusieurs lignes de logs.
Si on a la main sur le code source, c'est quand meme plus simple de logger en json : 1 ligne = 1 event
Dans ce cas on peut utiliser le plugin imfile de rsyslog pour surveiller le fichier et envoyer les events :)
Pour envoyer direct dans ES depuis rsyslog
(se passer de logstash devient donc possible dans certains cas)
Pas con le coup de bien formater les logs pour que logstash ait moins de boulot de parsing de son côté.
Ok j'ai eu le meme probleme : le syslog input de logstash tombe systématiquement en grok failure..
Remplaçable facilement par un udp input !
Pas simple : "ulogd" un plugin userspace pour iptables va sortir un output en JSON. Logstash récupère derriere et envoie à elasticsearch. Kibana peut afficher.
Au final un dashboard qui résume le trafic.
Via skunnyk
Logstash c'est bien.
En fait c'est mieux avec ses deux copains : elasticsearch et kibana !
Logstash permet de :
1) récupérer "des choses" (parmi des input, comme par exemple des logs),
2) de les traiter (par exemple, appliquer des regex pour récupérer des champs),
3) de balancer la structure obtenue après traitement "quelquepart" (il existe des tas d'output, par exemple : elasticsearch)
Une fois que vous avez ça en place, vous pouvez visualiser vos données stockées dans elasticsearch avec kibana! (et ça donne ça : http://www.elasticsearch.org/overview/kibana/)
Sympa pour exploiter des access.log par exemple :)