un listener qui permet d'envoyer un seul evenement logstash pour plusieurs lignes de logs.

Si on a la main sur le code source, c'est quand meme plus simple de logger en json : 1 ligne = 1 event

Dans ce cas on peut utiliser le plugin imfile de rsyslog pour surveiller le fichier et envoyer les events :)

ah genial pour balancer du stream sur la tv!

Sympa la fonction dans les commentaires, mais pour un gros historique, penser à rajouter un "-l 3" au svn log pour avoir seulement l'historique des 3 derniers changements.

La version modifée avec le "-l 3" :

!/bin/bash

history_of_file

#

Outputs the full history of a given file as a sequence of

logentry/diff pairs. The first revision of the file is emitted as

full text since there's not previous version to compare it to.

function history_of_file() {
url=$1 # current url of file
svn log -l 3 -q $url | grep -E -e "^r[[:digit:]]+" -o | cut -c2- | sort -n | {

first revision as full text

    echo
    read r
    svn log -r$r $url@HEAD
    svn cat -r$r $url@HEAD
    echo

remaining revisions as differences to previous revision

    while read r
    do
        echo
        svn log -r$r $url@HEAD
        svn diff -c$r $url@HEAD
        echo
    done
}

}

history_of_file $1

Le système de plugin d'elasticsearch est vraiment bien foutu.

Quelques plugins sympa pour avoir un aperçu de la santé de son cluster :
https://github.com/karmi/elasticsearch-paramedic
https://github.com/mobz/elasticsearch-head
https://github.com/lukas-vlcek/bigdesk

Pour les installer, c'est à chaque fois pareil, en une ligne :
/usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk
/usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic
/usr/share/elasticsearch/bin/plugin -install mobz/elasticsearch-head

Pour savoir quels plugins sont installés et par quelle urls y accéder :
curl -s -XGET 'http://localhost:9200/_nodes?pretty' | grep plugin

rsyslog intègre une limitation soft pour ne pas pourrir les IO en cas de mass logs non voulus

Dans certains cas les valeurs par défaut sont un peu faible, suffit de les up un peu en surveillant les io disk ;)

via skunnyk

fun :D

via sebsauvage

via skunnyk

sujet à approfondir : tc

• http://blog.edseek.com/~jasonb/articles/traffic_shaping/