this

• https://github.com/logstash-plugins/logstash-output-elasticsearch/issues/858
• https://gitlab.com/msvechla/es-rollover-controller

Filebeat utilise des template de mapping (pour chaque version de filebeat, un nouveau template est créé)
Donc l'index créé tous les jours par filebeat a un mapping qui provient de ce template
Il y a beaucoup de champs défini qui proviennent de la déclaration de tous les modules filebeat (https://github.com/elastic/beats/blob/master/filebeat/module/nginx/access/_meta/fields.yml)

Si on a besoin de déclarer de nouveaux champs, on peut créer son propre template qui va matcher aussi les index filebeat-* et qui va surcharger les templates de filebeat
Alternative : on peut vérifier que le champs n'existe pas déjà dans les champs prédéfini de filebeat. Par exemple le $status de nginx (code retour http) correspond au champs http.response.status_code
Il suffit que le json écrit par nginx ait une clé qui correspond pour le status pour avoir le bon mapping

https://www.elastic.co/guide/en/beats/filebeat/master/configuration-template.html

une alternative free

alternative to _cat api ;)

Amazon Elasticsearch access control may be based on IAM account with signed request mechanism
One way not to rewrite all applications is using such a proxy

Via Skunnyk

Ok donc cet article m'a été vraiment utile.. à garder en cas d'autres problèmes avec ES

for shard in $(curl -XGET http://localhost:9200/_cat/shards | grep UNASSIGNED | awk '{print $2}'); do
curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
"commands" : [ {
"allocate" : {
"index" : "t37",
"shard" : $shard,
"node" : "datanode15",
"allow_primary" : true
}
}
]
}'
sleep 5
done

Pratique pour dump de petits indexes importants comme le .kibana (définition des dashboards)

Pour envoyer direct dans ES depuis rsyslog

(se passer de logstash devient donc possible dans certains cas)

Je me demandais pourquoi le status de mes index étaient à yellow, en fait c'est tout à fait normal dans un cluster mono node :-)

très bien, ça manquait !

Pour backup son elasticsearch

Attention le snapshot n'est pas restaurable d'une version à une autre.. j'ai eu ce problème et j'ai utilisé https://github.com/mallocator/Elasticsearch-Exporter

Marche bien!

Marvel, nouveau produit elasticsearch, pour résumer :

The dashboard displays the essentials metrics you need to know that your cluster is healthy. The dashboard also provides an overview of your nodes and indices, displayed in two clean tables along with the relevant key metrics. These tables serve as an entry point to more details on the Node Statistics and Index Statistics dashboards, where you can see more than 90 different metrics plotted over time. Simply click on a table cell or select multiple nodes/indices to compare and you’ll be transferred to the relevant place in the detailed dashboard.

Sympa de pouvoir requeter (get delete etc) avec des REST API