4259 links
  • Arnaud's links
  • Home
  • RSS Feed
  • Tag cloud
  • Login
search: tag:elasticsearch — newest first
  • When to use the keyword type vs text datatype in Elasticsearch | ObjectRocket
    April 15, 2022 - permalink - https://kb.objectrocket.com/elasticsearch/when-to-use-the-keyword-type-vs-text-datatype-in-elasticsearch
    elasticsearch type
  • Flattened Datatype Mappings - Elasticsearch Tutorial - Coralogix

    this

    September 1, 2021 - permalink - https://coralogix.com/blog/flattened-datatype-mappings-elasticsearch-tutorial/
    elasticsearch es flat mapping
  • Introducing OpenSearch | AWS Open Source Blog

    they did it

    April 15, 2021 - permalink - https://aws.amazon.com/fr/blogs/opensource/introducing-opensearch/
    aws elasticsearch es opensearch
  • Index lifecycle management at Elasticsearch 6.6.0 - Elasticsearch - Discuss the Elastic Stack
    December 5, 2019 - permalink - https://discuss.elastic.co/t/index-lifecycle-management-at-elasticsearch-6-6-0/168429
    elasticsearch ilm
  • Implementing Hot-Warm-Cold in Elasticsearch with Index Lifecycle Management | Elastic Blog
    December 4, 2019 - permalink - https://www.elastic.co/blog/implementing-hot-warm-cold-in-elasticsearch-with-index-lifecycle-management
    elasticsearch ilm
  • [Index Lifecycle Management] Dynamic rollover alias and template name - Logstash - Discuss the Elastic Stack
    • https://github.com/logstash-plugins/logstash-output-elasticsearch/issues/858
    • https://gitlab.com/msvechla/es-rollover-controller
    December 3, 2019 - permalink - https://discuss.elastic.co/t/index-lifecycle-management-dynamic-rollover-alias-and-template-name/169614/9
    elasticsearch ilm
  • Comment DataDome manage son cluster à forte charge en écriture et lecture avec rollover et ILM | Elastic Videos
    December 3, 2019 - permalink - https://www.elastic.co/fr/videos/how-datadome-manages-its-high-load-write-and-read-cluster-with-rollover-and-ilm
    elasticsearch
  • Note: Filebeat, elasticsearch et mapping

    Filebeat utilise des template de mapping (pour chaque version de filebeat, un nouveau template est créé)
    Donc l'index créé tous les jours par filebeat a un mapping qui provient de ce template
    Il y a beaucoup de champs défini qui proviennent de la déclaration de tous les modules filebeat (https://github.com/elastic/beats/blob/master/filebeat/module/nginx/access/_meta/fields.yml)

    Si on a besoin de déclarer de nouveaux champs, on peut créer son propre template qui va matcher aussi les index filebeat-* et qui va surcharger les templates de filebeat
    Alternative : on peut vérifier que le champs n'existe pas déjà dans les champs prédéfini de filebeat. Par exemple le $status de nginx (code retour http) correspond au champs http.response.status_code
    Il suffit que le json écrit par nginx ait une clé qui correspond pour le status pour avoir le bon mapping

    https://www.elastic.co/guide/en/beats/filebeat/master/configuration-template.html

    March 21, 2019 - permalink - https://links.infomee.fr/shaare/MQs0iA
    elasticsearch filebeat mapping
  • Note: Repérer les inconsistences de mapping entre différents index

    Exemple pour le field 'status' :

    for index in $(cat liste_index); do echo $index; curl -s http://elastic/$index/_mapping | jq ".\"$index\".mappings.doc.properties.status"; done

    March 21, 2019 - permalink - https://links.infomee.fr/shaare/ggBAsw
    elasticsearch filebeat
  • Yelp/elastalert: Easy & Flexible Alerting With ElasticSearch

    une alternative free

    March 11, 2019 - permalink - https://github.com/Yelp/elastalert
    alert elasticsearch
  • Should I use Logstash or Elasticsearch ingest nodes? | Elastic

    Dans la plupart des cas, on peut maintenant oublier logstash et utiliser les ingest node (pipeline) d'elasticsearch

    EFK (Elasticsearch, Filebeat, Kibana)

    February 26, 2019 - permalink - https://www.elastic.co/blog/should-i-use-logstash-or-elasticsearch-ingest-nodes
    elasticsearch es
  • lmenezes/cerebro

    alternative to _cat api ;)

    November 29, 2018 - permalink - https://github.com/lmenezes/cerebro
    elasticsearch
  • Elasticsearch Zero Downtime Reindexing - Problems and Solutions - codecentric AG Blog

    not easy

    August 14, 2018 - permalink - https://blog.codecentric.de/en/2014/09/elasticsearch-zero-downtime-reindexing-problems-solutions/
    downtime elasticsearch index mapping
  • ElasticSearch Head
    December 6, 2017 - permalink - https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/related
    elasticsearch es
  • JoliCode - Devez-vous migrer vers Elasticsearch 6 ?

    Vous le savez peut-être, Algolia trie les documents lors de l’indexation, et non lors de la recherche. La raison est simple : c’est beaucoup plus rapide lors des recherches si les documents sont déjà triés sur le disque dur ! Cela permet, entre autre, de s’arrêter dès les dix premiers résultats trouvés – plutôt que de récupérer les 4 millions de hits et de les trier en mémoire juste pour remonter le top 10…

    November 17, 2017 - permalink - https://jolicode.com/blog/devez-vous-migrer-vers-elasticsearch-6
    elasticsearch
  • GitHub - abutaha/aws-es-proxy: aws-es-proxy is a small web server application sitting between your HTTP client (browser, curl, etc...) and Amazon Elasticsearch service.

    Amazon Elasticsearch access control may be based on IAM account with signed request mechanism
    One way not to rewrite all applications is using such a proxy

    September 5, 2017 - permalink - https://github.com/abutaha/aws-es-proxy
    aws elasticsearch es
  • appbaseio/mirage: 🔎 GUI for writing Elasticsearch queries

    woot nice! ça peut être bien utile

    via Doo

    October 7, 2016 - permalink - https://github.com/appbaseio/mirage
    elasticsearch gui query
  • Everything You Need to Know About ELK Stack 5.0 - Logz.io

    Via Skunnyk

    July 5, 2016 - permalink - http://logz.io/blog/elk-stack-5-0/
    elasticsearch elk twitter
  • Log processing at Scale. ELK cluster at 25k events per second

    via doo

    February 29, 2016 - permalink - http://engineering.viki.com/blog/2015/log-processing-at-scale-elk-cluster-at-25k-events-per-second/
    elasticsearch elk scale
  • Performance Considerations for Elasticsearch Indexing | Elastic
    February 3, 2016 - permalink - https://www.elastic.co/blog/performance-considerations-elasticsearch-indexing
    elasticsearch es perf
  • Elasticsearch Indexing Performance Cheatsheet - codecentric Blog : codecentric Blog
    February 3, 2016 - permalink - https://blog.codecentric.de/en/2014/05/elasticsearch-indexing-performance-cheatsheet/
    elasticsearch es perf
  • How to fix your Elasticsearch cluster stuck in initializing shards mode?

    Ok donc cet article m'a été vraiment utile.. à garder en cas d'autres problèmes avec ES

    for shard in $(curl -XGET http://localhost:9200/_cat/shards | grep UNASSIGNED | awk '{print $2}'); do
    curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
    "commands" : [ {
    "allocate" : {
    "index" : "t37",
    "shard" : $shard,
    "node" : "datanode15",
    "allow_primary" : true
    }
    }
    ]
    }'
    sleep 5
    done

    December 10, 2015 - permalink - https://t37.net/how-to-fix-your-elasticsearch-cluster-stuck-in-initializing-shards-mode.html
    debug elasticsearch es fix
  • Heap: Sizing and Swapping
    September 24, 2015 - permalink - https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.html
    elasticsearch
  • Configuration
    September 24, 2015 - permalink - https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html
    elasticsearch
  • Syntaxe pour faire des recherches dans kibana

    Syntaxe pour faire des recherches dans kibana

    May 20, 2015 - permalink - https://www.elastic.co/guide/en/kibana/current/discover.html#search
    elasticsearch kibana lucene syntaxe
  • taskrabbit/elasticsearch-dump

    Pratique pour dump de petits indexes importants comme le .kibana (définition des dashboards)

    March 5, 2015 - permalink - https://github.com/taskrabbit/elasticsearch-dump
    backup dump elasticsearch
  • Heap: Sizing and Swapping
    February 17, 2015 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/heap-sizing.html
    elasticsearch tuning
  • Configuration
    February 17, 2015 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html
    elasticsearch tuning
  • Configuration
    February 17, 2015 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html#_system_configuration
    elasticsearch tuning
  • Ou on arrive enfin elasticsearch | Karlesnine
    February 4, 2015 - permalink - https://www.karlesnine.com/2015/02/04/ou-on-arrive-enfin-elasticsearch/
    elasticsearch elk kibana logstash
  • Nine Tips on Configuring Elasticsearch for High Performance -
    January 1, 2015 - permalink - https://www.loggly.com/blog/nine-tips-configuring-elasticsearch-for-high-performance/
    ELK elasticsearch
  • Performance Tuning&Tests for the Elasticsearch Output

    Pour envoyer direct dans ES depuis rsyslog

    (se passer de logstash devient donc possible dans certains cas)

    November 27, 2014 - permalink - http://www.rsyslog.com/performance-tuning-elasticsearch/
    elasticsearch logstash rsyslog
  • Plugins

    Le système de plugin d'elasticsearch est vraiment bien foutu.

    Quelques plugins sympa pour avoir un aperçu de la santé de son cluster :
    https://github.com/karmi/elasticsearch-paramedic
    https://github.com/mobz/elasticsearch-head
    https://github.com/lukas-vlcek/bigdesk

    Pour les installer, c'est à chaque fois pareil, en une ligne :
    /usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk
    /usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic
    /usr/share/elasticsearch/bin/plugin -install mobz/elasticsearch-head

    Pour savoir quels plugins sont installés et par quelle urls y accéder :
    curl -s -XGET 'http://localhost:9200/_nodes?pretty' | grep plugin

    November 23, 2014 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-plugins.html
    elasticsearch plugin plugins
  • Elasticsearch "Yellow" cluster status explained | Chris Simpson - Software Developer

    Je me demandais pourquoi le status de mes index étaient à yellow, en fait c'est tout à fait normal dans un cluster mono node :-)

    November 19, 2014 - permalink - http://chrissimpson.co.uk/elasticsearch-yellow-cluster-status-explained.html
    elasticsearch
  • Introduction to Elasticsearch Snapshot and Restore module | kodcu.com

    via skunnyk

    November 17, 2014 - permalink - http://en.kodcu.com/2014/11/introduction-to-elasticsearch-snapshot-and-restore-module/
    elasticsearch snapshot
  • Elasticsearch.org Shield | Elasticsearch

    très bien, ça manquait !

    November 12, 2014 - permalink - http://www.elasticsearch.org/overview/shield
    elasticsearch
  • GitHub - sscarduzio/elasticsearch-readonlyrest-plugin: Safely expose Elasticsearch REST API directly to the public

    Pour exposer du RO ES sur certains index, à certaines personnes..

    October 8, 2014 - permalink - https://github.com/sscarduzio/elasticsearch-readonlyrest-plugin
    elasticsearch
  • Snapshot And Restore

    Pour backup son elasticsearch

    Attention le snapshot n'est pas restaurable d'une version à une autre.. j'ai eu ce problème et j'ai utilisé https://github.com/mallocator/Elasticsearch-Exporter

    Marche bien!

    October 2, 2014 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-snapshots.html
    elasticsearch es
  • Doc Elasticsearch

    via Skunnyk

    March 21, 2014 - permalink - http://www.elasticsearch.org/guide/
    doc elasticsearch
  • Why We Built Marvel | Blog | Elasticsearch

    Marvel, nouveau produit elasticsearch, pour résumer :

    The dashboard displays the essentials metrics you need to know that your cluster is healthy. The dashboard also provides an overview of your nodes and indices, displayed in two clean tables along with the relevant key metrics. These tables serve as an entry point to more details on the Node Statistics and Index Statistics dashboards, where you can see more than 90 different metrics plotted over time. Simply click on a table cell or select multiple nodes/indices to compare and you’ll be transferred to the relevant place in the detailed dashboard.

    January 29, 2014 - permalink - http://www.elasticsearch.org/blog/building-marvel/
    elasticsearch
  • Update Indices Settings [0.90]

    index.blocks.read_only
    Set to true to have the index read only, false to allow writes and metadata changes.

    January 22, 2014 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/indices-update-settings.html
    elasticsearch
  • ElasticSearch in 5 minutes - ElasticSearch Tutorial.com

    Sympa de pouvoir requeter (get delete etc) avec des REST API

    January 2, 2014 - permalink - http://www.elasticsearchtutorial.com/elasticsearch-in-5-minutes.html
    elasticsearch
  • logstash - open source log management

    Logstash c'est bien.

    En fait c'est mieux avec ses deux copains : elasticsearch et kibana !

    Logstash permet de :
    1) récupérer "des choses" (parmi des input, comme par exemple des logs),
    2) de les traiter (par exemple, appliquer des regex pour récupérer des champs),
    3) de balancer la structure obtenue après traitement "quelquepart" (il existe des tas d'output, par exemple : elasticsearch)

    Une fois que vous avez ça en place, vous pouvez visualiser vos données stockées dans elasticsearch avec kibana! (et ça donne ça : http://www.elasticsearch.org/overview/kibana/)

    Sympa pour exploiter des access.log par exemple :)

    December 13, 2013 - permalink - http://logstash.net/
    elasticsearch kibana log logstash