4259 links
  • Arnaud's links
  • Home
  • RSS Feed
  • Tag cloud
  • Login
newest first
  • Workshop : 45 minutes pour comprendre Docker avec Jérôme Petazzoni - YouTube

    avec les slides :
    http://fr.slideshare.net/jpetazzo/introduction-to-docker-december-2014-tour-de-france-edition

    http://fr.slideshare.net/jpetazzo/introduction-to-docker-december-2014-tour-de-france-bordeaux-special-edition

    December 20, 2014 - permalink - https://www.youtube.com/watch?v=bXSC3-mrgWA
    conf docker
  • Installation du module Apache rpaf - [Mémo Debian & VDR]

    Ok Ok, ça m'aurait évité de modifier le logformat de mon apache..

    via arnaudb

    December 18, 2014 - permalink - http://www.mn-home.fr/article46.html
    apache reverse
  • Install Docker with OVH kernels on Debian Wheezy | Themecloud tech blog
    December 18, 2014 - permalink - http://tech.themecloud.io/install-docker-with-ovh-kernels-on-debian-wheezy/
    docker ovh wheezy
  • Linux: See Bandwidth Usage Per Process With Nethogs Tool
    December 14, 2014 - permalink - http://www.cyberciti.biz/faq/linux-find-out-what-process-is-using-bandwidth/
    bandwidth networking
  • etsy/logstash-forwarder

    un listener qui permet d'envoyer un seul evenement logstash pour plusieurs lignes de logs.

    Si on a la main sur le code source, c'est quand meme plus simple de logger en json : 1 ligne = 1 event

    Dans ce cas on peut utiliser le plugin imfile de rsyslog pour surveiller le fichier et envoyer les events :)

    December 11, 2014 - permalink - https://github.com/etsy/logstash-forwarder
    log logstash
  • Un peu de réseau et de debug udp

    Prenons une application ouvre une socket UDP : pour chaque paquet qui arrive, elle va le traiter et passer au suivant. Si le traitement est plus cours que la cadence de reception, tout va bien, on peut travailler en "flux tendu". Pour éviter de perdre des paquets si l'application est trop lente, le kernel entretien des buffers qui ont une taille par defaut et une taille max.

    Pour consulter :

    sysctl net.core.rmem_default

    sysctl net.core.rmem_max

    sysctl net.ipv4.udp_mem

    net.core.netdev_max_backlog

    En cas de probleme, on peut augmenter la taille de ce buffer. (temporairement avec commande ou /proc/... et définitivement avec /etc/systcl.d/
    sysctl -w net.core.rmem_default=20000000
    sysctl -w net.core.rmem_max=30000000
    sysctl -w net.ipv4.udp_mem='262144 327680 393216'
    sysctl -w net.core.netdev_max_backlog=2000

    Comment savoir qu'on a des drop udp ?

    netstat -su

    Sinon il y a /proc/net/udp qui contient une ligne par socket udp avec le port (attention en hexadecimal), la taille du buffer utilisé, (s'inquiéter si rxqueue est différent de zéro) et enfin la dernière colonne, les drops !

    alors si vous avez des drops, il faut revoir l'application,.
    Augmenter la taille du buffer est utile seulement si ces drops sont du à des "burst" (des pics d'activité qui n'arrivent pas souvent), un plus grand buffer permettra d'absorber ces pics !

    En encore plus interactif : netstat -c --udp -an

    todo : trouver les commandes équivalentes avec ss

    https://github.com/etsy/statsd/issues/318
    https://www.assembla.com/spaces/LogZillaWiki/wiki/UDP_Buffers
    http://answers.splunk.com/answers/7001/udp-drops-on-linux.html

    December 10, 2014 - permalink - https://links.infomee.fr/shaare/AyHsGA
    drop kernel linux network networking nomarkdown reseau udp
  • Mis apuntes de.. Raspberry Pi entre otros

    ah genial pour balancer du stream sur la tv!

    November 27, 2014 - permalink - http://misapuntesde.com/post.php?id=232
    games rasp twitch
  • Performance Tuning&Tests for the Elasticsearch Output

    Pour envoyer direct dans ES depuis rsyslog

    (se passer de logstash devient donc possible dans certains cas)

    November 27, 2014 - permalink - http://www.rsyslog.com/performance-tuning-elasticsearch/
    elasticsearch logstash rsyslog
  • How can I view all historical changes to a file in SVN - Stack Overflow

    Sympa la fonction dans les commentaires, mais pour un gros historique, penser à rajouter un "-l 3" au svn log pour avoir seulement l'historique des 3 derniers changements.

    La version modifée avec le "-l 3" :

    !/bin/bash

    history_of_file

    Outputs the full history of a given file as a sequence of

    logentry/diff pairs. The first revision of the file is emitted as

    full text since there's not previous version to compare it to.

    function history_of_file() {
    url=$1 # current url of file
    svn log -l 3 -q $url | grep -E -e "^r[[:digit:]]+" -o | cut -c2- | sort -n | {

    first revision as full text

        echo
        read r
        svn log -r$r $url@HEAD
        svn cat -r$r $url@HEAD
        echo
    

    remaining revisions as differences to previous revision

        while read r
        do
            echo
            svn log -r$r $url@HEAD
            svn diff -c$r $url@HEAD
            echo
        done
    }
    

    }

    history_of_file $1

    November 26, 2014 - permalink - http://stackoverflow.com/questions/282802/how-can-i-view-all-historical-changes-to-a-file-in-svn
    history svn
  • Kibana4 liste de fields

    Dans la vue Discover de Kibana4, si vous ne voyez pas tous les champs d'une entrée....

    Tentez cette manip' : Settings > Indices > Select your indice (logstash-*) > then refresh..

    Cette liste a parfois du mal à se rafraichir si il y a trop de documents/de champs (PS : plusieurs heureuse de debug sans résultat, la solution m'a été donnée sur irc : freenode#kibana) thx rashidkpc

    November 25, 2014 - permalink - https://links.infomee.fr/shaare/ANfw7A
    field kibana
  • Plugins

    Le système de plugin d'elasticsearch est vraiment bien foutu.

    Quelques plugins sympa pour avoir un aperçu de la santé de son cluster :
    https://github.com/karmi/elasticsearch-paramedic
    https://github.com/mobz/elasticsearch-head
    https://github.com/lukas-vlcek/bigdesk

    Pour les installer, c'est à chaque fois pareil, en une ligne :
    /usr/share/elasticsearch/bin/plugin -install lukas-vlcek/bigdesk
    /usr/share/elasticsearch/bin/plugin -install karmi/elasticsearch-paramedic
    /usr/share/elasticsearch/bin/plugin -install mobz/elasticsearch-head

    Pour savoir quels plugins sont installés et par quelle urls y accéder :
    curl -s -XGET 'http://localhost:9200/_nodes?pretty' | grep plugin

    November 23, 2014 - permalink - http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-plugins.html
    elasticsearch plugin plugins
  • acquia/graphite-cassandra-plugin

    via skunnyk

    November 20, 2014 - permalink - https://github.com/acquia/graphite-cassandra-plugin
    backend cassandra graphite
  • rate limiting

    rsyslog intègre une limitation soft pour ne pas pourrir les IO en cas de mass logs non voulus

    Dans certains cas les valeurs par défaut sont un peu faible, suffit de les up un peu en surveillant les io disk ;)

    November 19, 2014 - permalink - http://www.rsyslog.com/tag/rate-limiting/
    io nginx
  • linux - Add up a column of numbers at the Unix shell - Stack Overflow

    | awk '{total = total + $1}END{print total}'

    find . ! -newer /tmp/file2015 -exec ls -l --block-size=M {} \; |cut -d' ' -f5|sed 's/M//'| awk '{total = total + $1}END{print total}'

    November 19, 2014 - permalink - http://stackoverflow.com/questions/926069/add-up-a-column-of-numbers-at-the-unix-shell
    add awk count sum total
  • Bash Initialisation Files

    via skunnyk

    November 19, 2014 - permalink - http://www.solipsys.co.uk/new/BashInitialisationFiles.html
    bash intialisation
  • Elasticsearch "Yellow" cluster status explained | Chris Simpson - Software Developer

    Je me demandais pourquoi le status de mes index étaient à yellow, en fait c'est tout à fait normal dans un cluster mono node :-)

    November 19, 2014 - permalink - http://chrissimpson.co.uk/elasticsearch-yellow-cluster-status-explained.html
    elasticsearch
  • Unicode Text Converter

    fun :D

    November 19, 2014 - permalink - http://www.panix.com/~eli/unicode/convert.cgi?text=Bonjour+madame
    unicode
  • Welcome to Attic — Attic - Deduplicating Archiver 0.13 documentation

    Découverte sympa, même si je reste fan de rsnapshot et de ses hardlink

    • http://anarcat.koumbit.org/2014-11-18-bup-vs-attic-silly-benchmark
    • http://blog-libre.org/post/2014/11/19/attic-backup-le-grenier-incrementiel
    November 19, 2014 - permalink - https://attic-backup.org/
    attic backup rsnapshot
  • Let's Encrypt

    via sebsauvage

    November 19, 2014 - permalink - https://letsencrypt.org/
    certif ssl
  • The Puppet File Server — Documentation — Puppet Labs

    Si vous utilisez le fileserver de puppet et que vous gérez beaucoup de petits fichiers avec, il y a surement des optimisations à faire !

    En effet pour chaque fichier, le client va demander un hash au serveur et en établissant à chaque fois une nouvelle connexion tcp... le temps perdu 2,5 secondes pour 10 fichiers..

    Pour voir tout ça, rdv dans les logs du puppet master et regarder les lignes : GET /production/file_metadata pour vous donner une idée

    La solution est de se passer du fileserver pour ces petits fichiers et de les inclure directement dans le catalogue, en utilisant :

    content => file(path)

    au lieu de source => puppet:///

    Ici on est passé de 14seconde à 5,5seconde

    November 18, 2014 - permalink - https://docs.puppetlabs.com/guides/file_serving.html
    fileserver puppet
  • Introduction to Elasticsearch Snapshot and Restore module | kodcu.com

    via skunnyk

    November 17, 2014 - permalink - http://en.kodcu.com/2014/11/introduction-to-elasticsearch-snapshot-and-restore-module/
    elasticsearch snapshot
  • Voxygen | Voxygen

    Voxygen, éditeur de la synthèse vocale de dernière génération, expert en voix expressives, vous accompagne dans la définition de votre stratégie vocale.

    November 17, 2014 - permalink - http://www.voxygen.fr/fr
    synthese voice voix
  • Traffic Control HOWTO

    sujet à approfondir : tc

    • http://blog.edseek.com/~jasonb/articles/traffic_shaping/
    November 15, 2014 - permalink - http://linux-ip.net/articles/Traffic-Control-HOWTO/
    control tc traffic
  • MetricsGraphics.js - a library based on D3.js, optimized for visualizing and laying out time-series data
    November 15, 2014 - permalink - http://metricsgraphicsjs.org/
    graph js
  • kairosdb/kairosdb

    Il existe plusieurs alternatives à carbon, la plus connu étant surement influxdb. Celle ci est basée sur cassandra!

    +https://github.com/kairosdb/kairos-carbon

    via arnaudb

    November 14, 2014 - permalink - https://github.com/kairosdb/kairosdb
    graphite
  • FreedomLayer | Articles | Intro to Distributed Hash Tables (DHTs)

    Le principe des table de hash distribuées

    • http://www.suumitsu.eu/2014/12/11/lapres-tpb-dht-infohash-et-indexation/
    • DEFCON 18: Crawling BitTorrent DHTs for Fun 1/2 https://www.youtube.com/watch?v=v4Q_F4XmNEc
    • DEFCON 18: Crawling BitTorrent DHTs for Fun 1/2 https://www.youtube.com/watch?v=mO3DfLtKPGs
    • https://www.usenix.org/legacy/event/woot10/tech/full_papers/Wolchok.pdf
    November 13, 2014 - permalink - http://www.freedomlayer.org/articles/dht_intro.html
    dht torrent
  • Elasticsearch.org Shield | Elasticsearch

    très bien, ça manquait !

    November 12, 2014 - permalink - http://www.elasticsearch.org/overview/shield
    elasticsearch
  • headless chrome and firefox in selenium with docker
    November 12, 2014 - permalink - http://function.fr/docker-with-chrome-and-selenium-and-firefox/
    docker headless selenium
  • 6.10.1. tcp(), tcp6(), udp() and udp6() source options

    When receiving messages using the UDP protocol, increase the size of the UDP receive buffer on the receiver host (that is, the syslog-ng OSE server or relay receiving the messages). Note that on certain platforms, for example, on Red Hat Enterprise Linux 5, even low message load (~200 messages per second) can result in message loss, unless the so_rcvbuf() option of the source is increased. In such cases, you will need to increase the net.core.rmem_max parameter of the host (for example, to 1024000), but do not modify net.core.rmem_default parameter.

    As a general rule, increase the so_rcvbuf() so that the buffer size in kilobytes is higher than the rate of incoming messages per second. For example, to receive 2000 messages per second, set the so_rcvbuf() at least to 2 097 152 bytes.

    November 7, 2014 - permalink - http://www.balabit.com/sites/default/files/documents/syslog-ng-ose-3.3-guides/en/syslog-ng-ose-v3.3-guide-admin-en/html/reference_source_tcpudp.html
    syslog udp
  • Comment filtrer la sortie d'erreur (seulement)

    Prenons un bash qui ouput sur sa sortie standard (stdout) et sur sa sortie d'erreur (stderr) :

    cat test.bash

    echo good
    echo bad >&2
    echo vanish >&2
    echo good!

    Comment faire pour rediriger la sortie standard vers un fichier (ou /dev/null pour l'exemple) et filter la sortie d'erreur pour retirer la ligne "vanish" ?

    Pour ça il faut utiliser un process substitution :

    /root/test.bash 2> >(grep -v vanish >&2) >/dev/null

    Bien pratique dans un crontab pour recevoir un peu moins de mail lorsqu'on a des "erreurs" acceptables (rsync vanished par exemple)

    SHELL=/bin/bash
    * * * * * root /root/test.bash 2> >(grep -v vanish >&2) >/dev/null

    Pour en savoir plus sur les process substitution : http://tldp.org/LDP/abs/html/process-sub.html

    November 7, 2014 - permalink - https://links.infomee.fr/shaare/-D0dqQ
    cron crontab indirection redirection rsync stderr stdin vanish
  • Faire suivre les messages Rsyslog vers Logstash - Wooster

    Pas con le coup de bien formater les logs pour que logstash ait moins de boulot de parsing de son côté.

    November 6, 2014 - permalink - https://wooster.checkmy.ws/2014/07/rsyslog-json-logstash/
    logstash nginx
  • Docker In-depth: Volumes · Container42

    Bon article, résume très bien les volumes dans docker

    November 5, 2014 - permalink - http://container42.com/2014/11/03/docker-indepth-volumes/
    docker volume
  • When Logstash and Syslog go wrong – Kartar.Net

    Ok j'ai eu le meme probleme : le syslog input de logstash tombe systématiquement en grok failure..

    Remplaçable facilement par un udp input !

    November 5, 2014 - permalink - http://kartar.net/2014/09/when-logstash-and-syslog-go-wrong/
    grok logstash syslog udp
  • git diff - Show all changed files between two Git commits - Stack Overflow

    Je prends de plus en plus le réflexe de "git init" dans certains dossiers un peu chaud qui bougent beaucoup comme des dossiers de configuration..

    Et là arrive le moment où je me pose la question : qu'est ce que j'ai touché depuis que j'ai fais mon git ini ? Et voilà la commande magique qui répond à ma question :

    git diff --name-only SHA1 SHA2

    Après si vous voulez la liste entre le premier et le dernier commit :
    git diff --name-only HEAD $(git log --format=%H | tail -1)

    November 5, 2014 - permalink - http://stackoverflow.com/questions/1552340/show-all-changed-files-between-two-git-commits
    diff file git list
  • Utiliser une commande en destination de syslog

    destination mail-alert-perl { program("/usr/local/bin/syslog-mail-perl"); };

    October 30, 2014 - permalink - http://www.softpanorama.org/Logs/Syslog_ng/configuration_examples.shtml
    syslog
  • Crontab Redirect to Log File With Date in Name

    Bon à savoir, pour rediriger la sortie standard d'un cron dans un fichier avec la date, penser à échapper les "%"

    /path/to/log/dir/$(date +\%Y-\%m-\%d).log

    October 30, 2014 - permalink - http://www.idevelopment.info/data/Oracle/DBA_tips/Unix/UNIX_7.shtml
    cron crontab log logs
  • Running mod_fastcgi and PHP-FPM on Debian 7 (Wheezy) with Apache - Linode Guides & Tutorials
    October 28, 2014 - permalink - https://www.linode.com/docs/websites/apache/running-fastcgi-php-fpm-on-debian-7-with-apache
    apache fpm php
  • Dockerfile RUN, CMD, ENTRYPOINT

    D'après la doc :

    don't confuse RUN with CMD.

    RUN actually runs a command and commits the result;

    CMD does not execute anything at build time, but specifies the intended command for the image.

    An ENTRYPOINT helps you to configure a container that you can run as an executable. That is, when you specify an ENTRYPOINT, then the whole container runs as if it was just that executable.

    Unlike the behavior of the CMD instruction, The ENTRYPOINT instruction adds an entry command that will not be overwritten when arguments are passed to docker run. This allows arguments to be passed to the entry point, i.e. docker run -d will pass the -d argument to the entry point.

    You can specify parameters either in the ENTRYPOINT JSON array (as in "like an exec" above), or by using a CMD instruction. Parameters in the ENTRYPOINT instruction will not be overridden by the docker run arguments, but parameters specified via a CMD instruction will be overridden by docker run arguments.


    Le RUN sert à build l'image

    Le CMD et l'ENTRYPOINT servent au moment du docker run
    Donc au final, il vaut mieux avoir un ENTRYPOINT avec des paramètres qu'on ne peut pas écraser (non overridable)
    Pourquoi pas un CMD avec des paramètres par défauts overridable

    October 28, 2014 - permalink - https://links.infomee.fr/shaare/tKS8aQ
    docker dockerfile
  • Dockerfile - Docker Documentation
    October 28, 2014 - permalink - https://docs.docker.com/reference/builder/
    docker dockerfile
  • Best practices for writing Dockerfiles - Docker Documentation
    October 28, 2014 - permalink - https://docs.docker.com/articles/dockerfile_best-practices/
    docker dockerfile
  • Dockerfile - Docker Documentation
    October 28, 2014 - permalink - http://docs.docker.com/reference/builder/#run
    docker dockerfile
  • Top 30 Nmap Command Examples For Sys/Network Admins
    October 27, 2014 - permalink - http://www.cyberciti.biz/networking/nmap-command-examples-tutorials/
    nmap
  • Docker on C1

    docker dispo sur le lab d'online

    October 27, 2014 - permalink - https://blog.cloud.online.net/2014/10/27/docker-on-c1/
    docker online
  • Cloud computing & object storage - RunAbove

    hebergement à base de docker

    October 27, 2014 - permalink - https://www.runabove.com/index.xml
    docker
  • Docker tricks of the trade and best practices thoughts

    Use automated builds linked to Github-based Dockerfiles rather than pushing local image builds. Not only does this make the Dockerfile transparently available and provide a link to the repository where one can file issues, but it also helps ensure that the image available on the hub gets its base image (FROM entry) from the hub instead of whatever was available locally. This can help avoid various out-of-sync errors that might otherwise emerge.

    October 26, 2014 - permalink - http://www.carlboettiger.info/2014/08/29/docker-notes.html
    docker
  • Question #170794 : Questions : Graphite

    Encore une discussion intéressante sur les perf de graphite. Ce qu'il faut retenir c'est que le botteneck peut se situer au niveau du CPU ou au niveau du disque (la RAM en général ce n'est pas un probleme, meme si bien sur, il faut la surveiller)

    Pour connaitre l'utilisation du CPU de carbon-cache, une metric est envoyé par le daemon dans carbon.agents.graphite-x.cpuUsage

    Pour connaitre l'utilisation du disk, on se sert de iostat -dmx 1 2 (merci arnaud)

    Si le disque est trop haut (entre 50 et 75), il faut le soulager en baissant dans la conf de carbon le max update par seconde.

    Ce qui aura pour effet d'augmenter la taille du cache et donc de faire plus travailler le CPU..

    Au contraire si le CPU est chargé mais que le disque ne fait rien, il faut augmenter le max update par seconde.

    En trouvant le bon équilibre on peut exploiter au maximum le hardware disponible

    October 24, 2014 - permalink - https://answers.launchpad.net/graphite/+question/170794
    carbon graphite performance
  • Trouver son adresse ip public en ligne de commande

    curl http://bot.whatismyipaddress.com
    Une parmi d'autres qui a l'avantage d'être rapide ;)

    October 24, 2014 - permalink - https://links.infomee.fr/shaare/v-CE1w
    curl ip
  • Question #178969 : Questions : Graphite
    October 22, 2014 - permalink - https://answers.launchpad.net/graphite/+question/178969
    graphite scale
  • Paris Cassandra Meetup - Cassandra for Developers
    October 22, 2014 - permalink - http://fr.slideshare.net/mfiguiere/paris-cassandra-meetup-cassandra-for-developers
    cassandra conf
  • obfuscurity. - Watching the Carbon Feed
    October 20, 2014 - permalink - http://obfuscurity.com/2012/06/Watching-the-Carbon-Feed
    graphite
▼ Load 50 more