Je me demandais pourquoi mes allow from x.x.x.x ne marchait plus au niveau de on apache... C'est pourtant con, j'ai un haproxy en frontal maintenant ! donc apache voit tout venir de 127.0.0.1 et les allow ne sont plus valides.
Pour résoudre le probleme on peut installer ce mod qui va prendre l'ip dans les headers ajoutés par haproxy (x-forwarded-for) et la considérer comme l'ip source.