Michael Hobbs (@rottenindenmark), consultant humanitaire, signe pour le New Republic (@tnr) une très longue tribune assez assassine de la philanthropie telle que l’Occident la pratique et la science la consacre. En évoquant les échecs de l’aide au développement, il nous parle aussi, entre les lignes, de la manière dont les nouvelles technologies, l’innovation et les startups, qui souhaitent tous changer le monde, échouent. Et c’est certainement avec ce filtre de lecture là que son billet prend tout son sens.

Michael Hobbs commence par revenir sur l’échec de PlayPump (que nous avions évoqué dans « Les limites des bonnes intentions, le design social n’est pas si simple »), ces pompes à eau pour l’Afrique que les enfants actionnaient en jouant. Un échec qui suit un sempiternel modèle : une idée nouvelle et excitante, un impact énorme à un endroit, un afflux de dollars, une expansion rapide qui se solde par un échec coûteux.



Image : le projet PlayPumps continue en Afrique du Sud, Lesotho et au Swaziland.

Les programmes d’aide au développement : des expérimentations sans grande transparence

Hobbs pourrait lister de nombreuses autres belles idées d’aide au développement qui ont échoué. En février dernier, Joshua Keating pour Slate.com, s’interrogeait pour savoir si l’on pouvait faire de la pauvreté une science expérimentale. Dans les années 90, l’économiste de Harvard, Michael Kremer a fait l’une des premières expérimentations aléatoires au Kenya en choisissant 25 écoles aléatoirement pour leur fournir des manuels et regarder si cela avait un impact sur les résultats scolaires de ces écoles comparées aux autres (non, cela a seulement amélioré les résultats des meilleurs élèves de ces classes). Les gouvernements et les organisations humanitaires ont mis du temps à adopter ces approches d’expérimentations aléatoires, car l’idée de conduire des expériences sur les pauvres est loin de plaire à tout le monde, pour de bonnes raisons qu’on devine aisément. Mais pour Chris Blattman de la Columbia University (qui tient un blog populaire sur le développement international), la plupart des programmes de développement ne sont que des expérimentations et la plupart du temps, des expérimentations bien peu transparentes.

Abhijit Banerjee et Esther Duflo, dans leur livre, Repenser la pauvreté ont été les grands évangélistes de ce type d’expériences. Ils ont montré par exemple que fournir des uniformes aux collégiennes avait plus d’effet pour réduire les grossesses adolescentes que les programmes d’éducation sexuelle. Les études aléatoires ont montré que malgré son succès, la microfinance aidait les entreprises au démarrage, mais avait peu d’impact sur la pauvreté ou l’autonomisation des femmes. L’économiste de Princeton Angus Deaton demeure critique face à ces expériences aléatoires, dont les enseignements sont peu reproductibles d’un pays à un autre et dont médias et politiques exagèrent les conclusions. Elles ont au moins eu le mérite de montrer qu’il fallait plus de rigueur méthodologique dans la mesure des interventions dans les pays en développement.

C’est ce qu’avance également Michael Hobbes, en critiquant le « philanthrocapitalisme ». Tout le monde contribue au dysfonctionnement du développement international : donateurs, gouvernements, publics, médias, bénéficiaires. « Le problème n’est pas que le développement international ne fonctionne pas. C’est qu’il ne peut pas fonctionner. »

Hobbes revient lui aussi sur les expérimentations de Michael Kremer, montrant qu’après son échec avec l’introduction de manuels, il s’est intéressé à l’introduction de médicaments contre les parasites intestinaux. Cette fois, ses tests se sont avérés concluants : les enfants testés se sont révélés être plus présents à l’école que les autres, et 10 ans plus tard, ces enfants avaient suivi une meilleure scolarité et gagnaient des salaires plus élevés que ceux qui n’avaient pas reçu le traitement. Bingo ! Le déparasitage était moins coûteux que les manuels et leur effet semblait de plus long terme. La science triomphait.

Que mesurent les expérimentations ? Les limites de la scientifisation

Armé de ses résultats, Kremer a fondé une ONG pour vermifuger le monde qu’il a lancé au Forum économique mondial de 2007. L’ONG affirme avoir aidé depuis 40 millions d’enfants dans plus de 27 pays. Mais elle ne communique plus pour savoir si les ces millions d’enfants ont vu leur taux de présence à l’école ou leurs résultats scolaires s’améliorer ! Pour Kremer, il y avait eu assez d’essais pour passer à l’échelle. “Chaque fois que vous voulez construire une nouvelle route, vous n’allez pas aller demander aux gens si c’est vraiment utile pour aller d’un endroit à l’autre ?”

En 2000, le British Medical Journal a publié une revue de littérature sur une trentaine d’essais aléatoires de déparasitages dans 17 pays différents. Si certains d’entre eux ont montré des gains modestes dans le poids et la taille des enfants, aucun n’a démontré d’effets sur la fréquentation scolaire ou la performance cognitive. Le BMJ a répété cette étude en 2009 et 2012, mais les résultats n’ont pas changé.

Par ces exemples, Hobbes montre combien les tests, aléatoires ou pas, sont en fait difficiles tant ils nécessitent de prendre en compte bien des facteurs. Sur les manuels au Kenya, il souligne que les manuels qui avaient été confiés aux enfants étaient en anglais, ce qui bien souvent n’est que la deuxième ou troisième langue des enfants, une langue donc que très peu savent lire, favorisant forcément les meilleurs éléments. Dans les années 80, plusieurs études ont montré, elles, que les manuels étaient réellement efficaces pour améliorer les performances scolaires d’enfants de pays en développement dans des endroits où les questions linguistiques n’étaient pas aussi complexes.

Pour Hobbes, ces exemples inextricables, où la science croit nous aider, montrent surtout les limites de nos connaissances et nos difficultés à envisager le passage à l’échelle.

« Il y a des villages où le déparasitage sera le projet d’éducation le plus significatif. Et d’autres où le manuel gratuit sera plus efficace. Dans d’autres endroits, ce sera de nouveaux bâtiments scolaires, des enseignants, l’amélioration des transports, le port d’uniformes… Il y a probablement un village où la PlayPump battrait toutes ces approches combinées. Le point est que nous ne savons pas ce qui fonctionne, où, ni pourquoi. La seule façon de le savoir est de tester ces modèles, pas juste avant leur succès initial, mais après, et constamment. »

Et Hobbes de s’interroger pour savoir pourquoi, quand quelqu’un semble avoir trouvé une formule gagnante, tout le monde veut la déployer. Le passage à l’échelle, la répétition d’un succès ne sont jamais assurés. Les conférenciers de TED devraient en être conscient, ironise Hobbes… en se moquant des démonstrations trop faciles faites d’études rarement indépendantes qui cherchent à prouver la thèse du conférencier…

Comment assurer le suivi et l’évaluation des expérimentations ?

Le problème ne repose pas seulement sur la manière dont est évaluée l’aide au développement. Nous aussi, en tant que donateurs pensons que nos dons sont mieux dépensés dans les organisations où les frais de fonctionnement sont limités. Or, comment assurer le suivi et l’évaluation des expérimentations quand la plupart des ONG plafonnent leurs dépenses à 10% ? Qu’importe que la soupe offerte le soit avec chaleur ou pas, qu’importe la complexité d’un événement à organiser pour récolter des fonds… quand les donateurs pensent que l’efficacité se mesure au niveau de redistribution de leur argent.

Bien des programmes qui semblent marcher ont aussi des effets de bords qui génèrent de nouveaux problèmes. Hobbes évoque plusieurs exemples, dont notamment celui d’un projet pour les adolescents dans une ville en proie aux gangs, proposant des ateliers et du travail aux jeunes filles si elles ne commettaient aucune violence pendant 6 mois. Le programme a bien marché, mais au bout de 6 mois, toutes les jeunes filles en ayant bénéficié étaient tombées enceintes ! Le travail les avait fait se sentir importantes, leur avait donné une nouvelle identité tant et si bien qu’elles avaient besoin de donner un nouveau sens à leurs vies !

Nous sommes dans des systèmes adaptatifs complexes diraient les chercheurs, et toute action faite sur l’écosystème existant à des conséquences enchevêtrées et compliquées à prédire, rappelle le consultant. Comme le lui expliquait l’un de ses amis qui travaille dans une ONG chargée d’inspecter le travail des enfants et le travail forcé en Chine et en Inde, il est difficile de savoir si, en 10 ans d’actions, les conditions se sont améliorées. Chaque fois que vous définissez de nouvelles normes pour mettre fin à ces formes de travail, certaines entreprises y répondent, mais d’autres les contournent ou les effets se déplacent.

« Ce n’est pas l’aide au développement qui est cassée, ce sont nos attentes qui le sont »

Pour Hobbes, donateurs, bénéficiaires et ONG se contredisent. Mais « ce n’est pas l’aide au développement qui est cassée, ce sont nos attentes qui le sont ».

Et Hobbes de conclure sur les progrès de l’aide au développement : la prospérité ne cesse de répandre. Même les pays les plus pauvres du monde n’ont cessé de progresser ces cinquante dernières années. Et pas seulement grâce à l’aide au développement… En 2013, l’aide au développement des pays riches a totalisé 134 milliards, soit environ 112 dollars par an pour chacun des 1,2 milliards d’habitants de la planète qui vit avec moins de 1,25 dollar par jour. L’aide au développement n’est encore qu’une goutte d’eau dans l’océan des inégalités. La capacité de l’aide au développement pour aider le développement des pays est limitée. Quand on regarde en détail les chiffres de Kremer sur l’effet du vermifuge sur le développement, on constate qu’ils ne permettent aux enfants que d’espérer gagner qu’une trentaine de dollars en plus des autres enfants au cours de toute leur vie ! Une perspective qui permet de relativiser la portée de l’effet mesuré… Bien sûr, ce n’est pas pour autant qu’il ne faut pas le faire !

« Si un traitement de vermifuge qui coûte 49 centimes de dollars permet d’augmenter le salaire des personnes les plus pauvres de 30$, nous serions idiots de ne pas les dépenser. Les arguments contre l’aide internationale sont innombrables et le plus souvent logistiques et techniques. L’argument en sa faveur est lui singulier et moral, et pour moi, il est déjà tout à fait convaincant. Nous avons tant et ils ont si peu ! »

Pour Michael Hobbes, l’enjeu ici n’est pas de critiquer les projets eux-mêmes ou de les faire disparaître parce qu’ils ne seraient pas assez efficaces. Mais si nous voulons vraiment réparer le développement, nous devons cesser de croire et de faire croire que nous allons faire des miracles. Et les pays riches devraient passer moins de temps à débattre de comment réduire la petite part de leur PIB qu’ils dépensent dans l’aide au développement et plus de temps sur comment tirer partir de leur puissance économique et politique pour accompagner et favoriser le développement de ces pays. Comme le dit le spécialiste du développement, Owen Barder du Centre pour le développement global : « si nous croyons que le commerce est important, nous pourrions faire plus pour ouvrir nos propres marchés au commerce des pays en développement. Si nous croyons que les droits de propriété sont importants, nous pourrions faire plus pour faire respecter le principe que les nations (et pas leurs dirigeants illégitimes) sont propriétaires de leurs propres ressources naturelles… »

PlayPump était une bonne idée, termine Hobbes. Mais la prochaine fois que nous avons une grande idée, nous devrions peut-être la rêver un petit peu plus petite, c’est-à-dire, un peu plus modeste.

En tout cas, ce que pointe bien cet article, il me semble, c’est la limite de la scientifisation. Une question qui rejoint les interrogations récentes de chercheurs sur les limites de la réplication et la réflexion sur un meilleur partage des protocoles et des résultats de recherche, qui nous rappellent que « la vérité scientifique est générée par l’accumulation de résultats au cours du temps, pas par l’éclat ou le bruit d’une étude isolée”.

Hubert Guillaud