Voici une question d’actualité alors que la rentrée scolaire se profile : apprend-on mieux dans les petites structures scolaires que dans les grandes ? Une réponse intuitive suggère que oui. Dans un établissement à taille humaine, suppose-t-on, les enfants se sentent plus en confiance ; l’acte d’apprendre et les résultats obtenus ne peuvent donc que s’en trouver améliorés. Cette impression pourrait bientôt être confirmée par des résultats d’enquêtes sur la réussite en milieu scolaire et ancrer un point de vue... erroné.

Ainsi, dans les années 2000, la fondation Bill & Melinda Gates s’est beaucoup intéressée aux questions d’éducation. En particulier, elle a cherché à savoir ce qui faisait qu’une école affichait de meilleurs taux de réussite qu’une autre. Pour ce faire, elle a investi dans la recherche la somme de 1,7 milliard de dollars.

Lors des études menées, l’un des résultats qui retint l’attention était que, parmi les écoles les plus performantes, les petites écoles étaient surreprésentées. Ainsi, sur les 1 662 établissements que comptait la Pennsylvanie, 6 des 50 établissements les plus performants étaient de petite taille, soit 12 %, alors qu’ils ne représentaient que 3 % des écoles de cet État.

Cette enquête a donc incité la fondation Gates et plusieurs autres à investir de l’argent pour réduire la taille des unités pédagogiques. Était-ce une bonne idée ? Pas certain, car il pèse sur l’analyse de ce résultat une importune illusion mentale, nommée par les spécialistes biais de représentativité. Il s’agit de la difficulté que nous avons d’évaluer la représentativité d’un échantillon.

Pour mieux comprendre cet obstacle intellectuel, voici un petit problème proposé à des sujets par deux célèbres psychologues israéliens, Amos Tversky et Daniel Kahneman, vers 1970.

Une ville a deux maternités : l’une, grande, où 45 bébés en moyenne naissent par jour, et l’autre, petite, où 15 naissances en moyenne ont lieu chaque jour. Bien entendu, 50 % (ou presque) des bébés sont des garçons. Cependant, au jour le jour, ces proportions ne sont pas strictement respectées. Chaque maternité note les jours où elle a plus de 60 % de naissances masculines. Quelle maternité détiendra, au bout d’une année, le record de jours où naissent plus de 60 % de garçons ? La grande ? La petite ? Ou encore devraient-elles être, selon vous, à égalité ?

Sur cette question, 56 % des sujets interrogés ont considéré que les deux maternités seraient à égalité. La bonne réponse, que seuls 20 % des sujets ont donnée, était pourtant « la petite maternité ». En effet, plus l’échantillon est grand (ici la grande maternité), plus les chances de se rapprocher de la parité (50 % de filles, 50 % de garçons) sont grandes ; plus il est petit, plus les chances de s’en écarter sont importantes. En d’autres termes, la petite maternité sera celle où il y a le plus de jours où l’on trouvera au moins 60 % de garçons, mais ce sera aussi celle où il y a le plus de jours où les naissances de filles atteignent 60 % ou plus.

De la même façon, concernant l’évaluation des performances des écoles par rapport à leur taille, il est bien vrai que les petites structures seront surreprésentées parmi les équipes les plus efficaces... mais elles le seront aussi parmi les équipes les moins performantes !

C’est exactement ce que découvrirent les statisticiens lorsqu’ils se sont penchés sur les résultats de l’étude de la fondation Gates. Les liens qu’on avait cru pouvoir établir liant taille de l’établissement et performance pédagogique n’avaient donc pas grand sens... Tout simplement parce que plus un échantillon est petit, plus il a de chances de s’éloigner de la moyenne canonique, pour le meilleur ou pour le pire. C’est l’un de ces nombreux exemples où les illusions mentales s’hybrident avec des variables narratives (small is beautifull) pour nous raconter des histoires qui nous plaisent, mais qui ne sont pas toujours exactes.