Parcoursup

La fin du tirage au sort est l’argument principal motivant la réforme de l’accès à l’Université… Mais dans quelle mesure s’affranchit-on du sort avec Parcoursup ?

Selon le CRTL, le sort est un « hasard auquel on se remet pour effectuer un choix, pour décider de l’issue d’une affaire ». Le tirage au sort à l’entrée de l’Université était en ce sens clair : on s’en remettait au hasard pour classer les candidatures. Pour l’éviter, l’outil d’aide à la décision de Parcoursup permet de faire un classement qui repose sur deux critères quantitatifs fournis par défaut : la moyenne pondérée des notes de contrôle continu du lycée, et la fiche avenir.

Analyse du classement par la moyenne des notes de contrôle continu

Il s’agit là de l’élément principal de classement des candidatures, et sans doute le plus solide. Personne ne niera la différence de niveau entre un candidat ayant 18 et un ayant 3. Mais en réalité, aucune formation ne recrute que des candidats ayant 18 et ne refuse que des candidats ayant 3. Il faut donc étudier la pertinence du classement pour les candidats entre ces deux extrêmes.

Considérons les notes de contrôle continu comme objectives et pertinentes, mais reconnaissons qu’il faut leur considérer une marge d’erreur : deux candidats strictement identiques qui rendraient les mêmes copies aux mêmes professeurs n’obtiendraient pour autant pas exactement les mêmes notes… Et ces notes seraient encore plus différentes avec des examens différents, des correcteurs différents, dans des classes ou des lycées différents…

Une étude menée par Florent Tétard montre, sur un échantillon de 12000 lycéens, que la marge d’erreur peut être très grande : par exemple, ceux ayant 11 en contrôle continu peuvent obtenir aussi bien 3 que 18 à l’épreuve du bac.

Mais prenons les choses dans l’autre sens, par exemple avec les données des candidats au DUT informatique où j’enseigne. L’échantillon a été réduit aux candidats de série S afin d’éliminer les biais dus aux différentes filières, soit 874 candidats. On peut alors se poser la question : Quelle marge d’erreur est nécessaire pour faire un classement solide ?

Distribution des moyennes

Sur nos 874 candidats, nous allons, grossièrement, initialement en appeler 90. Ces 90 candidats seront donc admis d’office, et au delà, les admissions se feront par désistement. Ainsi, à partir du rang 91, le classement prend de plus en plus d’importance pour l’admission ou non du candidat… Jusqu’au rang du dernier admis, où chaque place compte.

La moyenne du dernier admis d’office est de 14,140. Donc plus la moyenne du candidat s’éloigne de 14, plus son admission devient incertaine. Or, l’étude de la distribution des moyennes montre que la densité des candidats augmente très vite en dessous de 14 : c’est 15% de nos candidats qui ont une moyenne entre 13 et 14, et presque un quart entre 12 et 13, et encore presque un autre quart entre 11 et 12 :

Écarts entre les moyennes des candidats successifs

Plus l’écart entre les moyennes de deux candidats est faible, et plus la marge d’erreur doit être faible pour assurer la pertinence du classement. Mais l’étude de l’écart entre les moyennes des candidats successifs montre qu’au plus on s’éloigne du dernier candidats admis d’office (marqué avec une barre verticale), au moins l’écart qui sépare les candidats successif est significatif :

Lorsqu’on regarde la distribution de ces écarts, on réalise que la précision de Parcoursup, qui va pourtant jusqu’au millième de point, n’est même pas encore suffisante puisque pratiquement 10% des candidats successifs ne sont pas départagés. Presque 12% sont départagés par 0,001 point et 0,002 points, et presque 10% par 0,003 points… En tout, ce sont 74% des candidats successifs qui sont départagés par moins de 0,01 point, c’est à dire une valeur qui n’est même pas visible sur les bulletins scolaires (les 1% de candidatures départagées par plus de 0,1 point ne sont pas tracées) :

Proportion de candidats confondus en fonction de la marge d’erreur

On peut également s’affranchir des candidatures successives et étudier, en fonction de la marge d’erreur, la proportion de candidats confondus et leur nombre, c’est à dire ceux dont l’écart de moyenne est inférieur à la marge d’erreur :

Avec une marge de 0,001 points, presque trois quarts des candidats sont parfaitement départagés, mais encore plus d’un quart sont confondus avec jusqu’à 5 autres candidats.

Avec 0,01 point (marge du bulletin scolaire), plus que 10% des candidats sont parfaitement départagés, et plus d’un quart sont confondus avec jusqu’à 10 autres candidats.

Si on augmente encore la marge d’erreur à 0,1 point, une écrasante majorité des candidats se confondent avec 45, et même 90 autres, c’est à dire avec la moitié, ou la totalité, du nombre de candidats qui seront finalement admis.

Finalement, avec une marge d’erreur de 0,5 point, qui parait pédagogiquement raisonnable, plus des trois quarts des candidats sont confondus avec plus de candidats que nous n’avons de places. Certains sont même confondus avec 238 autres candidats, c’est à dire plus de 2,6 fois notre nombre de places.

Conclusion sur le classement par la moyenne des notes de contrôle continu

La majorité des candidats sont reçus par désistement. Cependant, on constate que la pertinence de leur classement nécessiterait un marge d’erreur de l’ordre du millième de point, voire inférieure. En réalité, pour cette majorité de candidats, l’écart entre les moyennes est très largement inférieur à une marge d’erreur raisonnable. Le classement des candidatures devient alors essentiellement dû au hasard, donc s’apparente à du tirage au sort.

Analyse de la prise en compte de la Fiche Avenir

Concrètement, l’interface de Parcoursup ressemble à la capture ci-après. La « note finale » est celle qui sert au classement. Elle est calculée à partir de la moyenne des notes de contrôle continu, de la « note fiche avenir », et des éléments examinés par la commission d’examen des vœux. La note de la fiche avenir est calculée au millième à partir des « valeurs sur 20 » que l’outil d’aide à la décision encourage à attribuer aux appréciations des enseignants du lycéen.

Le graphique ci-dessous compare le classement fait à partir des notes de contrôle continu, avec le classement fait à partir de la moyenne entre ces notes et celles de la fiche avenir. Chaque point représente un candidat en fonction de son rang dans les deux classements : les premiers du classement sont en bas à gauche. La diagonale départage les candidats qui gagnent des place (en dessous) ou en perdent (au dessus). Les barres verticales et horizontales indiquent le rang du dernier admis d’office.

On constate que le classement peut être substantiellement modifié par la prise en compte de la fiche avenir : sur les 874 places, les candidats gagnent ou perdent en moyenne plus de 120 places, et jusqu’à 577 places pour le cas extrême. 30% des candidats admis d’office sont même différents d’un classement à l’autre. Par exemple, le candidat au rang 34 passera, avec la prise en compte de la fiche avenir, au rang 293 : au lieu d’être admis d’office, il devra espérer que plus de 200 candidats se désistent devant lui.

Conclusion sur la fiche avenir

Selon la configuration, la prise en compte de la fiche avenir n’est donc pas un simple ajustement, mais bien un bouleversement du classement. Ce bouleversement repose entièrement sur la pertinence des appréciations formulées. Mais l’expérience montre que les candidats peuvent parfaitement avoir un avis « Très satisfaisant » alors que leur échec est une quasi-certitude. En réalité, si les enseignants du lycée peuvent forger leur avis sur une bonne connaissance du lycéen, il n’est pas raisonnable de leur imposer de connaitre les 13000 formations proposées dans Parcoursup, ni même les appréciations données à des lycéens équivalents dans tous les lycées de France. Un même candidat peut donc en réalité avoir des avis très différents.

Le bouleversement du classement par la prise en compte de la Fiche Avenir nécessiterait une marge d’erreur impossible à assurer. Cette modification du classement relève donc plus du sort que du parcours du candidat.

Les choix des commissions d’examen des vœux

Pour rester la plus neutre possible, l’étude jusqu’ici n’a pas utilisé de pondération particulière. Or, dans chaque formation, une commission d’examen des vœux doit fixer de nombreuses pondérations : pour la moyenne des notes de contrôle continu, pour les notes et la pondération de la fiche avenir, et pour les notes et pondérations des élément à examiner.

Il n’existe aucun cadrage national. Aussi ce jeu de pondération peut changer du tout au tout pour les 13000 formations de Parcoursup, y compris pour un même diplôme, y compris selon la filière d’origine du candidat. En clair, un même candidat pourra ne pas être classé du tout selon les mêmes règles d’une formation à l’autre. Et il n’existe aucun moyen de connaitre ces règles à l’avance. Et même si cette pondération améliore la pertinence du classement dans son ensemble, elle ne peut pas s’affranchir des marges d’erreurs démontrée ci-dessus. La chance jouera donc à plein. Encore une fois, le classement ne dépendra donc pas seulement du candidat, mais aussi énormément du sort.

Conclusion

On a ainsi montré que la majorité des candidats ne peuvent pas réellement se distinguer les uns des autres uniquement par leur dossier Parcoursup. En réalité, les marges d’erreur des notes ne peuvent pas être inférieures à l’écart entre les moyennes des candidats, dont la majorité est de l’ordre du millième de points. De plus, les outils d’aide à la décision, très faciles à utiliser mais difficile à maîtriser, peuvent réellement bouleverser le classement de façon imprévisible. Enfin, les règles d’examen des 13000 formations de Parcoursup étant différentes et non divulguées, un même candidat pourra en réalité être classé de façon totalement différente selon où il postule, et sans aucun moyen de le prévoir. En conséquence, pour la majorité des candidats, la décision d’admission s’apparente en réalité plus à un forme de tirage au sort qu’à une sélection juste et éclairée.

Piste d’explication

Il est a ce stade important de donner une piste d’explication de la source de ce tirage au sort. En réalité, les notes de contrôle continus et appréciations sont des outils formidables. Les notes permettent d’objectiver beaucoup de choses, comme la maîtrise d’une notion, l’évolution d’un élève, ou son niveau dans sa classe. Les appréciations de la fiche avenir donnent un avis sur un projet. Ces choses permettent à l’élève de se situer et à l’enseignant de s’adapter.

En revanche, ces notes et appréciations sont de très mauvais outils pour classer les candidatures : données dans des contextes différents, par et pour des personnes différentes, pour des finalités différentes aussi, elles sont globalement sans pertinence lorsqu’il s’agit de les comparer les unes aux autres, et encore moins au millième de point près. Les notes ne contrôle continu ne peuvent pas être utilisées comme les résultats d’une épreuve de concours, pas plus que les appréciations ne peuvent être utilisées comme les résultats d’une audition. En utilisant ces notes et appréciations à contre emploi, non seulement nous commettons une erreur de raisonnement, mais en plus nous prenons le risque de modifier leur sens et leur finalité dans l’enseignement secondaire, sans doute au détriment de leur utilité première.