Petit écart type

Introduction

Les concours d’entrée aux écoles de commerce sont ouverts à des candidats issus de trois filières (E, S
et T). Chaque filière a ses propres programmes, épreuves, coefficients établis de sorte qu’un candidat
puisse mettre en valeur ses compétences et ses points forts.

L’objectif tout à fait louable de ces différentiations ne semble pas atteint, puisque très souvent des
voix s’élèvent pour dénoncer l’hégémonie des mathématiques et le rôle déterminant que joue cette
matière aux concours, même dans une filière où elle ne devrait pas être en situation dominante. Une
des critiques faites aux mathématiques tient à la notation : une copie peut recevoir la note 20 sans que
le sujet ait été intégralement traité, ce qui n’est pas le cas dans d’autres matières.

Loin de vouloir défendre la matière que j’enseigne, je voudrais ici tenter d’expliquer comment
la manière de noter peut favoriser ou porter préjudice à une matière au sein d’un concours
[[Ce qui n’est pas le cas dans un examen. Le seul critère d’un examen est le niveau du candidat et non sa place au sein d’un groupe.]]
(je considérerai plus précisément l’influence d’une matière au sein de son option). Afin de mieux pouvoir
étayer mes propos, je serai obligé de passer par quelques rappels mathématiques que je m’efforcerai
de rendre le plus accessible possible.

2 Outils mathématiques de comparaison

On peut avoir envie de résumer une série de note en peu de chiffres comme on résume un livre en
quelques lignes. Deux grandeurs caractéristiques ont été mises en avant par les mathématiques : la
moyenne et l’écart type d’une série de note. Leur interprétation est universelle, comme l’a établi
le mathématicien Gauss. Enfin, pour comparer deux séries de notes entre elles, le coefficient de
corrélation linéaire permet de se faire une idée précise du degré de dépendance de l’une vis à vis de
l’autre.

2.1 La moyenne

C’est le paramètre le plus immédiat, connu et utilisé de tous. La moyenne est facilement modifiable
(augmenter toutes les notes d’un point augmente la moyenne d’un point). Ce paramètre est capital
pour situer une matière par rapport à une autre (harmonisation des langues entre elles par exemple),
mais la moyenne n’est pas déterminante pour le classement final. Changer la moyenne d’une matière
par un ajout de point n’a absolument aucune incidence sur le classement du concours, cela rend
simplement les résultats plus ”présentables”

2.2 L’écart type

Ce paramètre est moins bien connu que le précédent, peut être parce qu’il est moins facile à calculer et
à interpréter. Il permet de mesurer la répartition des notes autour de la moyenne. Un écart type proche
de 0 indique une série de notes presque toutes égales à leur valeur moyenne, et plus les notes sont
étalées, plus l’écart type croît. Les histogrammes ci-dessous représentent deux séries de 1000 notes,
avec un écart type environ 2 en haut et environ 3,8 en bas (les moyennes étant par ailleurs égales).

Petit écart type
Petit écart type

Grand écart type
Grand écart type

On a vu qu’ajouter le même nombre de points à l’ensemble des copies modifie la moyenne, en
revanche cela ne modifie absolument pas la valeur de l’écart type. On peut le modifier par exemple à
l’aide d’une multiplication des notes par un facteur qui agira de la même manière sur l’écart type.
Exagérons le trait pour mieux comprendre le rôle déterminant que joue l’écart type de la série de
notes d’une matière dans un classement de concours :

  • Prenons un paquet de copies, de moyenne 10 par exemple, et dont la plupart des notes sont
    entre 9 et 11. Les notes étant resserrées autour de leur moyenne, l’écart type sera faible, et l’on
    perc¸oit que ce n’est pas cette matière qui permettra à un candidat de ”creuser l’écart” pour être
    bien classé, ni d’être ”largué” irrémédiablement.
  • à moyenne égale, un autre paquet de copie utilisant largement toute l’échelle de notes entre 0 et
    20 aura un écart type nettement plus élevé. La différence se fera vite entre un bon et un moins
    bon candidat, cette matière prédominera dans le classement final vis à vis de la précédente,
    même si son coefficient est légèrement inférieur.

Intuitivement, outre les coefficients utilisés pour établir un classement, la comparaison des écarttypes
de toute les matières peut permettre de mieux cerner le poids d’une matière en fin de compte.
Nous aborderons en particulier ce point plus loin.

2.3 Répartition selon une courbe de Gauss

Le mathématicien Karl Frederich Gauss a montré que lorsqu’on répète une même expérience un
très grand nombre de fois, les résultats ont tendance à se répartir le long d’une courbe entièrement
caractérisée par la moyenne et l’écart type de ce que l’on mesure. C’est la fameuse ”courbe en cloche”
valable pour tout type d’expérience. La courbe et son équation sont reproduites sur les billets de 10
Marks.

Pour ce qui nous intéresse, on peut alors estimer que l’évaluation chiffrée d’un paquet de copie
donne une répartition selon une courbe de Gauss
[[Même si l’élaboration d’un barème peut modifier cette tendance à une répartition uniforme le long de la courbe de Gauss]].
Je prendrai donc cette hypothèse dans ma simulation
qui est faite plus loin.

2.4 Le coefficient de corrélation linéaire

La moyenne et l’écart type permettent donc d’avoir une représentation à la fois concise et rapide de la
répartition d’une série de notes. Mais il reste maintenant à avoir un indicateur simple et efficace pour
savoir si deux séries de notes sont indépendantes l’une par rapport à l’autre ou non.

En d’autre termes, si un candidat passe deux épreuves, il aura deux notes. A l’issue de la correction
des deux copies, il y aura deux séries de notes. Il peut être intéressant de se demander comment sont
réparties les deux notes : un candidat ayant une bonne note dans une matière aura-t-il une bonne note
dans l’autre ? Ou bien n’y a t-il pas de rapport apparent entre les deux notes, les situations variant
énormément d’un individu à un autre ?

Le coefficient de corrélation linéaire est un pourcentage indiquant le degré de dépendance entre
deux séries de notes. Plus précisément, il est proche de 100% lorsque les deux séries de notes semblent
liées. Dans ce cas, un candidat ayant une bonne, moyenne ou mauvaise note dans une matière aura
une bonne, moyenne ou mauvaise note dans l’autre respectivement.
Ce coefficient sera proche de 0% si les deux séries de notes ne semblent pas avoir de lien entre
elles. Dans ce cas, la note d’un candidat dans une matière ne préfigurera en rien la note dans l’autre
matière.

Si l’on représente graphiquement les deux séries de notes, un point représentant les notes obtenues
par un candidat dans les deux matières, le coefficient de corrélation linéaire est proche de 100% si les
points semblent alignés, et décroît au fur et à mesure que l’alignement des points diminue.

Les graphiques ci-dessus représentent la répartition simultanée de deux séries de notes, la corrélation
est plus élevée en haut qu’en bas.

Grande corrélation linéaire
Grande corrélation linéaire

Petite corrélation linéaire
Petite corrélation linéaire

Pour revenir à nos concours, on peut penser que les résultats des épreuves de math 1 et math 2 sont
fortement corrélées (ou : ont un coefficient de corrélation linéaire élevé), alors que le coefficient de
corrélation linéaire entre une épreuve de math et une épreuve de dissertation est vraisemblablement
plus faible.

Les coefficients de corrélation linéaire entre les matières ne sont jamais donnés par les écoles.

3 Simulations

3.1 Présentation de la simulation

Afin de pouvoir quantifier l’influence de l’écart type dans un classement final et ne disposant pas de
données réelles, j’ai simulé par ordinateur les notes de 1000 candidats dans trois matières, à chaque
fois réparties le long d’une courbe de Gauss.

La valeur de la moyenne des notes d’une matière n’intervenant pas dans un classement, j’ai pris
des séries de notes de valeur moyenne environ égales à 10, je ne ferai pas apparaître ces données dans
les tableaux ci-dessous.

Ainsi, il sera facile de modifier les coefficients appliqués ainsi que les écarts types, et de comparer
alors les données entre elles.

Je suis bien conscient que cette simulation est très éloignée de la réalité, mais elle permettra de
bien mieux comprendre dans une première approche les influences que subissent les matières entre
elles.

Dans un premier temps, pour mesurer l’influence d’une matière dans un classement, je me servirai
du coefficient de corrélation linéaire entre les notes de la matière et les notes du classement général.
Cela permettra d’avoir un indicateur du poids de la matière dans le classement final. Si ce coefficient
se rapproche de 0%, le poids diminue, s’il est proche de 100%, l’importance augmente. La somme
des pourcentages ne fait pas 100%, plusieurs séries de notes pouvant ”ressembler” aux notes du
classement général.

3.2 Changements de coefficients

Dans un premier temps, prenons trois séries de notes réparties de lamêmemanière (moyenne d’environ
10 et écart type d’environ 2,5) et observons l’influence des coefficients sur quelques exemples (trois
séries de coefficients seront utilisées, et reprises ensuite) :

TABLEAU 1 A B C Total
Coefficient appliqué 4 3 3 10
Ecart type 2,48 2,50 2,52 1,47
Corrélation constatée 69% 51% 52%
TABLEAU 2 A B C Total
Coefficient appliqué 5 3 2 10
Ecart type 2,48 2,50 2,52 1,55
Corrélation constatée 82% 49% 34%
TABLEAU 3 A B C Total
Coefficient appliqué 6 3 1 10
Ecart type 2,48 2,50 2,52 1,70
Corrélation constatée 89% 45% 16%

On constate bien qu’à notation équivalente, la corrélation entre une série de note et le classement
final augmente ou diminue en fonction du coefficient appliqué. Il n’y a donc pas de surprise ici.

3.3 Changements d’écarts types

Reprenons les exemples précédents, en modifiant pour quelques matières la répartition des notes,
donc l’écart type.

TABLEAU 1 bis A B C Total
Coefficient appliqué 4 3 3 10
Ecart type 2,48 2,50 4,38 1,82
Corrélation constatée 57% 41% 73%

Voilà qui est instructif : en comparant ce tableau avec le tableau 1, on constate que l’influence la
plus forte provient ici nettement de la matière C, celle qui a nettement le plus grand écart type.

TABLEAU 2 bis A B C Total
Coefficient appliqué 5 3 2 10
Ecart type 2,48 2,50 4,38 1,71
Corrélation constatée 74% 44% 52%

La matière C ayant le coefficient le plus faible semble avoir une plus grande influence sur le
résultat final que la matière B qui a pourtant un coefficient plus élevé. De plus, si on compare ce
tableau au tableau 2, on constate que la matière A semble avoir perdu un peu de son influence.

TABLEAU 3 bis A B C Total
Coefficient appliqué 6 3 1 10
Ecart type 1,98 3,50 3,95 1,65
Corrélation constatée 74% 64% 24%

La prédominance de la matière A semble être atténuée ici par le faible écart type.
Le poids d’une matière dans le classement final est bien sûr initié par les coefficients utilisés, mais
est également déterminé par les écarts types des matières en jeu dans le concours.

3.4 Notion de coefficients constatés

Afin de corriger le biais qu’introduit l’écart type dans l’application des coefficients, j’ai utilisé la notion
de coefficients constatés. Le coefficient constaté est le coefficient qu’il aurait fallu appliquer
pour obtenir le même résultat final si on ramenait toutes les matières au même écart type
. Ce coefficient
constaté ne peut être calculé qu’une fois l’ensemble des données connues, et prend donc en
compte l’influence finale d’une matière dans un classement
[[Si on note $c_1$, …, $c_n$ les coefficients des matières et $sigma_1$, …, $sigma_n$ les écarts types corespondants, le coefficient constaté de la matière numéro $k$ est $fracc_k sigma_kc_1 sigma_1 + … + c_n sigma_n$ (exprimé en pourcentage)]]

Prenons par exemple une matière à faible coefficient et un grand écart type en complétant le
tableau 2 bis :

TABLEAU 2 ter A B C Total
Coefficient appliqué 5 3 2 10
Ecart type 2,48 2,50 4,38 1,71
Corrélation constaté 74% 44% 52%
Coefficient constaté 4,33 2,61 3,06 10

Ce que le coefficient de corrélation linéaire avait permis de deviné est exact : la matière ayant le
plus faible coefficient n’est pas celle qui a la plus faible influence ! Le gain est ici très net, l’étalement
des notes permet de lutter contre la marginalisation de la matière.

En cas de coefficient plus équilibrés, il peut y avoir carrément un renversement de situation :

TABLEAU 1 ter A B C Total
Coefficient appliqué 4 3 3 10
Ecart type 2,48 2,50 4,38 1,82
Corrélation constatée 57% 41% 73%
Coefficient constaté 3,25 2,45 4,30 10

Bien sûr, ce qui est valable pour les matières à faible coefficients l’est également pour les matières
à fort coefficients. Voici deux exemples proches, où la répartition des notes accentue l’avantage dû
initialement aux coefficients

TABLEAU 2.4 A B C Total
Coefficient appliqué 5 3 2 10
Ecart type 4,36 2,50 2,52 2,37
Corrélation constatée 93% 32% 23%
Coefficient constaté 6,35 2,18 1,47 10
TABLEAU 2.5 A B C Total
Coefficients appliqués 5 3 2 10
Ecart type 4,36 2,50 3,49 2,42
Corrélation constatée 91% 31% 30%
Coefficient constaté 6,01 2,07 1,92 10

3.5 Tout est relatif

La notion de coefficient constaté peut sembler attrayante, et elle permet d’avoir une vue plus précise
de la réalité d’un concours. Mais il faut se garder de l’adopter aveuglément : le calcul des coefficients
constatés dépend de la catégorie de notes utilisées. Le résultat pourra être sensiblement différent si
le calcul porte sur l’ensemble des candidats, sur les candidats admissibles ou bien sur les admis par
exemple.

Ainsi, en reprenant les données du tableau 2.4, mais en ne retenant pour le calcul du coefficient
constaté que les 400 premiers du classement final, les données changent, les résultats aussi :

TABLEAU 2.4 sur 400 premiers A B C total
Coefficient appliqué 5 3 2 10
Ecart type 2,91 2,55 2,43 1,38
Corrélation constatée 81% 18% 13%
Coefficient constaté 5,38 2,82 1,80 10

La tendance est certes conservée mais les poids réels des matières redeviennent assez proche des
coefficients appliqués.

4 Exemple de contrôle a posteriori sur le concours ESCP 2000

4.1 Généralités

J’ai pris comme exemple le concours ESCP 2000. Les valeurs des écarts types sont publié dans le
rapport du concours[[Le rapport du concours ESSEC 2000 donne, sous forme de tableau, quelques éléments donnant la répartition des notes matières par matière, pour l’ensemble des candidats, les admissibles et les admis. Les écarts types ne sont pas fournis.]].

J’ai repris ici la notion de coefficients constatés, mais ce n’est qu’une approximation, certes significative,
mais pas exacte, puisqu’on a vu qu’elle dépend de la population étudiée. Ici, le rapport du
concours ne donne que les écarts types calculés sur l’ensemble des candidats, les coefficients constat
és seront donc calculés sur cette base là. Aussi, je vous demande de bien considérer les calculs
ci-dessous comme une tendance plus que comme une donnée irréfutable.

Ensuite, il n’est pas tenu compte du tout du fait que les candidats des différentes options sont tous
classé en même temps. Pour le mélange des options, les moyennes de chaque matière jouent un rôle
très important. Mais comme je l’ai dit plus haut, ce sont les importances relatives des matières au sein
de chaque filière que j’essaye d’étudier.

4.2 Les coefficients utilisés et constatés

Toutes options et matières confondues, les écarts types s’étalent de 2,47 (dissertation) à 5,49 (math
option T).

Toutes options confondues, l’écart type minimum d’une épreuve de math est de 4,14, l’écart type
maximum d’une épreuve non mathématique est de 3,33.

Ceci mesure le fossé culturel qu’il y a dans la manière de noter entre les mathématiques et les
autres matières et révèle une tendance bien connue : l’éventail des notes de 0 à 20 est largement
exploité en mathématiques, il l’est beaucoup moins dans les autres matières.

Les coefficients constatés vont donc augmenter systématiquement en math et ceci au détriment
des autres matières.

Cela montre bien qu’au delà du coefficient utilisé, la manière de noter est toute aussi déterminante
dans le classement final.

La lecture des tableaux ci-dessous se passe de commentaire.

4.3 Option S

Matière Synthèse Dissertation LV1 LV2 Math 1 Math 2 HG Total
Ecart type 2,99 2,47 3,07 3,33 4,26 4,14 3,14
Coefficient utilisé 3 4 5 3 6 4 5 30
Coefficient constaté 2,64 2,91 4,51 2,94 7,52 4,87 4,62 30

Je rappelle que cela ne reflète que des tendances, toutes les données n’étant pas disponibles pour
une étude plus fine.

4.4 Option E

Matière Synthèse Dissertation LV1 LV2 Math 3 Math 2 AEH Total
Ecart type 2,99 2,47 3,07 3,33 4,54 4,37 3,22
Coefficient utilisé 3 5 5 3 4 3 7 30
Coefficient constaté 2,68 3,69 4,58 2,98 5,42 3,91 6,73 30

Je rappelle que cela ne reflète que des tendances, toutes les données n’étant pas disponibles pour
une étude plus fine.

4.5 Option T

Matière Synthèse Dissertation LV1 LV2 Economie Math Tech. Gest. Total
Ecart type 2,99 2,47 3,07 3,33 3,31 5,49 2,95
Coefficient utilisé 3 4 5 2 5 5 6 30
Coefficient constaté 2,62 2,89 4,49 1,95 4,84 8,03 5,18 30

Je rappelle que cela ne reflète que des tendances, toutes les données n’étant pas disponibles pour
une étude plus fine.

4.6 Conclusion

Ainsi, puisque le poids d’une matière dans un classement est déterminée par le coefficient attribué à
cette matière, mais aussi par la manière de noter et de répartir les notes entre 0 et 20. Le débat qu’il
convient d’avoir, en parallèle à celui portant sur les coefficients, doit concerner la notation et doit être
mené au sein de chaque matière.

5 La notation

5.1 Que sanctionne une note à un concours ?

Le barème traditionnel de notation utilise une échelle de notes allant de 0 à 20, 20 représentant dans
l’imaginaire collectif la perfection et 0 une copie ”vide”. La notation d’un examen est directement
issue d’une utilisation linéaire de l’échelle de note, et la note finale représente pour résumer le pourcentage
brut des réponses attendues par le correcteur qui se retrouvent dans la copie.

Bien sûr, dans une épreuve de concours, la note attribuée doit en premier lieu rendre compte de
l’évaluation du travail du candidat par rapport au sujet proposé. Cette évaluation doit être bien sûr
croissante : une copie ayant mieux traité le sujet doit avoir une meilleure note qu’une copie ayant
moins bien réalisé le travail demandé.

Mais si la finalité même d’un examen justifie que la note soit proportionnelle à la qualité de
la copie, il n’en est pas de même lors d’un concours à mon avis. Pour schématiser, un concours
(je ne parle ici que des épreuves d’admissibilité) se doit de traiter différemment trois catégories de
candidats :

  1. Les ”bons” candidats qui devront être pris
  2. Les ”mauvais” candidats qui devront être écartés d’office
  3. Les candidats intermédiaires qu’il convient de répartir et classer au mieux afin que la barre
    d’admissibilité puisse sanctionner un niveau précis.

5.2 En résumé

Puisque noter une copie de concours impose de situer un candidat par rapport aux autres, l’attribution
de la note doit répondre à deux objectifs distincts :

  1. évaluation du travail du candidat (ce que fait un correcteur)
  2. Positionnement du candidat parmi les autres candidats selon une logique de ”recrutement”

5.3 Pourquoi alors étaler les notes ?

L’étalement des notes dans une matière, on l’a vu, détermine en partie l’influence réelle de la matière
dans le classement, ce qui se mesure grˆace à l’écart type. Mais le but premier d’un concours (recruter)
peut également motiver l’étalement des notes.

Réserver les notes de 15 à 20 pour départager au sein d’une matière les très bons des excellents
candidats ne concerne qu’un petit nombre de candidats et a pour effetmécanique de resserrer les notes
d’une grande partie des candidats qui constituent ”le gros du troupeau”. Ce mode de notation diminue
de fait l’importance de la matière dans le classement final. Le principe d’un concours est de recruter,
et les très bons et excellents sont potentiellement ”recrutables”. Il devient inutile de les départager trop
rigoureusement, il est préférable de leur accorder une note valorisante. La notation à un concours doit
accorder une ”prime à la qualité”. C’est ce principe qui est généralement appliqué enmathématiques,
et qui permet d’attribuer 20 à une copie qui n’a pas traité à la perfection l’intégralité du sujet.

Un raisonnement analogue conduirait à noter plus sévèrement les mauvaises copies, et à noter
sur une large gamme de note les copies de niveau intermédiaire. Le poids d’une matière augmentera
que si la matière en question peut en son sein trier de manière efficace ”le bon grain de l’ivraie”, en
attribuant une quantité significative de bonnes notes, mais aussi de mauvaises notes.
Cette manière de noter correspond mieux à la finalité d’un concours qu’une notation purement
proportionnelle à la qualité d’une copie.

5.4 Un exemple : la double correction

Traditionnellement, la note finale attribuée à une copie après double correction est la moyenne des
évaluations données par les deux correcteurs. Cette formule conduit à un tassement des notes vers le
centre, et à un évitement des notes extrêmes.

Une copie peut emballer un correcteur et obtenir 17, puis n’être considérer que comme bonne par
un autre et obtenir 15. La note finale est 16.

Dans un cas comme celui ci, pourquoi ne pas donner une prime à la qualité (la copie est de toute
fac¸on bonne dans l’optique du recrutement) et lui attribuer la plus haute des deux notes ?
Plus généralement, pour permettre un meilleur étalement des notes, on peut imaginer une double
correction dont la note finale serait :

  • la plus grande des deux notes si les deux notes sont supérieures à 13
  • la plus petite des deux notes si les deux notes sont inférieures à 7
  • la moyenne des deux notes sinon

Ceci n’est qu’un exemple bien sûr, avec des frontières arbitraires, mais qui montre simplement que
même sans changer les habitudes des correcteurs, il y a des moyens d’agir vers une meilleure utilisation
de l’échelle de note.

6 Conclusion

En constatant a posteriori la longueur de cet article, j’espère ne pas avoir été trop ennuyeux en donnant
quelques clefs pour mieux déchiffrer les rapports de concours, et en faisant part de réflexions
personnelles concernant la notation.

Cette première approche d’étude de la notation à un concours mériterait bien sûr d’être étayée
par une analyse en grandeur réelle. L’APHEC tente de récupérer auprès des écoles des fichiers de
notes afin de pouvoir mesurer plus précisément l’importance de la notation d’une matière dans le
classement final, et de faire des études plus fines.

Cependant, en tentant de quantifier, même demanière théorique, certains phénomènes secondaires
survenant dans la correction d’épreuves de concours, je pense avoir expliqué ce que beaucoup ont déjà
perçu : les mathématiques peuvent devenir très discriminantes. Au delà des coefficients appliqués,
c’est la manière de noter qui est à la source de cette distorsion.

Sans vouloir chercher à ”faire de l’écart type”, il serait à mon avis bon qu’il y ait un rééquilibrage
des influences réelles des matières, ceci pour que tous les candidats puissent faire valoir leurs points
forts de manière équitable. Le concours n’en sera alors que plus juste pour nos élèves.

Roland ROUSSILLON