Cette page est née en mai 2019 du manque de lien direct avec l'équipe au
MESR qui développe
ParcourSup [PSUP], voire même
d'Application PostBac [APB], puisque PSUP ne semble être
qu'une évolution du code APB, lui-même porteur de défauts signalés
sur cette page (points 1, 2 et 4, généralement remontés en vain) ; le seul canal officiel
de communication est l'outil de messagerie interne à PSUP, lequel est géré par le
SAIO (Service Académique d’Information et d’Orientation) du rectorat local, qui relaie au
SCN (Service à Compétence Nationale) ParcourSup
(rattaché à la
DGESIP),
les messages qui ne relèvent pas de sa compétence.
Les problèmes évoqués ne concernent que les outils mis à disposition par PSUP pour l'évaluation des dossiers durant les campagnes
présentées ci-après.
Les opinions émises sur cette page n'engagent que moi (Philippe REITZ
- département GEA de l'IUT de Nîmes - Université de Montpellier).
Campagne 2021-22
Cette campagne s'est déroulée durant le printemps 2021, destinée aux recrutements de la rentrée de septembre 2021.
Cette section évoque les problèmes rencontrés.
Défaut 1 : une interface utilisateur inadaptée à la tâche
Le premier défaut, sans aucun doute le plus patent et reconnu par tous les collègues qui partagent cette
même expérience, est un passage obligé par une interface en manipulation directe, impliquant un travail
dossier par dossier en ligne (soumis aux aléas de la connexion réseau ou de la charge des serveurs nationaux),
alors que des fichiers de paramétrage pourraient être préparés en amont pour des lots de dossiers, puis importés dans PSUP.
Ce défaut est flagrant dans les modules suivants :
- Définition des informations de configuration des dossiers récupérés : proposer une page avec des centaines de cases
à cocher peut suffire pour un usage raréfié ; pourquoi ne pas proposer de sauver une telle configuration complète, ce
qui permettrait aux utilisateurs de définir de leur côté des profils de paramètres, qu’ils pourraient importer dans
PSUP au gré des besoins ?
- Définition des évaluations quantitatives (EQT) : là encore un formulaire monstrueux permet le paramétrage d’une
telle EQT ; or il arrive qu’il nous faille tester différents jeux de coefficients ou de modalités afin d’affiner nos
réglages : pourquoi n’est-il pas possible de sauvegarder une configuration complète d’une EQT, permettant ainsi de
la modifier hors ligne, pour ensuite la réimporter dans PSUP ?
- Définition de la note globale : les remarques sont identiques aux EQT ; pourquoi ne pas permettre une sauvegarde
globale, puis sa possible ré-importation ?
- Gestion du recrutement en apprentissage : à l’ouverture de la campagne, le nombre de candidats peut être important ;
l’interface oblige le responsable, pour chaque dossier analysé, à valider par deux fois ses choix ; pourquoi ne pas
avoir autorisé un import de fichiers de décisions pour un ensemble de dossiers ?
Une bonne partie de ces saisies imposées peuvent être automatisées, l’interface graphique ne se prêtant toutefois pas
facilement à une telle automatisation ; ainsi, il faut parfois saisir une information au clavier, mais qu’il faut
valider via un clic sur un bouton : pourquoi par exemple ne pas définir des raccourcis clavier, ce qui permettrait
de tout piloter au clavier ?
Défaut 2 : des exportations de données limitées et de piètre qualité
Une partie seulement des données peut être exportée ; nous aurions apprécié :
- de pouvoir récupérer toutes les données des dossiers, comme par exemple les annotations des enseignants
sur les bulletins de notes ; le fichier PDF global est difficilement exploitable à ce niveau
- de récupérer tous les résultats des évaluations quantitatives calculés par PSUP ; un contournement
de cette faiblesse (cf ci-dessous) consiste à re-paramétrer la note globale, en attribuant un coefficient de 1 à l’EQT
demandée, et 0 à toutes les autres notes : cela fait travailler inutilement les serveurs nationaux, mais
c’est le prix à payer pour obtenir ces informations, avec une phase pénible de re-paramétrage de cette
note globale.
- les données exportées sont proposées dans un format CSV ou XLSX ; le choix CSV est mal exploité : en
effet, il arrive que les valeurs d’un champ contiennent le caractère séparateur du CSV, ce caractère n’étant
pas neutralisé dans la valeur ; les données sont alors difficilement récupérables, puisqu’ayant perdu leur
alignement. Exemple concret : les enseignements de spécialités sont agrégés dans un champ, séparés par
un ‘;’ (point virgule) ; lors de leur exportation en CSV (le ‘;’ étant aussi le caractère séparateur),
les données ne sont plus alignées.
- ces mêmes données exportées en CSV ou XLSX ont des noms de champs qui sont parfois identiques, nécessitant
un processus de désambiguïsation de ces noms, lequel n’est pas entièrement automatisable : un contrôle manuel
a posteriori est quasi-impératif.
Campagne 2020-21
Cette campagne s'est déroulée durant le printemps 2020, destinée aux recrutements de la rentrée de septembre 2020.
Deux nouveautés dans cette mouture PSUP'20 ont été bien appréciées :
- un système de pré-attribution des dossiers a été mis en place, permettant à chaque
évaluateur de filtrer efficacement les dossiers dont il est en charge.
- un document de synthèse des calculs de moyennes intermédiaires (appelées évaluations quantitatives cette
année), exprimés selon une pondération des notes selon la classe, la série ou l'option du bac.
Améliorations souhaitées en priorité
-
import/export systématique (déjà signalé les années précédentes) : pouvoir importer depuis/exporter vers des fichiers tableurs toutes les
données manipulées ; l'interface utilisateur Web ne doit venir qu'en complément ponctuel.
Des exemples où ce principe manque :
- import/export du paramétrage des évaluations quantitatives : quelles moyennes, quels coefficients à appliquer aux notes de lycée, selon la série et/ou l'option du bac.
- import/export du paramétrage de la note globale : quels coefficients à appliquer à quelles évaluations
- import/export du paramétrage de la fiche avenir
- export de toutes les notes calculées : ce n'est pas le cas des évaluations quantitatives
- export de toutes les données évaluateur : ce n'est pas le cas des commentaires d'évaluation
- import de toutes les décisions des dossiers d'apprentissage : tout est fait actuellement à grands
coups de clics et de saisies manuelles, les deux interfaces clavier et souris étant obligatoires : une
saisie doit être confirmée impérativement par un clic...
- disposer d'un forum de discussion interne à PSUP, tout comme il existe une messagerie, autorisant les
échanges entre évaluateurs - la frontière du cercle des discussions est à préciser : l'établissement, plus large...
Pour l'instant, j'ai jeté une bouteille à la mer, via le mot-tag #ParcourSupCEV20 sur
Twitter, sans effet à cet instant (fin avril 2020).
Campagne 2019-20
Cette campagne s'est déroulée durant le printemps 2019, destinée aux recrutements de la rentrée de septembre 2019.
Le contenu de cette partie a été rédigé en mai 2019, version remaniée d'une première plus incisive.
Sommaire
- Insuffisance des outils de calculs
- Traitement par lot non systématique (import/export via des fichiers plats)
- Une gestion approximative des cookies
- Pas d'espace d'échange national
- Faciliter le travail des évaluateurs en ne sous-estimant pas leur travail
- Placer le code destiné aux évaluateurs en open-source
1. Insuffisance des outils de calculs
Les moyens de calcul offerts par PSUP se limitent :
- aux calculs de moyennes pondérées, avec des jeux de poids (coefficients) qui
peuvent être conditionnés par la série de bac et éventuellement l'option de bac choisie par le candidat.
- à l'ajout de bonus (pas de malus possible)
Qui plus est, les notes calculées ont une précision limitée à 2 décimales (au centième) ; or le classement des
candidats nécessite qu'ils aient des notes distinctes, ce qui est quasiment impossible pour des formations
qui ont de nombreux candidats (la probabilité que deux candidats aient la même note arrondie au centième
est en effet élevée) ; PSUP mettant en oeuvre des moyens simplistes pour départager les ex-aequo, ce classement
doit être établi hors PSUP, puis importé.
Les points positifs
Le système mis en place permet de calculer par exemple :
- pour une série de bac donnée, la moyenne pondérée des notes de première (MP), de terminale (MT) et éventuellement
du bac (MB) pour les candidats qui en sont déjà détenteurs
Les points négatifs
Le système ne permet pas (ou mal) :
- de calculer des moyennes intermédiaires, elles-mêmes impliquées dans d'autres calculs ; dans notre cas, la moyenne de
lycée (ML) est une moyenne pondérée des notes de première (MP), terminale (MT) et du bac (MB) s'il a été déjà obtenu.
Cette moyenne ML fait partie des notes permettant de calculer la note finale (NF) du dossier
- d'appliquer un malus à des options d'une série de bac particulière ; le seul recours est :
- de transformer le malus en bonus
- de définir des jeux de poids pour chaque option de bac : si plusieurs options d'une même série de bac disposent d'un même
jeu de poids, il faudra dupliquer ces jeux en autant de fois qu'il y a d'options (un jeu de poids pour soit toutes les options, soit pour chaque option individuellement)
- d'appliquer automatiquement des bonus/malus à des dossiers, s'appuyant par exemple sur : l'âge des candidats, le nombre de redoublements en lycée, ...
Le seul recours est de passer par des notes locales (appelées éléments à examiner), qui ne peuvent prendre la forme que de notes (pas
de bonus ou malus) ; pour avoir un traitement automatique, pas d'autre choix que de passer par un import/export de résultats calculés
hors PSUP
- durant cette campagne 2019-20, PSUP ne permet plus de récupérer les moyennes intermédiaires (MP, MT et MB) qu'il sait pourtant calculer ;
l'argument mis en avant par le SCN : vous n'exploitez pas l'outil d'aide à la décision à 100% : vous n'avez donc pas à connaître
les moyennes intermédiaires ; les possibilités de calcul sont déjà limitées, mais si les quelques
rares que PSUP offre ne peuvent même plus être exploitées, dans ce cas supprimer l'outil d'aide à la décision, et
rendre alors l'import/export des données systématique (cf point 2)...
Astuce (lourde mais fonctionnelle - peut-être automatisée via l'astuce du point 2) : il suffit, pour chaque moyenne intermédiaire à récupérer, de la définir comme seule note utile
au calcul de la note finale (coef 1 pour elle, et 0 pour toutes les autres), de relancer les calculs de la note finale, d'exporter
les résultats ; l'opération est à relancer pour chaque moyenne intermédiaire à récupérer.
Propositions de pistes d'amélioration
Afin de renforcer les capacités de calcul dans PSUP :
- soit systématiser l'import/export des données (cf point 2), qui permettrait en local de suppléer
à toutes les insuffisances rencontrées dans PSUP (calculs déportés).
- soit permettre la définition d'une formule via un langage de script à définir par le SCN, appliquée à chaque dossier ;
par exemple, toute note calculée
est définie via une fonction Javascript, prenant en paramètre un tableau (JSON) portant toutes les données d'un candidat (Javascript
peut facilement être appelé depuis un programme Java - langage de développement de PSUP - avec toutes les sécurités requises -
moteur Javascript limité dans ses fonctionnalités comme sur les navigateurs Web -) ;
ce pourrait être aussi des formules directement intégrées aux feuilles de calcul (formules Excel/Calc dans les classeurs).
2. Traitement par lot non systématique (import/export via des fichiers plats)
Dans un système comme PSUP, susceptible de gérer un gros volume d'information, la règle devrait être de pouvoir échanger
les informations avec
lui via des fichiers, l'interface graphique ne venant qu'en soutien pour des modifications ponctuelles ou de simples consultations.
L'intérêt est que ces fichiers peuvent être préparés en dehors de PSUP, avec tous les outils nécessaires.
Or une grande partie des données à injecter dans PSUP ne peut l'être que via l'interface Web, à la main (à grands coups de clics et de saisie) ;
c'est le cas par exemple :
- pour signaler qu'un dossier est suivi par un évaluateur donné ; au passage, j'aimerais pouvoir pré-attribuer des dossiers à nos enseignants jurys, afin
de leur faciliter la recherche de leurs dossiers
- les modifications manuelles apportées à l'évaluation d'un dossier : modulation de la note finale, sa correction, commentaires
- pour les candidats apprentis, la décision pour une candidature de la refuser ou la mettre sous condition d'obtention d'un contrat
Pour un système qui prétend gérer des milliers de dossiers, quelle hérésie ! J'invite le SCN à demander leur avis aux utilisateurs en première
ligne que sont les évaluateurs...
Argument mis en avant par le SCN : toutes les données sensibles doivent nécessairement passer par une saisie en direct, seule
garante de leur correction ; autrement dit, si les évaluateurs écrivaient leurs données dans des fichiers plats, puis les
importaient dans PSUP, ces données n'auraient pas le même degré de correction que si elles avaient été saisies directement ?
Astuce : il suffit de mettre en place un outil d'
automatisation des actions utilisateurs
pour simuler une session de saisies utilisateur, réalisées en fait via un script ; dans le monde Microsoft, voir par exemple
AutoIt,
Automator dans le monde
Apple, ou
AutoKey dans le monde Linux.
Des outils d'automatisation d'une session Web sont probablement adaptés (type
cURL ou équivalent),
bien que je
ne sois pas sûr que toute l'interface Web soit scriptable facilement - par exemple les boutons de validation autorisent-ils
l'appui sur la touche [ENTREE] ? -.
Avis : ces limitations dans PSUP ont manifestement été décidées par des personnes qui n'utilisent par
leur outil, qui
sinon auraient tout de suite compris la lourdeur des manipulations (pas plus exemptes d'erreurs qu'un traitement automatique) que leurs choix
inappropriés impliquent ; ces entraves, car c'est bien ce qu'elles sont, ralentissent considérablement et inutilement le travail des
commissions d'examen, qui ont bien d'autres chats à fouetter.
3. Une gestion approximative des cookies
Il semble exister un bogue au niveau de la gestion des cookies dans PSUP, en particulier lors de la consultation
des dossiers ; ce
bogue est indifférent au navigateur employé, et provoque une déconnexion immédiate de PSUP ; toute tentative
de reconnexion échoue alors...
A chaque consultation d'un dossier, un cookie (appelons-le de consultation dossier) est créé, ressemblant à (avec NNNNNN un nombre entier) :
hôte = gestion.parcoursup.fr
chemin = /DossierCandidat/
nom = moduleActif_NNNNNN
valeur = aide-decision-classement
Lorsque le nombre de cookies atteint un certain seuil, la session est considérée comme expirée à chaque fermeture de dossier.
Dans mon cas, j'ai noté qu'à chaque fois, ce problème survenait lorsque le seuil de 150 cookies était atteint :
- 3 cookies de session
- 147 cookies de consultation dossier
Astuce : la suppression des cookies de consultation dossier suffit à rétablir un comportement
normal de PSUP.
4. Pas d'espace d'échange national
Tous les évaluateurs PSUP sur le plan national ont probablement les mêmes besoins, rencontrent les mêmes problèmes, et ont
chacun trouvé des solutions pour en contourner certains ; pire, ces évaluateurs, qui sont les premiers utilisateurs de PSUP,
n'ont pas la possibilité d'exprimer quelles améliorations ils souhaiteraient être traitées en priorité par le SCN.
Il serait au minimum utile de mettre en place un forum national des utilisateurs de PSUP.
5. Faciliter le travail des évaluateurs en ne sous-estimant pas leur travail
Entraver le travail des évaluateurs PSUP pour se prémunir d'erreurs qu'ils pourraient commettre (en les obligeant par exemple
à saisir manuellement des informations, validées plusieurs fois, et ce pour des centaines, voire des milliers de dossiers) est
profondément vexant et affligeant : les méthodes de travail que PSUP proposent ne sont pas à la mesure des
tâches à mener.
Si des erreurs sont commises (c'est intrinsèque à la nature humaine),
il suffit que le système permette de les repérer et les corriger rapidement...
6. Placer le code destiné aux évaluateurs en open-source
Si le SCN PSUP considère que développer un outil d'aide à la décision digne de ce nom n'est pas dans sa mission, pourquoi ne pas
placer cette partie elle-aussi en open-source, comme c'est déjà le cas d'autres parties du code source
publiées sur le dépôt GIT de l'Etat, EtaLab ?
Les établissements de l'enseignement supérieur ont bien souvent des développeurs de talent, alors pourquoi
ne pas recourir à ces compétences internes ?