Cet article a pour objectif de vous aider à mieux comprendre le score que les développeurs obtiennent sur les tests de WeLoveDevs.com ainsi que notre opinion sur ce que doit être un « bon test technique ».
Une note sur 20 ne veut rien dire
Nous nous souvenons tous des examens à l’école où il fallait comparer sa note aux autres élèves avec la moyenne et la meilleure note. En réalité une note n’a de sens que si on peut la comparer avec le résultat d’autres personnes.
C’est pourquoi nous proposons un « Top N% » pour chaque test technique. Nous comparons simplement le résultat à l’ensemble des autres développeurs qui ont passé le test (nos tests ont été passés plus de 50 000 fois !) et nous vous donnons un classement.
Résultat d’un développeur
Un autre défaut de la notation sur 20 est qu’il est tout à fait possible d’avoir la meilleure note du classement avec un « 9/20 ». C’est une notation dévalorisante pour les développeurs qui le passent et c’est pourquoi nous fournissons toujours un nombre de points plutôt qu’une simple note.
Enfin, ce classement est également très utilisé pour les entreprises qui créent leurs propres tests en utilisant notre outil de test de candidats. Il permet de visualiser facilement les résultats de l’ensemble des candidats.
Il faut évaluer les compétences utiles en entreprise
On ne demande pas au développeur de réviser une technologie avant un test. Tout d’abord car un développeur à souvent autre chose à faire de sa vie et que le bachotage ne permet pas de définir si un développeur sera bon ou non en entreprise.
Notre objectif est d’évaluer au maximum « la pratique » du développeur. Pour atteindre cet objectif les questions sont bien sûr réalisées par des professionnels sur la base de cas pratiques mais nous allons encore plus loin en utilisant un algorithme : le classement Glicko.
Cet algorithme mathématique vient tout droit du monde des échecs, il est d’ailleurs largement utilisé par de nombreux jeux vidéos pour classer les joueurs professionnels. Dans notre cas, chaque développeur démarre avec 2500 points.
L’idée est simple: chaque réponse possible à une question à un score de difficulté qui lui est attribué en fonction des résultats des autres développeurs qui ont répondu à la question.
Se tromper sur une réponse ou 90% des développeurs réussissent sera donc pénalisant sur le score. Nous pouvons en effet imaginer que si 90% des développeurs connaissent la réponse c’est qu’elle est très utile au quotidien !
A l’inverse, se tromper sur une question très difficile sera moins pénalisant car si la plupart des développeurs ne connaissent pas une réponse, c’est surement qu’elle n’est pas indispensable en entreprise.
La difficulté d’une réponse est évaluée en fonction des résultats des développeurs
Un test doit être simple et rapide
Que l’on passe un test pour une entreprise ou par curiosité, il est important que le test soit rapide. Personne n’a envie de passer plus d’une heure à se creuser la tête sur un test. C’est pourquoi le choix du QCM et du classement glicko nous semble le plus pertinent et nous n’avons pas la prétention « d’évaluer la qualité du code » d’un candidat de manière automatique.
De plus, on se souvient tous de cette phrase : « Vous n’aurez pas accès à internet dans votre futur métier pour trouver la réponse », et bien pour un développeur si ! (et c’est d’ailleurs presque systématique). C’est pourquoi le temps attribué à chaque question permet à un développeur qui connait déjà les bons mots clés et concepts de retrouver la réponse et ce n’est pas de la triche car cela se passera comme ca en entreprise !
Les tests sont des indicateurs très utile dans le processus de recrutement mais ils ne remplaceront jamais un entretien technique avec un développeur expérimenté. (A lire aussi: Les tests techniques n’ont jamais fait la différence entre les bons et les mauvais développeurs)