Ne pas confondre efficacité et qualité
En devenant obligatoires, le Datadock et autres certifications forcent les organismes de formation à structurer leur activité, suivre et mesurer leurs défaillances, assurer le bon fonctionnement de leurs rouages internes. Ce souci d’amélioration est louable, mais attention au nombrilisme ! Trop souvent les évaluations ne font que mesurer les éléments relatifs à l’organisation de la formation ou à la mise en place d’une certaine logistique. Le certificateur pourra éventuellement être contenté par ces chaînes de preuve qualité, mais n’oublions pas que ce n’est pas lui le client. La qualité est une démarche importante, mais il ne faut pas la confondre avec l’efficacité de la formation, qui est un autre sujet et a pour but de mesurer la performance de l’apprenant et du donneur d’ordre.
La réforme en cours va probablement amplifier ce piège. Les formations financées, toujours moins chères, toujours plus certifiantes, devront impressionner avec de beaux labels et un score 4,9 étoiles sur 5. Évidemment pour atteindre ces scores parfaits, il faudra évaluer uniquement ce que l’OF peut contrôler, et par conséquent la logistique et le ressenti très court-terme des apprenants.
Pour les autres OF qui ne rentreront pas dans cette démarche de nivellement vers le bas, il faudra se focaliser sur des formations à très forte valeur ajoutée en terme d’accroissement des performances des apprenants. Et ce gain, il faudra savoir le mesurer.
Se focaliser sur le retour sur attentes du client
Une étude de 2009 du ROI Institute auprès de directions générales de sociétés américaines va nous aider à comprendre le problème:
On s’en doutait déjà, mais les donneurs d’ordre ont des attentes ne se limitent pas au contentement de l’apprenant au lendemain de la formation, bien au contraire.
Afin que les évaluations répondent aux vrais besoins des clients, il faut prendre en compte un outil simple qu’est le retour sur attentes (ROE, d’après l’anglais Return on Expectations par opposition au ROI, Return on Investment). C’est un processus qui favorise la mise en oeuvre d’une démarche collaborative entre le commanditaire et l’OF.
La première étape est d’identifier clairement l’origine de la demande de formation. Il peut s’agir de la direction qui constate une manque de compétences ou de connaissance dans les équipes, d’un manager qui , à partir des remontées effectuées sur le terrain, décide que certains collaborateurs doivent être formés.
C’est auprès de ces personnes qu’il faut collecter et formaliser le besoin. Plus elles seront impliquées dans le travail de conception de la formation, plus celle ci aura de chance d’être efficace, et plus le donneur d’ordre sera satisfait de la relation mise en place par l’OF.
C’est aussi à cette étape qu’il faudra estimer la pertinence d’une démarche d’évaluation, après tout la formation « récompense » aux Maldives pour le bon employé est une réalité du métier. Il faut déployer des moyens d’évaluation à la mesure de l’importance opérationnelle des formations.
La deuxième étape est l’identification des indicateurs. Quel comportement nouveau, quel effet mesurable le client souhaite-il voir apparaître à l’issue de la formation ? Pendant cette phase de collecte des besoins, il faudra faire preuve de précision. Plus on connaitre de manière détaillée ce que l’on veut constater, plus il sera facile de le mesurer.
Ce travail est plus importante que la création évaluations. L’équipe pédagogique dispose d’une analyse qui lui permet de concevoir une formation adaptée afin de créer de nouveaux comportements.
Concevoir les évaluations avec un modèle connu des RH
Pour impliquer les clients dans une démarche d’évaluation des ROE, il vaut mieux utiliser un langage et des concepts familiers des directions générales et des RH. En outre utiliser une « caution scientifique » est une précieuse aide à la vente.
La bonne nouvelle est qu’il existe un modèle classique d’évaluations, connus depuis les années 50, avec des fondements scientifiques, et couramment enseigné aux RH: le modèle Kirkpatrick. Ce modèle distingue 4 phases ou niveaux d’évaluation.
Le questionnaire de satisfaction à chaud (Niveau 1)
Cette évaluation, tout la monde (ou presque) la fait déjà., vous avez certainement déjà eu en votre possession un formulaire standard comportant toutes les bonnes question pour détecter les bons et mauvais fonctionnements logistiques et organisationnels en matière de déploiement de la formation, analyser la qualité perçue de l’équipe pédagogique, et récolter les ressentis à chaud des apprenants.
Les tests d’apprentissage des connaissances (Niveau 2)
L’apprenant a t-il compris, retenu, ce qui a été transmis ? Ces tests peuvent prendre plusieurs formes, du plus ludique au plus austère (une pensée pour tous les étudiants qui passent des partiels). C’est actuellement la mode des outils numériques tels que les quizz en présentiel. Ces outils sont formidables pour dynamiser les apprenants, rythmer la formation et ,cerise sur le gâteau, c’est un bon moyen de tester de manière très quantifiée l’acquisition des connaissances. L’importance de ce niveau ne doit cependant pas être surestimée. La mémorisation des connaissances est un enjeu moindre importance dans un monde numérisé où l’information est rapidement accessible.
L’évaluation du transfert des acquis (niveau 3)
Communément appelée « évaluation à froid », c’est le principal outil pour mesurer l’impact à plus long terme de la formation. Pour des raisons pratiques, il vaut mieux ne pas trop attendre pour la réaliser, entre 2 à 3 mois en moyenne. Au delà, la mesure serait théoriquement plus « fiable » mais le taux de réponse serait très faible. Car cette évaluation est la plus dure à faire remplir par les apprenants. Un travail de conception de la formation doit être mené en amont et conjointement avec le commanditaire et les managers de l’apprenant. Cela maximisera les chances que cette évaluation soit prise au sérieux par les parties prenantes.
Evaluation des retours sur les attentes (niveau 4)
L’objectif ici est de vérifier auprès du donneur d’ordre si les attentes initiales ont eu des résultats mesurables. On parlera donc davantage de l’impact de la formation sur l’organisation qui a commandité la formation. Si on prend l’exemple de la formation d’une équipe commerciale, on cherchera donc ici à voir l’impact sur les performances commerciales de l’entreprise suite à cette formation.
Les évaluations de niveau 4 sont évidemment les plus difficiles à mettre en œuvre. Pourtant, on a vu plus haut que c’est de loin le critère le plus important aux yeux des donneurs d’ordre.
Respecter les bonnes pratiques
Passer au numérique
Utilisez des logiciels dédiés car les évaluations papier ne sont jamais compilées numériquement (et si elles le sont, c’est au prix d’un temps qui serait bien employé à d’autres tâches à plus forte valeur ajoutée). Quant aux emails demandant à l’apprenant de remplir une évaluation numérique, il est impératif de respecter de bonnes pratiques : un contenu très sobre pour éviter d’être associé à du spam, un titre clair et accrocheur. N’envoyez pas les emails pendant les congés. Les jours idéaux sont le mardi et le jeudi, plutôt avant midi.
Une synthèse visuelle des résultats, comme une infographie, a de nombreux bénéfices. La promesse d’un tel document est un argument commercial puissant, surtout si le document est conçu pour pousser l’évaluation et l’analyse jusqu’au niveau 4, les résultats attendus par les donneurs d’ordres.
Composer des évaluations quantifiables
Il faut concevoir des questionnaires courts, aux questions précises et sans ambiguïtés. Maximiser les questions aux résultats quantifiables. Si vous souhaitez introduire une question ouverte, faites en sortes qu’elle soit précédée d’une question fermée et quantifiée sur un sujet similaire.
Attention au questionnaire de satisfaction réalisé dans l’urgence pendant la dernière heure de la formation, lorsque les apprenants sont pressés de prendre leur train et rentrez chez eux. Vous aurez des réponses de bien faible qualité, souvent peu critiques. Mieux vaut envoyer le questionnaire le lendemain ou quelques jours après, et récolter des réponses réfléchies qui vous permettront d’avancer. Il peut y avoir quelques réponses manquantes, et dans ce cas n’hésitez pas à relancer les apprenants. Il est préférable d’avoir 90% de réponses de qualité que 100% de feuilles griffonnés à la va vite.
Vous pouvez tout de même avoir envie d’obtenir une jolie statistique de 4.9 sur 5 à afficher quelque part. Ces métriques « marketing » trouvent leur place idéalement dans le questionnaire de satisfaction. Dans ce cas, limitez-la à une seule question en y associant une note de 1 à 5 permettant de livrer un ressenti général.
Encouragez l’engagement du formé sur la mise en œuvre des acquis
Pendant la formation, demandez aux stagiaires de définir un plan d’action pour les prochains mois. C’est une manière simple de les inciter à prendre des engagements, et idéalement de les partager avec leur managers.
Pour les évaluations à froid, le taux de remplissage est souvent plus faible. L’idéal serait de penser l’évaluation à froid en amont en concertation avec les donneurs d’ordre. Il sera plus dur de l’esquiver si elle est une étape « obligée » de la formation imposée par les managers. A ce titre, impliquez les managers en leur envoyant également une évaluation du transfert des acquis constatés chez leurs collaborateurs formés.
Sans l’aide du management des formés, il faut ruser ! Recréez de l’intérêt pour la formation en envoyant un contenu complémentaire. Le PDF des 10 erreurs à ne pas commettre en appliquant les compétences acquises, une vidéo amusante trouvée sur internet et reprenant un thème similaire à celle de la formation etc. Motivez les stagiaires à répondre au questionnaire en leur promettant un délivrable (ex : une analyse des résultats, une infographie…)
Le paysage de la formation professionnelle est en plein bouleversement. Face aux formations sur étagères calibrées pour le faible montant mobilisés sur le CPF et aux MOOC déshumanisés, les OF ont tout intérêt à proposer des prestations à forte valeur ajoutée qui leur permettent de préserver leur marge. Pour cela, l’évaluation de l’efficacité peut devenir un outil puissant afin de transformer la relation entre OF et donneurs d’ordre en un partenariat durable plus qu’en une démarche d’achat au moindre coût.
