Mesurer ce qui compte

J'ai récemment assisté à la présentation d'un jeu de sensibilisation qu'une organisation de près de huit mille collaborateurs avait développé elle-même. C'était superbe et le travail accompli sautait aux yeux. Des groupes d'une trentaine de collaborateurs y jouent en trois heures, et il se crée pendant ce temps précisément le dialogue sur la sécurité et la protection des données que l'on recherche. Les plateaux de jeu portant les questions sont par ailleurs affichés à divers endroits du bâtiment, de sorte qu'on en résout une de temps à autre au passage. Une belle initiative, et il faut surtout qu'elle perdure.

Et pourtant, une question est restée en suspens. Trente collaborateurs par session, sur près de huit mille, cela représente moins d'un demi pour cent. Vouloir toucher tout le monde de cette façon prend des années, et il en va de même pour les escape games physiques, les cybertrucks et les roadshows qui surgissent un peu partout. À cela s'ajoute une deuxième question. Peut-on, avec un tel jeu, mesurer aussi si le comportement change ? Car c'est pour cela qu'un programme de sensibilisation existe en fin de compte : réduire les risques de sécurité et de protection des données dans lesquels le comportement du collaborateur joue un rôle.

La science du comportement résume cette tâche en trois conditions. Pour changer un comportement, il faut à la fois de la connaissance, de la motivation et de l'occasion (Michie, van Stralen et West, 2011). Trop souvent, un programme démarre par un module e-learning ou une présentation, et s'y arrête. On agit ainsi sur la connaissance, mais en rien sur l'occasion et la motivation. Et lorsque vient le moment de rendre compte, il n'est même plus question de connaissance, mais de participation. Ce rapport est une étude de littérature sur la mesure et le compte rendu de la sensibilisation à la sécurité (security awareness). Il ne vise pas à mettre fin aux belles initiatives, mais à leur donner une place logique, car la sensibilisation a aussi le droit d'être agréable. La seule question est : que mesurez-vous, et de quoi rendez-vous compte, pour piloter le risque et non la fréquentation ?

01 · ConstatCe dont nous rendons compte, c'est la participation, pas le résultat

Le modèle de référence pour évaluer une formation vient de Kirkpatrick (1959, repris dans Kirkpatrick et Kirkpatrick, 2006) et comporte quatre niveaux : la réaction des participants, ce qu'ils ont appris, leur changement de comportement, et les résultats que cela produit pour l'organisation. Ces quatre niveaux forment une échelle. Plus on monte, plus une mesure en dit sur l'effet réel. Or, en matière de sensibilisation à la sécurité, la plupart des programmes restent bloqués sur le premier barreau. Une étude de synthèse sur les pratiques d'évaluation montre que les organisations s'appuient surtout sur des indicateurs faciles à obtenir, proches du niveau un, comme les taux d'achèvement et les scores de satisfaction, alors qu'elles mesurent rarement au niveau du comportement ou du résultat (Jayatilaka et coll., 2021). Les études qui parviennent jusqu'au niveau comportemental, comme celle de Khan et collègues (2023), constituent l'exception qui confirme la règle.

Cette préférence est compréhensible, et par là même dangereuse. Une plateforme d'apprentissage fournit le taux d'achèvement d'une simple pression sur un bouton, tandis que mesurer le comportement demande un dispositif de mesure, du temps et de l'argent. Le chiffre le plus facile à produire devient ainsi naturellement celui dont on rend compte. Le problème, c'est que ce chiffre mesure une activité et non un résultat. Un taux d'achèvement de près de cent pour cent fait l'effet d'un succès, mais ce n'est pas le succès recherché. Dans Le paradoxe de la participation, nous avons déjà montré qu'une obligation fait monter la participation de manière fiable sans que le comportement suive de lui-même. Le taux d'achèvement dit donc quelque chose du nombre de personnes ayant suivi la formation, et quasiment rien sur le fait que l'organisation soit devenue plus sûre.

Que les programmes de sensibilisation restent ainsi accrochés à ce premier barreau n'est de surcroît pas un cas isolé, mais un schéma répandu. L'enquête sectorielle annuelle de SANS (2024), fondée sur plus de mille professionnels dans plus de soixante-dix pays, montre que de nombreux programmes restent englués dans une phase de conformité et de prise de conscience, où tout tourne autour de la présence et de la sensibilisation, sans évoluer vers une phase centrée sur le comportement et la culture. Il en résulte un compte rendu qui rassure la direction sans rien dire du risque réel.

Désormais, la norme rattrape elle aussi ce constat. ISO/IEC 27001 impose, dans sa clause 9.1, d'évaluer l'efficacité des mesures, et avec la révision de 2022, la sensibilisation est en outre devenue, dans la norme sous-jacente ISO/IEC 27002, une mesure de sécurité autonome (6.3), qui porte sur un personnel se comportant de façon démontrable conformément à la politique et non sur une formation ponctuelle. Dans la pratique d'audit, cela pose une exigence plus stricte. Une feuille de présence ou un taux d'achèvement ne valent plus comme preuve suffisante, précisément parce qu'ils ne disent rien de l'efficacité. Le seuil minimal se déplace ainsi. Là où l'on satisfaisait auparavant à la mesure avec une présence et un module e-learning achevé, la norme exige, depuis la transition vers ISO 27001:2022 — dont l'échéance pour les certificats existants s'est achevée fin octobre 2025 —, la preuve que le comportement et la connaissance ont réellement changé. Un programme qui reste sur les deux barreaux inférieurs ne fournit pas cette preuve.

02 · DistinctionConnaissance, attitude et comportement ne sont pas la même chose, et ne se mesurent pas de la même façon

Qui veut monter plus haut sur l'échelle découvre vite que la sensibilisation n'est pas une grandeur unique mais un ensemble de trois : ce que quelqu'un sait, ce qu'il en pense et ce qu'il fait réellement. La recherche résume cela dans ce que l'on appelle le modèle KAB de la connaissance, de l'attitude et du comportement, un triptyque que nous avons déjà utilisé dans La différence entre sensibilisation à la sécurité et à la protection des données. Kruger et Kearney (2006) ont fourni à cet effet le premier modèle de score concret, permettant d'exprimer la sensibilisation non comme un ressenti mais comme un score mesurable et pondéré. L'enseignement majeur de ce modèle est que les trois composantes peuvent évoluer indépendamment les unes des autres. Quelqu'un peut connaître les règles, les juger sensées et néanmoins ne pas s'y conformer.

Depuis lors, des instruments validés mesurent ces grandeurs de façon fiable. Le plus connu est le Human Aspects of Information Security Questionnaire, en abrégé le HAIS-Q, que nous avons aussi cité dans Les premiers mois vulnérables et qui cartographie la connaissance, l'attitude et le comportement autodéclaré sur différents thèmes (Parsons et coll., 2014). Lors d'une deuxième série de validations, les chercheurs ont en outre démontré que des scores plus élevés au questionnaire allaient de pair avec de meilleures performances dans une véritable simulation de phishing, ce qui confère à l'instrument une valeur prédictive qu'un quiz maison n'a pas (Parsons et coll., 2017). Pour le versant comportemental, Egelman et Peer (2015) ont développé la Security Behavior Intentions Scale, en abrégé SeBIS, une échelle validée qui mesure l'intention d'adopter un comportement sûr selon quatre dimensions, de la mise à jour des logiciels à la gestion des mots de passe.

La leçon pratique est aussi simple qu'inconfortable. Il existe des instruments éprouvés pour mesurer au-delà de la participation, de sorte qu'une organisation qui veut mesurer sérieusement la sensibilisation n'a pas à partir de zéro. Un test de connaissances maison à la fin du module e-learning mesure tout au plus si quelqu'un peut encore restituer l'information qui vient de lui être présentée. Il ne mesure ni l'attitude ni le comportement, et ne se compare ni dans le temps ni entre services. La différence entre mesurer et bien mesurer, c'est précisément la différence entre une telle question de test et un instrument validé.

03 · ExplicationPourquoi mesurer la connaissance ne suffit pas

Entre savoir et faire s'ouvre un fossé qui a reçu son propre nom dans la recherche : le knowing-doing gap. Ce n'est pas une observation fortuite, mais un phénomène démontré à maintes reprises. Workman, Bommer et Straub (2008) et Cox (2012) ont donné une structure théorique à ce fossé et montré que des personnes qui connaissent la menace et comprennent la mesure de protection s'abstiennent malgré tout souvent de l'appliquer. Des travaux plus récents confirment ce constat. Zwilling et collègues (2020) ont trouvé, dans quatre pays, une connaissance suffisante de la menace mais quasiment aucun comportement de protection, et Lee et Chua (2023) ont démontré que la connaissance ne prédit pas directement le comportement, mais seulement via des facteurs intermédiaires. Le message pour qui veut mesurer est rude. Un test de connaissances mesure la connaissance, et la connaissance ne prédit pas le comportement de lui-même.

L'ampleur de ce fossé ressort le plus nettement d'une méta-analyse de soixante-neuf études sur l'effet de la formation à la cybersécurité (Prümmer, van Steen et van den Berg, 2024), que nous avons aussi citée dans notre rapport sur les simulations de phishing. La formation augmente fortement la connaissance, avec une taille d'effet importante d'environ 1,02, mais le comportement bien moins, avec une taille d'effet faible d'environ 0,36. Autrement dit : la formation moyenne fait monter la connaissance environ trois fois plus fortement que le comportement. Qui ne mesure que la connaissance rend donc compte précisément de la grandeur qui évolue le plus et qui dit le moins sur le risque.

Qu'il ne s'agisse pas, dans ce fossé, d'un manque d'information, une mesure de terrain à grande échelle le montre sans pitié. Dans l'enquête annuelle de Proofpoint sur le phishing (2024), soixante et onze pour cent des utilisateurs ont entrepris une action à risque, et quatre-vingt-seize pour cent d'entre eux savaient que c'était risqué. Davantage d'information n'aurait ici guère changé les choses, car la connaissance était déjà là. Cela explique pourquoi un programme qui mise uniquement sur la connaissance reste bloqué. Le modèle comportemental COM-B résume pourquoi. Un comportement n'apparaît que lorsque la capacité, la motivation et l'occasion se rejoignent (Michie, van Stralen et West, 2011). Un module e-learning fournit la capacité, autrement dit la connaissance, mais la motivation et l'occasion doivent venir de l'organisation elle-même. Comme nous l'avons décrit dans Le problème d'adhésion, c'est précisément cette occasion — le temps sur les heures de travail, le budget et la priorité — qui relève presque entièrement du management. Un test de connaissances n'en mesure rien.

04 · ConstatLe comportement se mesure bel et bien, et à grande échelle

Ici se rejoignent les deux questions du début, celle de la mesure et celle de l'échelle. Un jeu de trois heures pour trente personnes est une expérience superbe, mais pas un instrument de mesure, et il ne touche jamais une organisation entière. Heureusement, le comportement se mesure bien à grande échelle, à l'aide de signaux que l'organisation émet d'elle-même au cours du travail ordinaire. L'exemple le plus connu est la simulation de phishing, à condition de regarder le bon chiffre. L'étude à grande échelle de Lain, Kostiainen et Capkun (2022), menée auprès de 14 733 collaborateurs sur une période de quinze mois, montre deux choses. Premièrement, un faible taux de clic par e-mail d'à peine six pour cent masque le fait que près d'un tiers du personnel clique au moins une fois sur cette période. Et deuxièmement, la formation au moment du clic n'a pas amélioré la résilience, tandis que le signalement collectif des messages suspects a, lui, produit un signal durable et exploitable.

L'attention se déplace ainsi du taux de clic vers le taux de signalement, la part de collaborateurs qui signalent activement un message suspect. C'est une meilleure mesure, car signaler va plus loin que se garder. Qui signale ne se protège pas seulement lui-même, mais alerte l'organisation tout entière. Le taux de clic lui-même reste une mesure trouble, car le fait que quelqu'un clique dépend fortement de l'attention à ce moment-là et des circonstances, et pas seulement de ce dont la personne est capable. Dans l'étude de Proofpoint (2024), le taux de signalement moyen tournait autour de dix-neuf pour cent face à un taux d'échec dans la simulation de plus de neuf pour cent, soit un facteur de résilience d'environ deux. Ce genre de chiffre relève des barreaux supérieurs de l'échelle, car il mesure ce que les gens font et non leur présence. La simulation de phishing n'est par ailleurs pas le seul signal comportemental. Le nombre d'incidents signalés et le nombre d'actions à risque devenant visibles dans les systèmes, comme le déclenchement d'une règle de prévention des fuites de données (DLP), disent eux aussi quelque chose de ce que les gens font réellement. Un cadre évalué par les pairs pour mesurer la sensibilisation souligne que ce sont précisément les indicateurs comportementaux, à la différence des chiffres de participation, qui sont liés à une réduction réelle du risque (Chaudhary, Gkioulos et Katsikas, 2022), et ENISA (2021) range elle aussi explicitement la mesure du comportement parmi les éléments centraux d'une stratégie de sensibilisation.

Et c'est ainsi que les belles initiatives trouvent leur place logique. La recherche sur la gamification et les serious games est remarquablement unanime. Les formats attrayants augmentent de façon fiable l'engagement, la motivation et la connaissance à court terme, mais en matière de changement durable de comportement, peu de choses ont été démontrées. Gwenhure et Rahayu (2024) trouvent surtout des effets à court terme, Ng et Hasan (2025) montrent que beaucoup de jeux touchent justement les collaborateurs déjà compétents, ce qui mine la promesse de portée, et Chen et collègues (2023) démontrent le plus nettement que le plaisir et l'immersion augmentent la sensibilisation, mais ne se traduisent pas d'eux-mêmes en intention comportementale. Rapportés au modèle COM-B, un jeu, un escape game ou un cybertruck apportent surtout de la motivation et une partie de la connaissance, et c'est précieux. Ils n'apportent ni occasion, ni échelle, ni mesure du comportement. Évaluez donc un tel format sur ce qu'il fait réellement : sur la portée, le vécu et la qualité du dialogue, et non comme si une intervention pour trente personnes devait réduire le risque de huit mille. Que ce ne soit pas un problème de luxe ressort de la même enquête SANS (2024), où le manque de temps et de personnel constitue l'obstacle le plus cité et où les programmes les plus matures exigent vite plus de quatre équivalents temps plein. C'est justement pour cela que vous n'investissez votre temps et vos personnes qu'une seule fois, et que la mesure comportementale à grande échelle ne doit pas céder le pas à l'intervention la plus belle, mais la plus restreinte.

05 · DémarcheComment mesurer et rendre compte

Les constats qui précèdent se traduisent en une démarche de mesure et de compte rendu qui pilote le risque sans jeter par-dessus bord les formats attrayants. Cinq étapes.

1. Montez l'échelle d'évaluation et ne restez pas au barreau un.Mesurez consciemment aux quatre niveaux de Kirkpatrick : participation, connaissance, comportement et, en fin de compte, risque. La participation reste utile comme indicateur de processus, car sans portée rien ne change, mais n'en faites jamais le résultat dont vous rendez compte. Pour chaque chiffre, demandez-vous d'abord : ceci mesure-t-il une activité ou un résultat ? Depuis ISO 27001:2022, la norme l'attend d'ailleurs aussi, à savoir la preuve d'efficacité et pas seulement de participation.
2. Mesurez la connaissance et l'attitude avec un instrument validé.Utilisez un instrument de mesure éprouvé comme le HAIS-Q et non un quiz maison à la fin du module e-learning (Parsons et coll., 2017 ; Kruger et Kearney, 2006). Vos scores ont alors un sens, vous les comparez dans le temps et entre services, et vous voyez du mouvement au lieu d'un instantané.
3. Mesurez le comportement avec des signaux observables, pas avec la seule autodéclaration.La mesure la plus exploitable est le comportement de signalement des messages suspects, et non le taux de clic brut (Lain et coll., 2022 ; Proofpoint, 2024). Un taux de signalement en hausse montre que les gens ne se contentent pas de se garder mais passent aussi à l'action, et c'est précisément pour cela que le programme existe.
4. Rendez compte dans le langage des risques, et par groupe à risque.Ventilez les chiffres par service et par fonction, et reliez-les au risque résiduel que la direction doit pouvoir peser au titre de son devoir de diligence (voir Le problème d'adhésion). Un taux d'achèvement de près de cent pour cent à l'échelle de l'organisation masque justement le seul service où réside le risque réel.
5. Donnez aux formats attrayants leur propre place.Un jeu, un escape game ou un cybertruck est un puissant moteur d'engagement, de dialogue et de culture. Évaluez alors ce format sur ce qu'il produit, à savoir la portée, le vécu et la qualité du dialogue. Distinguez engagement et changement de comportement, et ne jugez pas une intervention pour trente personnes sur le risque de huit mille. Ainsi cela reste agréable et le récit reste juste.

06 · ConclusionMesurez ce qui compte

Dans notre rapport sur les simulations de phishing, nous avons conclu que le problème ne réside pas chez le collaborateur, et dans Le problème d'adhésion, qu'il ne réside généralement pas non plus dans le module e-learning. Ce rapport ajoute un troisième enseignement. Le problème tient souvent à ce que nous mesurons et à ce dont nous rendons compte. Un programme de sensibilisation existe pour réduire les risques de sécurité et de protection des données dans lesquels le comportement du collaborateur joue un rôle, mais tant que nous rendons compte de la participation, nous pilotons la fréquentation. Et ce dont vous rendez compte détermine ce que l'organisation valorise. Rapportez la participation et vous obtenez la participation ; rapportez le comportement et le risque et vous obtenez du pilotage.

Heureusement, on peut faire mieux, sans que ce soit plus ennuyeux. Vous mesurez le comportement à grande échelle avec des signaux que l'organisation émet d'elle-même, vous mesurez la connaissance et l'attitude avec des instruments qui ont fait leurs preuves, et vous rendez compte dans le langage des risques, précisément le langage qu'une direction maîtrise. Et le superbe jeu pour ces trente collaborateurs ? Il mérite une place, et la conserve. Non comme preuve que le risque a baissé, mais comme ce qu'il est réellement : un moteur entraînant d'engagement et de bon dialogue. La sensibilisation a le droit d'être agréable. Elle doit seulement aussi être mesurable.