Medir lo que cuenta

Hace poco vi la presentación de un juego de concienciación que una organización con casi ocho mil empleados había desarrollado por su cuenta. Tenía un aspecto magnífico y se notaba el mucho trabajo invertido. Grupos de unos treinta empleados lo juegan en tres horas, y mientras tanto surge exactamente la conversación sobre seguridad y privacidad que buscas. Además, los tableros con las preguntas están colgados en distintos puntos del edificio, de modo que de paso resuelves uno de vez en cuando. Una buena iniciativa, y conviene que siga siendo así.

Y aun así quedaba una pregunta en el aire. Treinta empleados por sesión, sobre casi ocho mil, es menos del medio por ciento. Quien quiera llegar así a todo el mundo tiene trabajo para años, y lo mismo vale para las escape rooms físicas, los camiones cibernéticos y los roadshows que aparecen por todas partes. A eso se suma una segunda pregunta. ¿Se puede también, con un juego así, medir si el comportamiento cambia? Porque para eso existe en el fondo un programa de concienciación: para reducir los riesgos de seguridad y privacidad en los que influye el comportamiento del empleado.

La ciencia del comportamiento resume esa tarea en tres condiciones. Para cambiar el comportamiento necesitas conocimiento, motivación y oportunidad al mismo tiempo (Michie, van Stralen y West, 2011). Con demasiada frecuencia un programa arranca con un e-learning o una presentación, y ahí mismo se acaba. Así actúas sobre el conocimiento, pero no sobre la oportunidad ni la motivación. Y cuando llega el momento de informar, ya ni siquiera se trata de conocimiento, sino de participación. Este informe es un estudio de literatura sobre la medición y la comunicación de la concienciación en seguridad. No pretende frenar las buenas iniciativas, sino darles un lugar lógico, porque la concienciación también puede ser divertida. La cuestión es únicamente: ¿qué mides y qué comunicas, para dirigir hacia el riesgo y no hacia la asistencia?

01 · HallazgoLo que comunicamos es participación, no resultado

El modelo estándar para evaluar la formación procede de Kirkpatrick (1959, recopilado en Kirkpatrick y Kirkpatrick, 2006) y consta de cuatro niveles: la reacción de los participantes, lo que han aprendido, si su comportamiento cambia y qué resultados aporta eso a la organización. Esos cuatro niveles forman una escalera. Cuanto más alto subes, más dice una medición sobre el efecto real. En la concienciación en seguridad, sin embargo, la mayoría de los programas se quedan en el peldaño más bajo. Un estudio panorámico de la práctica de evaluación muestra que las organizaciones se apoyan sobre todo en medidas accesibles, cercanas al nivel uno, como los porcentajes de finalización y las puntuaciones de satisfacción, mientras que rara vez miden en el nivel del comportamiento o del resultado (Jayatilaka et al., 2021). Los estudios que sí llegan al nivel del comportamiento, como el de Khan y colegas (2023), son la excepción que confirma la regla.

Esa preferencia es comprensible, y por ello peligrosa. Un entorno de aprendizaje entrega el porcentaje de finalización con solo pulsar un botón, mientras que medir el comportamiento exige un diseño de medición, tiempo y dinero. La cifra más fácil de producir se convierte así, sin más, en la cifra que comunicas. El problema es que esa cifra mide actividad y no resultado. Una finalización de casi el cien por cien parece una victoria, pero no es la victoria que buscas. En La paradoja de la participación ya mostramos que una obligación eleva de forma fiable la participación sin que el comportamiento se mueva por sí solo. Por tanto, la tasa de finalización dice algo sobre cuántas personas completaron la formación, y casi nada sobre si la organización se volvió más segura.

Que los programas de concienciación se queden en este peldaño más bajo no es, además, un incidente aislado, sino un patrón generalizado. El estudio anual del sector de SANS (2024), basado en más de mil profesionales de más de setenta países, muestra que muchos programas se estancan en una fase de cumplimiento y concienciación, centrada en la asistencia y el reconocimiento, y no avanzan hacia una fase en la que el comportamiento y la cultura ocupen el centro. Así surge una comunicación que tranquiliza al consejo de administración sin decir nada sobre el riesgo real.

A estas alturas, también la norma lo recoge. La ISO/IEC 27001 exige en la cláusula 9.1 evaluar la eficacia de las medidas, y con la revisión de 2022 la concienciación se convirtió, en la ISO/IEC 27002 subyacente, en un control autónomo (6.3), centrado en un personal que se comporta de forma demostrable conforme a la política y no en una formación puntual. En la práctica de auditoría, esto plantea una exigencia más dura. Una lista de asistencia o un porcentaje de finalización ya no se aceptan como prueba suficiente, precisamente porque no dicen nada sobre la eficacia. Con ello se desplaza el listón mínimo. Donde antes cumplías la medida con la asistencia y un e-learning terminado, la norma, desde la transición a la ISO 27001:2022 —cuyo plazo para los certificados existentes venció a finales de octubre de 2025—, pide pruebas de que el comportamiento y el conocimiento han cambiado de verdad. Un programa que se queda en los dos peldaños inferiores no aporta esa prueba.

02 · DistinciónConocimiento, actitud y comportamiento no son lo mismo, y tampoco se miden igual

Quien quiere subir más en la escalera descubre enseguida que la concienciación no es una única magnitud, sino un conjunto de tres: lo que alguien sabe, lo que piensa al respecto y lo que realmente hace. La investigación lo resume en el llamado modelo KAB de conocimiento, actitud y comportamiento, un tríptico que ya usamos en La diferencia entre la concienciación en seguridad y en privacidad. Kruger y Kearney (2006) aportaron para ello el primer modelo práctico de puntuación, con el que expresas la concienciación no como una sensación, sino como una puntuación medible y ponderada. La conclusión más importante de ese modelo es que los tres componentes pueden moverse de forma independiente. Alguien puede conocer las reglas, considerarlas sensatas y aun así no comportarse conforme a ellas.

Desde entonces, instrumentos validados miden estas magnitudes de forma fiable. El más conocido es el Human Aspects of Information Security Questionnaire, en abreviatura el HAIS-Q, que también citamos en Los primeros meses vulnerables y que cartografía el conocimiento, la actitud y el comportamiento autoinformado sobre distintos temas (Parsons et al., 2014). En una segunda ronda de validación, los investigadores demostraron además que unas puntuaciones más altas en el cuestionario se correlacionaban con un mejor desempeño en una simulación de phishing real, lo que confiere al instrumento un valor predictivo del que carece un cuestionario improvisado (Parsons et al., 2017). Para la vertiente del comportamiento, Egelman y Peer (2015) desarrollaron la Security Behavior Intentions Scale, en abreviatura SeBIS, una escala validada que mide la intención de comportamiento seguro a lo largo de cuatro dimensiones, desde la actualización del software hasta la gestión de contraseñas.

La lección práctica es tan sencilla como incómoda. Existen instrumentos contrastados para medir más allá de la participación, así que una organización que quiera medir la concienciación en serio no tiene que empezar de cero. Una prueba de conocimientos casera al final del e-learning mide, como mucho, si alguien todavía es capaz de reproducir la información que se le acaba de mostrar. No mide la actitud, no mide el comportamiento, y no la comparas a lo largo del tiempo ni entre departamentos. La diferencia entre medir y medir bien es exactamente la diferencia entre una pregunta de ese tipo y un instrumento validado.

03 · ExplicaciónPor qué medir el conocimiento no basta

Entre saber y hacer se abre una brecha que en la investigación recibió un nombre propio: la knowing-doing gap. No es una observación casual, sino un fenómeno demostrado en repetidas ocasiones. Workman, Bommer y Straub (2008) y Cox (2012) dieron a la brecha una estructura teórica y mostraron que las personas que conocen la amenaza y entienden la medida de protección a menudo, aun así, prescinden de ella. Trabajos más recientes confirman ese cuadro. Zwilling y colegas (2020) hallaron en cuatro países suficiente conocimiento de la amenaza, pero apenas comportamiento protector, y Lee y Chua (2023) demostraron que el conocimiento no predice el comportamiento de forma directa, sino solo a través de factores intermedios. El mensaje para quien quiere medir es duro. Una prueba de conocimientos mide conocimiento, y el conocimiento no predice por sí solo el comportamiento.

El tamaño de esa brecha se aprecia con la mayor nitidez en un metaanálisis de sesenta y nueve estudios sobre el efecto de la formación en ciberseguridad (Prümmer, van Steen y van den Berg, 2024), que también citamos en nuestro informe sobre simulaciones de phishing. La formación eleva el conocimiento de forma notable, con un tamaño del efecto grande de aproximadamente 1,02, pero el comportamiento mucho menos, con un tamaño del efecto débil de aproximadamente 0,36. Dicho de otro modo: la formación media eleva el conocimiento unas tres veces más que el comportamiento. Quien solo mide el conocimiento informa, por tanto, precisamente de la magnitud que más se mueve y menos dice sobre el riesgo.

Que la brecha no se deba a una falta de información lo muestra sin piedad una medición práctica a gran escala. En el estudio anual de phishing de Proofpoint (2024), el 71 % de los usuarios realizó una acción de riesgo, y el 96 % de ellos sabía que era arriesgada. Aquí, más información habría cambiado poco, porque el conocimiento ya estaba. Esto explica por qué un programa que apuesta solo por el conocimiento se queda estancado. El modelo de comportamiento COM-B resume el porqué. El comportamiento solo surge cuando coinciden la capacidad, la motivación y la oportunidad (Michie, van Stralen y West, 2011). Un e-learning aporta la capacidad, es decir, el conocimiento, pero la motivación y la oportunidad tienen que venir de la propia organización. Como describimos en El problema de respaldo, esa oportunidad —el tiempo dentro de la jornada laboral, el presupuesto y la prioridad— está casi por completo en manos de la dirección. Una prueba de conocimientos no mide nada de eso.

04 · HallazgoEl comportamiento sí se puede medir, y a escala

Aquí confluyen las dos preguntas del principio, la de la medición y la de la escala. Un juego de tres horas para treinta personas es una experiencia magnífica, pero no un instrumento de medición, y nunca alcanza a toda una organización. Por suerte, el comportamiento sí se mide a escala, con señales que la organización emite por sí sola durante el trabajo diario. El ejemplo más conocido es la simulación de phishing, siempre que mires la cifra correcta. El estudio a gran escala de Lain, Kostiainen y Capkun (2022), realizado con 14.733 empleados a lo largo de un periodo de quince meses, muestra dos cosas. En primer lugar, una tasa de clic baja por correo, de apenas el seis por ciento, oculta que casi un tercio del personal hace clic al menos una vez durante ese periodo. Y en segundo lugar, la formación en el momento del clic no mejoró la resiliencia, mientras que la notificación conjunta de mensajes sospechosos sí aportó una señal duradera y útil.

Con ello, la atención se desplaza de la tasa de clic a la tasa de notificación, la proporción de empleados que notifica activamente un mensaje sospechoso. Esa es una mejor medida, porque notificar va más allá de tener cuidado. Quien notifica no solo se protege a sí mismo, sino que avisa a toda la organización. La propia tasa de clic sigue siendo una medida turbia, porque que alguien haga clic depende en gran medida de la atención en ese momento y de las circunstancias, y no solo de lo que esa persona sabe hacer. En el estudio de Proofpoint (2024), el porcentaje medio de notificación rondaba el 19 % frente a un porcentaje de fallo en la simulación de algo más del 9 %, es decir, un factor de resiliencia de aproximadamente dos. Ese tipo de cifra pertenece a los peldaños superiores de la escalera, porque mide lo que las personas hacen y no si estuvieron presentes. La simulación de phishing no es, además, la única señal de comportamiento. También el número de incidentes notificados y el número de acciones inseguras que se hacen visibles en los sistemas, como una regla de prevención de fuga de datos que se dispara, dicen algo sobre lo que las personas hacen realmente. Un marco revisado por pares para medir la concienciación subraya que justamente las métricas de comportamiento, a diferencia de las cifras de participación, se correlacionan con una reducción real del riesgo (Chaudhary, Gkioulos y Katsikas, 2022), y también ENISA (2021) sitúa explícitamente la medición del comportamiento en el núcleo de una estrategia de concienciación.

Y así las buenas iniciativas reciben su lugar lógico. La investigación sobre gamificación y serious games es llamativamente unánime. Las dinámicas atractivas elevan de forma fiable la implicación, la motivación y el conocimiento a corto plazo, pero sobre el cambio duradero de comportamiento todavía se ha demostrado poco. Gwenhure y Rahayu (2024) encuentran sobre todo efectos a corto plazo, Ng y Hasan (2025) muestran que muchos juegos llegan justamente a los empleados que ya son competentes, lo que socava la promesa de alcance, y Chen y colegas (2023) demuestran con la mayor nitidez que el disfrute y la inmersión elevan la concienciación, pero no se traducen por sí solos en intención de comportamiento. Trasladado al modelo COM-B, un juego, una escape room o un camión cibernético aportan sobre todo motivación y una parte del conocimiento, y eso es valioso. No aportan oportunidad, ni escala, ni medición del comportamiento. Por tanto, mide una dinámica de ese tipo por lo que sí hace: por su alcance, su vivencia y la calidad de la conversación, y no como si una intervención para treinta personas tuviera que reducir el riesgo de ocho mil. Que esto no es un problema de lujo lo muestra el mismo estudio de SANS (2024), en el que la falta de tiempo y de personal constituye el obstáculo más mencionado y los programas más maduros requieren enseguida más de cuatro plazas a tiempo completo. Justamente por eso, tu tiempo y tu gente solo los inviertes una vez, y la medición escalable del comportamiento no puede ceder ante la intervención más bonita, pero más pequeña.

05 · EnfoqueAsí mides y comunicas

Los hallazgos anteriores se traducen en un enfoque de medición y comunicación que dirige hacia el riesgo sin tirar por la borda las dinámicas atractivas. Cinco pasos.

1. Sube la escalera de evaluación y no te quedes en el peldaño uno.Mide de forma consciente en los cuatro niveles de Kirkpatrick: participación, conocimiento, comportamiento y, en última instancia, riesgo. La participación sigue siendo útil como medida de proceso, porque sin alcance nada cambia, pero no la conviertas nunca en el resultado que comunicas. Ante cada cifra, pregúntate primero: ¿esto mide actividad o resultado? Desde la ISO 27001:2022, por cierto, la norma también lo espera, a saber, pruebas de eficacia y no solo de participación.
2. Mide el conocimiento y la actitud con un instrumento validado.Usa un instrumento de medición contrastado como el HAIS-Q y no un cuestionario improvisado al final del e-learning (Parsons et al., 2017; Kruger y Kearney, 2006). Entonces tus puntuaciones significan algo, las comparas a lo largo del tiempo y entre departamentos, y ves movimiento en lugar de una instantánea.
3. Mide el comportamiento con señales observables, no solo con autoinforme.La medida más útil es la conducta de notificación ante mensajes sospechosos, no la mera tasa de clic (Lain et al., 2022; Proofpoint, 2024). Una tasa de notificación en aumento muestra que las personas no solo tienen cuidado, sino que también actúan, y precisamente para eso existe el programa.
4. Comunica en el lenguaje del riesgo, y por grupo de riesgo.Desglosa las cifras por departamento y rol, y vincúlalas al riesgo residual que el consejo de administración debe poder ponderar conforme al deber de diligencia (véase El problema de respaldo). Una tasa de finalización de casi el cien por cien en toda la organización oculta justo el departamento donde está el riesgo real.
5. Da a las dinámicas atractivas su propio lugar.Un juego, una escape room o un camión cibernético es un motor potente para la implicación, la conversación y la cultura. Mide entonces esa dinámica por lo que aporta, a saber, alcance, vivencia y calidad de la conversación. Mantén separadas la implicación y el cambio de comportamiento, y no juzgues una intervención para treinta personas por el riesgo de ocho mil. Así sigue siendo divertido y el relato sigue cuadrando.

06 · ConclusiónMide lo que cuenta

En nuestro informe sobre simulaciones de phishing concluimos que el problema no está en el empleado, y en El problema de respaldo que, por lo general, tampoco está en el e-learning. Este informe añade un tercer hallazgo. El problema suele estar en lo que medimos y comunicamos. Un programa de concienciación existe para reducir los riesgos de seguridad y privacidad en los que influye el comportamiento del empleado, pero mientras comuniquemos participación, dirigimos hacia la asistencia. Y lo que comunicas determina lo que la organización valora. Comunica participación y tendrás participación; comunica comportamiento y riesgo y tendrás dirección.

Por suerte, se puede hacer mejor sin que resulte más aburrido. Mides el comportamiento a escala con señales que la propia organización emite, mides el conocimiento y la actitud con instrumentos que han demostrado su valor, y comunicas en el lenguaje del riesgo, precisamente el lenguaje en el que un consejo de administración se mueve con soltura. ¿Y el magnífico juego para esos treinta empleados? Merece un lugar, y lo conserva. No como prueba de que el riesgo ha bajado, sino como lo que realmente es: un motor contagioso para la implicación y la buena conversación. La concienciación puede ser divertida. Solo tiene que poder medirse también.