En resumen
- Una prueba realizada justo después de la formación mide lo que en ese momento sigue fresco en la memoria, y precisamente ese conocimiento se desvanece en los meses siguientes. Cuatro meses después de una formación, los empleados seguían reconociendo el phishing claramente mejor, pero a los seis meses esa mejora había desaparecido. Una puntuación alta el día de la formación dice poco, por tanto, sobre lo que un empleado sabe medio año después.
- Tres cosas hacen que el conocimiento perdure, y la evidencia es sólida para las tres: haz que los empleados recuperen la materia de su memoria, repite a intervalos y ajusta la dificultad a lo que cada persona ya sabe. El aprendizaje adaptativo reúne las tres en un mismo diseño.
- Vuelve a medir semanas o meses después, con preguntas del mismo nivel que el empleado no haya visto antes. Solo así demuestras que el conocimiento aumenta de verdad. Acompaña esa medición del conocimiento con un indicador de comportamiento, porque saber más no implica comportarse de otra manera.
Sobre el estudio
- Tipo
- Estudio de literatura basado en investigación revisada por pares.
- Fuentes
- Cinco metaanálisis y varios estudios de revisión de la psicología cognitiva y las ciencias de la educación, complementados con investigación experimental sobre memoria y aprendizaje y con investigación de campo sobre formación en phishing en organizaciones.
- Fecha de referencia
- Noviembre de 2026.
01 · HallazgoLa prueba justo después de la formación llega demasiado pronto
En la mayoría de los programas de concienciación, una formación termina con una prueba. Quien aprueba ha terminado, y el porcentaje de aprobados pasa al informe como prueba de que el conocimiento está al día. Ese razonamiento tiene un punto débil, que es el momento en que se mide. Lo aprendido se desvanece con rapidez. Ebbinghaus ya lo describió en 1885, y cuando unos investigadores repitieron su experimento en 2015 encontraron la misma curva del olvido, que primero cae con fuerza y después se va aplanando (Murre y Dros, 2015).
Una medición temprana puede incluso llevar a engaño. Roediger y Karpicke pidieron a unos estudiantes que leyeran un texto. Después, un grupo volvió a leerlo y el otro hizo una prueba sobre su contenido, sin saber qué había acertado o fallado. A los cinco minutos, los estudiantes que habían releído el texto eran los que más sabían, un 81 % del contenido frente a un 75 % en el grupo evaluado. Dos días después la situación se había invertido (54 % frente a 68 %), y al cabo de una semana la diferencia seguía siendo igual de grande (42 % frente a 56 %) (Roediger y Karpicke, 2006). Lo que da la mejor puntuación justo después de aprender no es, por tanto, lo que más perdura. Quien solo mide ese mismo día corre incluso el riesgo de señalar como mejor el método equivocado.
Quien relee sabe más al momento, pero menos una semana después
Parte de un texto que recordaban los estudiantes, en porcentaje
Figura 1 La parte del texto que los estudiantes recordaban cinco minutos, dos días y una semana después de aprender. Fuente: Roediger y Karpicke (2006), experimento 1.
La concienciación en seguridad muestra el mismo patrón en la práctica. Investigadores del Instituto Tecnológico de Karlsruhe siguieron a 409 empleados de un organismo público alemán que habían recibido una formación sobre phishing. Justo después de la formación, y también cuatro meses más tarde, estos empleados distinguían los correos de phishing de los auténticos claramente mejor que antes. A los seis meses esa diferencia ya no se podía demostrar, por lo que los investigadores recomiendan refrescar la formación al cabo de medio año (Reinheimer et al., 2020).
La prueba al final de una formación muestra, por tanto, que la formación se ha realizado y que la materia se entendió en ese momento, pero no lo que queda de ella después. A esto se suma que una prueba en la que casi todos aciertan casi todo no deja margen para ver diferencias ni para medir avances.
02 · HallazgoRecuperar conocimiento de la memoria es en sí una forma de aprender
El experimento de Roediger y Karpicke no es un caso aislado. El fenómeno se conoce como efecto del test y consiste en que quien tiene que recuperar un conocimiento de la memoria lo recuerda después mejor que quien vuelve a leer la materia. En un metaanálisis de 61 estudios, hacer pruebas aportó de media una ventaja de tamaño medio frente a releer, con un tamaño del efecto de 0,50 (Rowland, 2014). Un metaanálisis posterior, de 272 efectos procedentes de 118 artículos, llegó a 0,61 frente a otras formas de aprender (Adesope, Trevisan y Sundararajan, 2017).
Una revisión muy citada, que comparó diez técnicas de aprendizaje, llega a la misma conclusión. Solo la autoevaluación y la práctica distribuida obtuvieron la valoración más alta, mientras que releer y subrayar, las técnicas más utilizadas, obtuvieron una valoración baja (Dunlosky et al., 2013).
Para un programa de concienciación, esto significa que una pregunta es más que una forma de medir. Una pregunta sobre una materia de hace semanas muestra lo que se ha retenido y, al mismo tiempo, ayuda a que ese conocimiento perdure, porque el empleado tiene que recuperarlo de nuevo.
03 · HallazgoEspaciar funciona mejor que hacerlo todo de una vez
La segunda idea con mucha evidencia a su favor es que aprender rinde más cuando se reparte en el tiempo que cuando el mismo tiempo de estudio se concentra en un solo bloque. Una revisión de 317 experimentos procedentes de 184 artículos confirmó este efecto de espaciado (Cepeda et al., 2006).
Un estudio posterior analizó cuál es la duración ideal del intervalo. Más de 1350 personas aprendieron una serie de datos, los repasaron tras un intervalo de hasta tres meses y medio e hicieron después, hasta un año más tarde, una prueba final. Cuanto más tiempo debía durar el conocimiento, más largo resultó ser también el mejor intervalo. Para una prueba al cabo de una semana, era del 20 al 40 % de esa semana, y para una prueba al cabo de un año, del 5 al 10 % de ese año (Cepeda et al., 2008). Si quieres que el conocimiento dure un año, lo mejor es repetir la materia al cabo de unas tres a cinco semanas.
Una formación anual en un solo bloque hace justo lo contrario, porque toda la materia llega de una vez y después no pasa nada durante un año. La investigación de campo sobre la formación en phishing apunta en la misma dirección. Un breve repaso, en forma de vídeo o de ejemplos que el propio empleado recorre, mantuvo allí el efecto durante al menos seis meses más (Reinheimer et al., 2020).
04 · ExplicaciónPor qué la dificultad tiene que adaptarse
La tercera idea tiene que ver con a quién va dirigida la materia. Las explicaciones y el acompañamiento que ayudan a un principiante sobran para alguien con experiencia e incluso pueden entorpecer el aprendizaje. En las ciencias de la educación esto se llama expertise reversal effect (Kalyuga et al., 2003). Por eso, un único módulo para toda la organización no encaja bien con nadie, porque unos no pueden seguir el ritmo, mientras que otros hacen clic cada año en una materia que conocen desde hace tiempo.
Se aprende más rápido con una tarea que no es ni demasiado fácil ni demasiado difícil. Para un amplio grupo de modelos de aprendizaje se ha calculado que el óptimo está en torno al 85 % de respuestas correctas (Wilson et al., 2019). Ese resultado vale para modelos que aprenden a hacer elecciones sencillas entre dos respuestas. El porcentaje indica, por tanto, una dirección, pero no es una norma para la formación de empleados.
Un ejemplo neerlandés muestra cómo funciona esto en la práctica. Math Garden (Rekentuin), desarrollado en la Universidad de Ámsterdam, estima al mismo tiempo la habilidad de un niño y la dificultad de un ejercicio de cálculo, con un método procedente del mundo del ajedrez (el sistema Elo). El programa elige los ejercicios de modo que un niño acierte de media tres de cada cuatro. En el estudio que describe el método, 3648 niños hicieron en total más de 3,5 millones de ejercicios (Klinkenberg, Straatemeier y van der Maas, 2011). El mismo método se ha utilizado después en otros sistemas de aprendizaje adaptativo (Pelánek, 2016).
Queda la pregunta de si esa adaptación también rinde más. Un metaanálisis de cincuenta evaluaciones controladas de sistemas que ajustan la enseñanza al alumno encontró un efecto mediano de 0,66 desviaciones típicas frente a la enseñanza convencional. Un alumno medio alcanza así el nivel de un alumno que supera a tres cuartas partes del grupo (Kulik y Fletcher, 2016). Una revisión anterior mostró que los sistemas que guían al alumno paso a paso funcionan casi tan bien como un tutor humano, con un efecto de 0,76 frente a 0,79, en ambos casos en comparación con aprender sin acompañamiento (VanLehn, 2011). Conviene hacer una salvedad, porque la mejora fue mayor en las pruebas propias de las clases que en las pruebas generales y estandarizadas.
05 · EnfoqueQué hace el aprendizaje adaptativo con estas ideas
El aprendizaje adaptativo reúne estas tres ideas en un mismo diseño. Para un programa de concienciación, eso se traduce en cinco decisiones.
- Mantén una norma fija para aprobar.Una parte de las preguntas tiene la misma dificultad para todos y determina si alguien aprueba. Así el resultado sigue siendo justo y los resultados se pueden comparar entre sí, también ante un auditor.
- Haz que las demás preguntas se ajusten a lo que cada persona ya sabe.Quien domina lo básico recibe preguntas más difíciles, y quien todavía no ha llegado ahí recibe preguntas a su alcance, de modo que cada uno aprende a su nivel (Kalyuga et al., 2003; Wilson et al., 2019).
- Vuelve más adelante sobre materia anterior.Una pregunta sobre una formación de hace semanas o meses obliga al empleado a recuperar el conocimiento en el momento en que empieza a desvanecerse (Roediger y Karpicke, 2006; Cepeda et al., 2008).
- Usa para ello una pregunta que el empleado todavía no conozca.Con una pregunta que ya ha visto, mides si ha recordado la pregunta y no si domina la materia.
- Deduce la dificultad de una pregunta a partir de las respuestas.Quien redacta una pregunta puede equivocarse al valorar su dificultad. Por eso, sistemas como Math Garden deducen la dificultad de forma continua a partir de lo que la gente responde en realidad (Klinkenberg, Straatemeier y van der Maas, 2011).
Cómo lo hace 2LRN4
En 2LRN4, cada prueba tiene diez preguntas. Siete de ellas tienen la misma dificultad para todos y determinan si el empleado aprueba, de modo que la norma es la misma en toda la organización. Las otras tres se ajustan al nivel de conocimiento del empleado. La plataforma lleva ese nivel por tema y lo actualiza después de cada prueba. Una de las tres preguntas trata sobre un curso que el empleado hizo al menos un mes antes, y es una pregunta que todavía no ha visto. Así recupera materia anterior, y el resultado muestra lo que se ha retenido. La plataforma calcula la dificultad de una pregunta a partir de las respuestas de los empleados en cuanto hay suficientes. El empleador no ve el nivel de conocimiento de cada empleado.
06 · EnfoqueCómo demostrar que el conocimiento aumenta
Una línea ascendente en un informe todavía no es una prueba. Si una puntuación sube porque los empleados hacen más pruebas, eso dice algo sobre la actividad y nada sobre el conocimiento. Para demostrar que el conocimiento aumenta hace falta una medición que cumpla cuatro condiciones.
- Mide en un momento posterior.Hazlo semanas o meses después de la formación, y no ese mismo día.
- Mide con preguntas del mismo nivel.Si las preguntas posteriores son igual de difíciles que las de justo después de la formación, puedes comparar los dos resultados.
- Mide con preguntas que el empleado todavía no conozca.Solo entonces una respuesta correcta dice algo sobre la materia.
- Informa por grupos.La evidencia se refiere a la organización y no a una persona. Por eso, muestra un resultado solo cuando el grupo sea lo bastante grande como para que no se pueda reconocer a nadie.
Medir dos veces con preguntas del mismo nivel
Diseño de una medición que muestra lo que se retiene
Figura 2 La prueba justo después de la formación muestra lo que se ha entendido. Una pregunta nueva sobre la misma materia, semanas o meses más tarde e igual de difícil, muestra cuánto de ello se ha retenido.
Aquí conviene hacer dos salvedades. La primera es que un nivel de conocimiento deducido de las respuestas de los compañeros compara sobre todo a los empleados entre sí. Si todos mejoran a la vez, ese nivel apenas cambia. La evidencia está, por tanto, en el porcentaje de respuestas correctas a preguntas de un nivel fijo, y el nivel de conocimiento aporta, como mucho, contexto.
La segunda salvedad es que el conocimiento todavía no es comportamiento. En un metaanálisis de 69 estudios, la Universidad de Leiden encontró un efecto grande de la formación sobre el conocimiento y la actitud (d = 1,02) y un efecto pequeño sobre el comportamiento (d = 0,36) (Prümmer, van Steen y van den Berg, 2025). Por eso, una medición del conocimiento debe ir acompañada de un indicador de comportamiento, como el número de mensajes sospechosos que notifican los empleados.
07 · ConclusiónLo que cuenta es lo que queda
La prueba al final de una formación responde a la pregunta de si la materia ha llegado. Lo que importa es lo que un empleado sigue sabiendo en el momento en que necesita ese conocimiento, y ese momento llega semanas o meses después. La investigación sobre el aprendizaje es clara al respecto. El conocimiento se desvanece, pero perdura más cuando hay que recuperar lo aprendido de la memoria con regularidad, cuando la repetición se reparte en el tiempo y cuando la materia enlaza con lo que ya se sabe.
El aprendizaje adaptativo convierte esas ideas en una forma de trabajar. Quien además vuelve a medir más adelante, con preguntas nuevas del mismo nivel, ya no tiene que suponer que el conocimiento aumenta, porque puede demostrarlo.
Limitaciones
- Este informe es un estudio de literatura que resume investigación científica existente y no contiene investigación propia nueva.
- La mayor parte de la investigación sobre pruebas, espaciado y adaptación se ha hecho en la enseñanza, con alumnos y estudiantes y con materia como textos, datos y ejercicios de cálculo. Es razonable pensar que los resultados también valen para los empleados de un programa de concienciación, pero todavía hay poca investigación directa al respecto.
- La mejora que aportan los sistemas que ajustan la enseñanza al alumno depende de la prueba con la que se mide. En las pruebas estandarizadas esa mejora es menor.
- El óptimo del 85 % de respuestas correctas se ha calculado para modelos de aprendizaje y tareas sencillas, y no se ha estudiado en la formación de empleados.
- Más conocimiento no conduce por sí solo a un comportamiento distinto. Este informe trata sobre el conocimiento y no se pronuncia sobre el cambio de comportamiento.
Fuentes
- Adesope, O. O., Trevisan, D. A. y Sundararajan, N. (2017). Rethinking the Use of Tests: A Meta-Analysis of Practice Testing. Review of Educational Research, 87(3), 659–701. doi.org/10.3102/0034654316689306
- Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T. y Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological Bulletin, 132(3), 354–380. doi.org/10.1037/0033-2909.132.3.354
- Cepeda, N. J., Vul, E., Rohrer, D., Wixted, J. T. y Pashler, H. (2008). Spacing Effects in Learning: A Temporal Ridgeline of Optimal Retention. Psychological Science, 19(11), 1095–1102. doi.org/10.1111/j.1467-9280.2008.02209.x
- Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J. y Willingham, D. T. (2013). Improving Students' Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology. Psychological Science in the Public Interest, 14(1), 4–58. doi.org/10.1177/1529100612453266
- Kalyuga, S., Ayres, P., Chandler, P. y Sweller, J. (2003). The Expertise Reversal Effect. Educational Psychologist, 38(1), 23–31. doi.org/10.1207/S15326985EP3801_4
- Klinkenberg, S., Straatemeier, M. y van der Maas, H. L. J. (2011). Computer adaptive practice of Maths ability using a new item response model for on the fly ability and difficulty estimation. Computers & Education, 57(2), 1813–1824. doi.org/10.1016/j.compedu.2011.02.003
- Kulik, J. A. y Fletcher, J. D. (2016). Effectiveness of Intelligent Tutoring Systems: A Meta-Analytic Review. Review of Educational Research, 86(1), 42–78. doi.org/10.3102/0034654315581420
- Murre, J. M. J. y Dros, J. (2015). Replication and Analysis of Ebbinghaus' Forgetting Curve. PLOS ONE, 10(7), e0120644. doi.org/10.1371/journal.pone.0120644
- Pelánek, R. (2016). Applications of the Elo rating system in adaptive educational systems. Computers & Education, 98, 169–179. doi.org/10.1016/j.compedu.2016.03.017
- Prümmer, J., van Steen, T. y van den Berg, B. (2025). Assessing the effect of cybersecurity training on end-users: A meta-analysis. Computers & Security, 150, 104206. doi.org/10.1016/j.cose.2024.104206
- Reinheimer, B., Aldag, L., Mayer, P., Mossano, M., Duezguen, R., Lofthouse, B., von Landesberger, T. y Volkamer, M. (2020). An investigation of phishing awareness and education over time: When and how to best remind users. Sixteenth Symposium on Usable Privacy and Security (SOUPS 2020), 259–284. usenix.org/conference/soups2020/presentation/reinheimer
- Roediger, H. L. y Karpicke, J. D. (2006). Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention. Psychological Science, 17(3), 249–255. doi.org/10.1111/j.1467-9280.2006.01693.x
- Rowland, C. A. (2014). The effect of testing versus restudy on retention: A meta-analytic review of the testing effect. Psychological Bulletin, 140(6), 1432–1463. doi.org/10.1037/a0037559
- VanLehn, K. (2011). The Relative Effectiveness of Human Tutoring, Intelligent Tutoring Systems, and Other Tutoring Systems. Educational Psychologist, 46(4), 197–221. doi.org/10.1080/00461520.2011.611369
- Wilson, R. C., Shenhav, A., Straccia, M. y Cohen, J. D. (2019). The Eighty Five Percent Rule for optimal learning. Nature Communications, 10, 4646. doi.org/10.1038/s41467-019-12552-4