La evaluación de tecnologías aplicada a la salud digital

Las apps o programas para los dispositivos móviles se han integrado a la vida cotidiana de una gran parte de la población. Eric Topol ha analizado la incorporación de esos programas a la asistencia sanitaria, en un interesante libro que tiene un sugerente título, que traducido al español sería “El paciente lo recibirá ahora: el futuro de la Medicina en sus manos“.

Cuando un investigador desarrolla una nueva molécula, y observa un efecto en el laboratorio, debe someterla a una serie de estudios. La incorporación de nuevos tratamientos es un proceso largo, y solamente unas pocas moléculas llegarán a comercializarse.

Los desarrolladores de estas aplicaciones se preocupan fundamentalmente de que funcionen. Y para eso es para lo que se han formado. Pero el hecho de que “algo” funcione, no implica necesariamente que sea beneficioso para la salud de las personas. Esta situación es similar al desarrollo de nuevos medicamentos. Para que una app se incorpore como un recurso que pueda usar el paciente, o el médico o cualquier otro agente, debe comprobarse que produce un beneficio real.

Este paso, el de la evaluación, no lo entienden muchos de los que desarrollan apps. Sin embargo, contamos con muchos ejemplos históricos en los que dispositivos, aparentemente eficaces por quienes lo desarrollaron, al usarlos en la práctica no solo no lograron ese beneficio, sino que incluso dañaron la salud de las personas en las que se utilizaron.

La evaluación de tecnologías contribuye a asegurar la seguridad del paciente, comprobando si la incorporación de nuevos dispositivos o intervenciones mejoran la salud de las personas. Por eso, muchos sistemas sanitarios hacen una evaluación como paso previo a la incorporación de cualquier novedad tecnológica. Pero esta disciplina no tiene un papel fiscalizador, sino de información.

Los Monty Python en su película “El sentido de la vida” parodiaron el hambre insaciable por todo tipo de dispositivos y “cacharros”. Pero a costa de olvidar que el centro de atención de cualquier sistema es la persona.

La metodología de la evaluación de tecnologías sanitarias se ha desarrollado en los últimos 40-50 años, especialmente con el desarrollo de los meta-análisis y las revisiones sistemáticas. Pero es posible que quienes hacen evaluación aún no han desarrollado las herramientas adecuadas para estudiar todo lo que se engloba bajo el epígrafe de Salud Digital.

En mi opinión, en la actual situación hay dos grupos, los desarrolladores y los evaluadores, que deben encontrarse aunque hasta el momento están en dos orillas opuestas de la realidad sanitaria. Debemos abrir cauces de diálogo y de discusión entre esas dos orillas, para que fluyan las ideas y experiencias en los dos sentidos.

A los primeros, hay que darles a conocer los principios y los procedimientos que se siguen al hacer la evaluación de tecnologías. Eso puede conseguir que desaparezcan algunos recelos en ese bando. Pero sobre todo, puede contribuir a que orienten sus productos mejor a lo que los sistemas sanitarios tienen en cuenta para tomar sus decisiones con respecto a la adquisición de tecnologías.

Los evaluadores también deben incorporarse a este diálogo, para desarrollar métodos de evaluación y mejorar su capacidad de análisis. Los que desarrollan apps pueden aportarles orientación sobre los procedimientos de trabajo, de diseño y de control que siguen hasta poner a disposición del mercado un producto, y cómo en ese conjunto se puede incorporar también la evaluación de tecnologías.

Health 2.0 y la Facultad de Medicina estamos preparando un encuentro, al que queremos invitar a personas procedentes de ambas orillas. Estamos preparando un programa, en el que queremos incluir experiencias de un lado y otro. Pronto anunciaremos la fecha y un programa. Pero mientras tanto, espero vuestros comentarios y sugerencias para poderlas incorporar a ese encuentro.

Al final del cuatrimestre

Hoy he impartido mi última clase del cuatrimestre. Junto con la primera del cuatrimestre, son clases en las que no creo que deba impartir contenido. Mientras que en la primera trato de entusiasmar a los estudiantes, en la última lo que pretendo es que reflexionen.

Mi estado de ánimo coincide con lo que pretendo en esas clases. En la primera, tengo la esperanza y la ilusión de lo nuevo. En la última, me siento un poco melancólico. Además, nunca estoy seguro de que los estudiantes compartan esos propósitos.

En esta última clase, me gusta leerles el siguiente fragmento de la Autobiografía de Eintein:

“He de decir[…] que en Suiza sufríamos menos que en muchos otros lugares bajo esta coerción que asfixia el verdadero impulso científico. En total había sólo dos exámenes; por lo demás, podía hacer uno más o menos lo que quisiera, especialmente, como era mi caso, si contaba con un amigo que asistía regularmente a clase y elaboraba a fondo los apuntes. Esto le daba a uno libertad en la elección de sus ocupaciones hasta pocos meses antes del examen, libertad de la que yo gocé en gran medida y a cambio de la cual pagaba muy a gusto, como mal muchísimo menor, la mala conciencia que acarreaba.”

Albert_Einstein_Head
¿Hay diferencias entre lo que se veía en las universidades en aquellos tiempos y lo que ocurre actualmente? Lo que Einstein contaba de sus años universitarios sigue ocurriendo en nuestros días. Muchos estudiantes apenas pisan las aulas, y su preocupación es tener lo más completa y actualizada posible su colección de apuntes. Cualquier cambio que introduzca el profesor con respecto a lo que había dicho es visto como una trampa.

La exposición no produce aprendizaje

Y sin embargo, muchos profesores siguen pensando que su obligación es transmitir lo que saben a sus estudiantes. Algunos, con una actitud pesimista, se empeñan en demostrarle a los estudiantes lo poco que saben.

Pero son la excepción, y la mayoría piensa que exponiendo los contenidos, los estudiantes pueden aprenderlos haciendo el necesario esfuerzo de memorización y comprensión. Esta metodología sigue el modelo de los “documentales de la 2”. Es decir, se trataría de dar una cantidad más o menos grande de información, esperando que el espectador-estudiante absorba todo el contenido.

Sin embargo, lo que las evidencias científicas nos dicen es que solamente cuando a los estudiantes se les desafía intelectualmente, teniendo que aplicar conceptos, ideas, técnicas, etc.

Alguien puede pensar que eso es lo que se ha hecho toda la vida con las relaciones de problemas, en materias como las matemáticas, la física, etc. Pero lamentablemente, esos problemas generalmente no corresponden a situaciones cercanas a la realidad. Por otro lado, esos problemas lo que consiguen es que los estudiantes aprendan una “mecánica” para resolverlos. Y cuando la aprenden, solamente se tienen que limitar a aplicarla, adaptándola ligeramente a las condiciones del enunciado.

Por otro lado, hace 150 años, cuando Einstein era estudiante, la cantidad de información a la que una persona normal podía acceder era pequeña. Los libros eran caros, las tiradas cortas, había un número pequeño de traducciones. Pero hoy en día ocurre todo lo contrario. Cualquier estudiante puede acceder a una inmensa cantidad de información, a la que además accede de forma inmediata. Si durante mucho tiempo se ha dicho aquello de repetir lo que ya viene en los libros, actualmente es incuestionable que esa no debe ser justificación para que un profesor se limite a exponer los contenidos solamente.

Tenemos que cambiar el desarrollo de las clases, para convertirlas en oportunidades de aprendizaje. ¿Cómo hacerlo? Buena pregunta. Desde luego, la transformación no consiste en elaborar unas presentación en Powerpoint, repletas de efectos y elementos gráficos. Debemos cambiar el centro del aula, para que pase del profesor al estudiante.

2. El “examen” es una forma incompleta de evaluación

La frase preferida por algunos profesores es aquella de que “… no puedo consentir que un estudiante pase de curso sin que se sepa …” lo que sea. El “saberse algo” es sobreentendido por la mayoría como que el estudiante sepa reproducir con mayor o menor fidelidad lo que el profesor considera necesario. En algunos casos, se trataría de definiciones, en otros casos, la enumeración de contenidos.

En mis tiempos de estudiantes tuve que “grabarme” muchos de esos “no puedo consentir”; por citar algunos que me vienen a la memoria: los límites del triángulo de Scarpa, el tratamiento médico de una crisis psoriásica, los mecanismos etiopatogénicos del ulcus gastroduodenal, o el diagnóstico diferencial anatomopatológico entre la colitis ulcerosa y la enfermedad de Crohn. Con respecto a esta última, años después me enteré que los gastroenterólogos consideraban a esas dos enfermedades como en realidad una misma entidad. Esas supuestas diferencias que aquellos profesores “… no podían consentir” que no supiéramos habían quedado desterradas. Afortunadamente en mis circuitos neuronales, aquellas diferencias habían durado algunas horas después del examen.

Porque eso es lo que ocurre cuando la evaluación o valoración se hace con un mero examen. Lo que un estudiante ha aprendido se borra rápidamente de su memoria. Algunos incluso tienen una frase para ello: “Materia examinada, materia olvidada”.

La evaluación continua, ya sea con preguntas, actividades, etc, contribuye mejor a que el estudiante adquiera lo que el profesor se propone: conocimientos, habilidades, destrezas, etc. Si un profesor confía en que los resultados de una única prueba le van a demostrar si un estudiante conoce la materia, puede equivocarse en gran medida.

Sin embargo, existe la opinión, muy extendida entre los profesores universitarios, de que la evaluación continua es una forma “infantil” de evaluación, y que para evaluar a los estudiantes hay que ponerlos en la situación de que demuestren en una única oportunidad su aprendizaje.

Si acudimos a un símil deportivo, eso sería como determinar quién es el campeón de la liga jugando un único partido, o el campeón de la vuelta ciclista solamente por el resultado de una etapa.

3. La prueba MIR

Aún en el caso de que solamente tomemos como referencia los resultados de una única prueba, a los estudiantes se les debe entrenar en cómo enfrentarse a ella. Y además se le debe dar feedback. Como en el MIR.

La prueba MIR es la oposición que deben superar los médicos aspirantes a una plaza en formación de especialista. Al contrario de lo que se piensa, su objetivo no pedagógico, no pretende determinar los conocimientos de los aspirantes, solamente a clasificarlos, a ordenarlos, para facilitar la elección de la especialidad y de la plaza. Pero los médicos que se preparan la prueba MIR dedican una parte importante de su preparación a comprobar los resultados de los llamados “simulacros” o exámenes simulados. Cada una de esos simulacros le proporciona una información muy útil para determinar si ha conseguido un buen rendimiento o si tiene que volver a estudiar esos contenidos.

El modelo MIR es un buen ejemplo para ilustrar los beneficios de que “sondeemos” el aprendizaje de nuestros estudiantes. Aunque solamente sea para medir su capacidad de memorización, es conveniente que los profesores incorporemos este tipo de pruebas.

Dentro de unas pocas semanas se celebrará la prueba MIR, y como todos los años se volverá a abrir el debate sobre lo mal o bien que preparamos las facultades a nuestros estudiantes para enfrentarse a ese examen. Y entonces es posible que escriba alguna reflexión. Pero mientras tanto, este período de exámenes me deja un precioso tiempo para leer, escribir y especialmente, pensar.

Y espero que mis estudiantes no sufran demasiado con los exámenes “de toda la vida”.

Como no hacer un MOOC

Internet permite difundir información de forma masiva. Pero desde hace algún tiempo, también estamos viendo la posibilidad de proporcionar formación masivamente. Son los llamados MOOCs o Cursos Online Masivos Abiertos. Numerosas universidades se están uniendo a este tipo de iniciativas, y ofertando cursos.

Como idea para ampliar la “clientela” académica es algo bastante innovador. El estudiante se inscribe y hace el curso de forma gratuita, realizando todas las actividades sin pagar un euro (en realidad, un dolar porque la mayoría están realizados por universidades norteamericanas). Si el alumno quiere que se le expida el diploma, entonces es cuando paga. A primera vista, el negocio no parece muy beneficioso para la universidad, pero aquí entra en juego las dimensiones “masivas” de esta clase de iniciativas: si en un curso se inscriben 100.000 (si, cien mil) personas, con que paguen solamente el 1% de los inscritos, ya se obtiene una ganancia superior a la que se suele obtener en la mayoría de nuestras asignaturas, y esto pensando en universidades con más de 20000 estudiantes, que en España no son tantas.

Como experiencia para mis enseñanzas me he inscrito en varios cursos en los últimos meses en distintas iniciativas MOOC. Mi propósito no era tanto el de adquirir nuevos conocimientos como el de vivir (o padecer) la experiencia de un alumno de un curso online. En la pionera, Udacity, me inscribí en un curso sobre estadística, y en el que he comprobado que se aplican los principios de la enseñanza con bastante ingenio. Por otro lado, Harvard y el MIT lanzaron la iniciativa edX, y he realizado un curso combinado de epidemiología y estadística. Me “aproveché” de una oferta de lanzamiento y he conseguido que me otorguen un certificado de realización

Certificate

Otro día hablaré de las lecciones que saqué de ese curso, desde el punto de vista de la pedagogía empleada, aunque reconozco que he tenido la oportunidad de estudiar temas desde un punto de vista nuevo.

Pero uno de los MOOCs más publicitadas es Coursera. Y he tenido la oportunidad de sufrir/disfrutar una experiencia frustante, de la que intentaré sacar alguna lección. Entre otros cursos, me inscribí en “Fundamentals of online education: planning and aplication”. El título, el syllabus y el c.v. de la profesora eran bastante atractivos. El curso empezó el 28 de enero, y dos semanas después se interrumpió.

El motivo, aparente, es que el curso había muerto de éxito. Nos habíamos inscrito varias decenas de miles de personas, y ese número no era manejable tal como estaba concebido el curso. Las actividades en equipo se saturaron, las consultas no se contestaban a tiempo, los procedimientos para asignar a los participantes a los distintos equipos no funcionaban correctamente. Lo paradójico es que me inscribí, y pienso que otros como yo, precisamente para conseguir que mis cursos estuvieran diseñados de modo mucho más ajustado a lo que es enseñanza online. Y así evitar este tipo de fracasos.

He pensado un poco sobre las lecciones que podría sacar de esa experiencia. Los siguientes comentarios son mi visión del problema, y cómo se deben evitar. Alguna que otra persona ha comentado sus experiencias en su blog, y son muy interesantes. Pero las que propongo a continuación las pensé antes de toparme con esos comentarios. Buenas o malas, son mis ideas.

  • Piensa a lo grande, diseña a lo grande.

El número de alumnos condiciona la forma de realizar actividades. Por ejemplo, una actividad como puede ser una discusión entre compañeros, si se quiere programar para decenas de miles de personas, se tiene que formular de una manera distinta a como se hace con un grupo de 10-20 personas. En el primer caso, hay que fragmentar, o plantear que los comentarios se encadenen de una forma que permita que todos aporten, pero sin inundar las herramientas de comunicación. En las primeras horas del curso, había miles de mensajes, lo que hacía imposible que uno pudiera leer ni tan siquiera los encabezados en un tiempo prudencial.

  • Probar en pequeña escala, pero controlando en la gran escala.

Los responsables del curso propusieron un sistema por el que cada estudiante elegía el equipo en el que quería participar. El procedimiento consistía en que se accedía a una hoja de cálculo y se anotaba el nombre en uno de esos equipos constituidos. 

Con pocos estudiantes, el sistema es flexible, abierto, y cómodo. Pero cuando se pasa a la gran escala, y sin nadie que controle las actividades de los estudiantes, el sistema se desmadra. Los estudiantes suprimían los nombres de otros; había quien se dedicaba a crear nuevos equipos, en los que se apuntaba gente que ya estaban en otros. En mi caso, creo recordar que me llegué a anotar en tres ocasiones en distintos equipos, y las tres veces me eliminaron, o creo que así fue, porque mi nombre no aparecía en ninguna lista.

  • Elimina, no cambies.

A medida que iban apareciendo problemas, los organizadores iban proponiendo nuevos sistemas de elección, que volvían a fallar. Hubiera sido mejor suprimir las actividades de equipo, antes que enfrentarse a nuevos sistemas.

  • Contesta, contesta, …

Durante varios días, los responsables del curso no dieron señales de vida. Cuando se lanza una iniciativa online, hay que hacer acto de presencia con suficiente asiduidad. Y no basta solamente con enviar mensajes genéricos sobre “el gran interés que ha despertado el curso y el entusiasmo de los alumnos”. Los estudiantes plantean problemas y quieren respuestas con cierta rapidez.

La retroalimentación es indispensable, y tiene que ser lo más inmediata posible.

  • No cuentes, actúa.

Una parte importante del curso consistían en videos en los que la instructora, tras aparecer algunos segundos, se limitaba  a leer una serie de diapositivas de Powerpoint, con texto, mucho texto. La imagen, si se usa, tiene que convertirse en algo dinámico. Si solamente se usa la voz, para eso es mejor un podcast. O un texto con los contenidos.

Siempre pienso en los anuncios en TV de productos farmacéuticos. Ya se trata de un antigripal o de una crema para la hemorroides, los publicistas plantean una escena, en la que se cuenta una historia. Sin embargo, al final tienen que incluir esa retahila de que los medicamentos los tiene que indicar el médico, que el farmacéutico, que bla, bla, bla. Si uno se fija, la primera parte nos parece de la misma duración que la segunda. Y no es cierto, sino que la segunda se nos hace muy, muy aburrida.

Mi experiencia es que viendo un video formativo, a partir de los 3-5 minutos, el aburrimiento es importante. Parece que no se piensa que mirando una imagen, el tiempo se nos hace largo, muy largo, a no ser que haya algo que nos vaya llamando la atención. Para ello nada mejor que contar historias. Recordemos los anuncios de TV, que lo consiguen en 30 segundos. ¿Por qué no pensamos en eso cuando le leemos a nuestro estudiantes en voz alta lo que ellos pueden leer de un documento? ¿Por qué no planteamos pequeñas historias que le ilustren un punto concreto?

  • Nosotros tenemos que cambiar, no los estudiantes.

Es una impresión subjetiva, pero creo que muchos profesores que entran en el diseño de este tipo de cursos no han hecho el proceso de transformación intelectual, que los ponga ante un horizonte distinto al de los cursos presenciales con pocas decenas de estudiantes. Las dinámicas de trabajo son distintas, las relaciones que se establecen entre los participantes también son distintas, etc.

El desajuste entre una visión y la otra conduce a que alguien sienta fracasado. En otro curso de Coursera, un profesor de Economía, y responsable de su contenido, ha decidido abandonar el curso, aunque el curso sigue con otro profesor. El motivo de su decisión parece que ha sido que no aceptaba comentarios superficiales de los estudiantes. No voy a discutir si tiene o no motivos, pero creo que parte del problema proviene de que en un curso de esta naturaleza, el comportamiento de los alumnos se valora a través de las expresiones. Y para ello tenemos que darles normas de qué es admisible y qué no lo es.

Insisto. Los profesores tenemos que cambiar nuestra manera de pensar sobre la forma de enseñar. Si no hacemos esa transformación, nos frustraremos nosotros, y causaremos insatisfacción en los estudiantes.

Para concluir, una conferencia pronunciada por una de las iniciadoras de Coursera, Daphne Koller, en la que habla sobre lo que la enseñanza online nos puede proporcionar.

La Colaboración Cochrane

¡Parece que fue ayer! Pero ya han pasado veinte años desde la primera reunión, que a partir de entonces se llamarían los Cochrane Colloquium, de las personas interesadas en cómo producir síntesis de las evidencias publicadas sobre intervenciones y procedimientos.

Hoy, cuando las redes sociales se extienden por todo el mundo, y las ideas sobre el trabajo cooperativo forman parte de la filosofía de muchas instituciones y empresas, no se percibe lo revolucionaria que era aquella iniciativa.

Un grupo de personas, grandes investigadores en epidemiología y salud pública, iban a dedicar sus esfuerzos, sin recompensas económicas, para conseguir localizar, seleccionar, sintetizar y criticar todas las evidencias disponibles sobre los tratamientos que se estaban recomendando. Casi todos procedían del mundo académico, y lo hacían sin que ese esfuerzo se reconociera dentro de lo que se considera una publicación científica. Para quienes tenemos que someternos a la evaluación de nuestra producción científica, en aquel momento esa propuesta significaba realizar un gran esfuerzo científico, sin recibir una recompensa académica. Bueno, sí, la satisfacción de participar en un proyecto en el que se aplicaba una metodología tan rigurosa como en otros campos, y que las conclusiones que se obtenían podían contribuir a la mejora de los cuidados médicos.

Después llegarían los centros Cochrane, entre ellos el Iberoamericano, que poco a poco se extenderían por todo el mundo, la aceptación por parte de la comunidad científica de las revisiones sistemáticas, la asignación de un factor de impacto que crece poco a poco, y en nuestro país, la traducción y libre acceso a las revisiones sistemáticas, promovido por el Ministerio de Sanidad y Consumo.

En este vídeo se repasa cómo apareció la Colaboración Cochrane. Es entrañable volver a ver las imágenes de hace veinte años de, entre otros,  Ian Chalmers, Andy Oxman, Murray Elkin, Chris Sislagy, Alejandro Jadad, y como no, el recordado Alessandro Liberati.

¡Feliz cumpleaños!

Escribir para aprender

De vuelta al colegio, después de las vacaciones de verano, muchos teníamos que someternos al ritual que consistía en escribir una redacción sobre el tema “Mis vacaciones de verano” o algunas de sus variantes (como “Mis recuerdos de las vacaciones” o la interrogativa “¿Qué me ha gustado más del verano?”).

Actividades como ésta y otras similares iban creando entre muchos de nosotros, una actitud de rechazo a la escritura como forma de comunicación. Y sin embargo, el hábito de lectura se iba, poco a poco, insertando en nuestras vidas. Muchos de aquellos libros, en mi caso de Vargas Llosa, Juan Rulfo, García Márquez, Cortazar, nos impactaban, y nos los contábamos en los recreos, en los ratos antes de entrar al colegio, o de vuelta a casa.

Con el tiempo, las lecturas cambiaron, con menos narrativa y más ensayos. Pero la escritura seguía siendo algo para lo que no habíamos nacido. Cuando teníamos que redactar algo, se trataba de reproducir los más fielmente posible lo que habíamos escuchado al profesor, o habíamos leído en algún libro. Más adelante, con los procesadores de textos, la tarea sería más fácil desde el punto de vista mecánico. Pero seguiría siendo una herramienta secundaria.

Hace ya tiempo escuché al filósofo Eduardo Marina que escribía fundamentalmente para poner en orden sus propias ideas. Convertir el acto de la escritura en un procedimiento para la reflexión personal. Me atrajo esa forma de concebir la redacción y en seguida me puse a pensar en cómo aplicarla a la enseñanza que imparto.

Busqué en las bibliotecas, y encontré algún título que pensé que podría ayudarme. Uno del propio Marina, “La magia de la escritura“; y otro de Cassany, “La cocina de la escritura“. Después de leerlos, me quedé un poco decepcionado porque planteaba la escritura pensando en disciplinas que permiten la presentación de distintos puntos de vista, y que la visión personal del que escribe es fundamental a la hora de valorar la redacción.

Pero ahora me acaba de llegar un libro aparecido reciéntemente. Se titula “Student writing in the quantitative disciplines”, y el autor, Patrick Bahls,  es un profesor de Matemáticas en la Universidad de Carolina del Norte, en Estados Unidos. En el libro vuelca su experiencia personal, usando técnicas para fomentar la escritura entre sus estudiantes. Después de una primera lectura, bastante rápida, he sacado algunas ideas que coinciden con mis propias reflexiones.

  • La sensación de estar aislado al implantar este tipo de actividades. Esta soledad es aparente, porque en realidad hay muchos recursos disponibles ya en la red. Pero lo cierto es que en nuestro entorno (ya sea en EE.UU. o en mi universidad) no es fácil encontrarse con otros profesores que sientan interés por este tipo de actividades.
  • La escritura como competencia curricular. En las universidades anglosajonas, durante los primeros cursos se intenta que el estudiante adquiera una formación general, lo que llaman una educación liberal. En las universidades europeas, mucho más disciplinares, esto parece que debería pasar a un segundo plano. Sin embargo, en la llamada reforma de Bolonia, la capacidad de comunicarse oral y por escrito es una competencia que debemos desarrollar en cualquiera de los grados. En consecuencia, las actividades de escritura deben promoverse.
  • El aprendizaje del lenguaje de una disciplina. Si queremos proponerle a los estudiantes que hagan actividades “auténticas”, deben incorporar el vocabulario que se usa en una disciplina. Y ello se consigue a través de actividades en las que el estudiante tiene que manejar esos vocablos y estructurar sus ideas según los usos de los científicos de esa disciplina.
  • La escritura es una actividad para aprender. Posiblemente ésta sea la idea que más me interesa del libro. Y es que al introducir actividades de escritura, el estudiante mejorará su comprensión de conceptos más o menos abstractos.

¿Merece la pena introducir actividades de escritura en una asignatura como la Bioestadística, en alguno de los grados en los que se imparte? Creo que sí, pero Bahls advierte de algunas barreras que hay que superar al introducirlas en el repertorio de actividades. Hay tres que me importan especialmente:

  • La resistencia de los estudiantes a realizar este tipo de actividades. Ya he comentado que según mi propia experiencia personal, no estamos entrenados para realizar trabajos de redacción.
  • La revisión del programa. Al introducir estas actividades, la estructura del programa de la asignatura se ve modificado. Para amortiguar el impacto del cambio, nos sugieren que las actividades no se incluyan todas de golpe, sino que se vayan introduciendo paulatinamente a lo largo de varios cursos.
  • La evaluación de las actividades. Evidentemente, todas estas actividades suponen un esfuerzo para el estudiante, pero también para el profesor, que no sólo debe diseñarlas, sino también revisarlas y evaluarlas. ¿Cómo reducir la carga de trabajo que puede suponer esta evaluación sin perder el objetivo? Una solución ingeniosa es la de introducir la evaluación por pares, que además permite profundizar en las habilidades de comunicación interpersonal.

No he decidido aún cómo llevar a cabo estas actividades de escritura. Este blog puede servir para que aquellos que lo lean puedan sugerirme propuestas y ejercicios para incorporarlos a las asignaturas que imparto.

La primera prueba de los equipos en Bioestadística

El pasado 6 de octubre, miércoles, realizamos la primera prueba de preparación prevista en la asignatura de Bioestadística (Grado de Medicina). Este post está dedicado a comentar los resultados de esa prueba, y a renglón seguido, hacer algunas reflexiones.

78 estudiantes realizaron la prueba presencialmente. Una estudiante que no podía asistir la hizo el día anterior en mi presencia. Una estudiante intentó realizarla desde su casa, pero tuvo ciertas dificultades.

Calificaciones

1. De forma individual, la mayoría de los estudiantes han conseguido un resultado más que aceptable, con una puntuación media de 11. La calificación más baja ha sido 6 y la más alta, 14. Tan solo dos estudiantes han obtenido una calificación inferior a 8. Gráficamente la distribución de las puntuaciones aparece en el siguiente histograma.

Histograma puntuaciones prueba individual 1 Bioestadística Medicina

Distribución de las puntuaciones individuales enn la primera prueba de Bioestadística - Medicina

2. Analizando los resultados por equipos, la impresión también es buena. Todos los grupos han obtenido resultados por encima de 12 respuestas correctas. Sin embargo, el trabajo en equipo se aprecia mejor cuando se compara con el rendimiento individual.

En la siguiente tabla se presentan los resultados en cada equipo, comparándolas con las obtenidas individualmente.

equipo min_i med_i max_i p_equ
1 12 13 13.5 15
2 10.5 11 12 13.5
3 9 11 13.5 15
4 8 9.6 10.5 12
5 9 9.6 10.5 12
6 9 11 12 12
7 6 11 12 12
8 9 12 13.5 13.5
9 9.5 11 13.5 13.5
10 9 10 10.5 13.5
11 9 12 14 15
12 10.5 11 12 13.5
14 9 11 14 12
15 6 11 13.5 15

La mayoría de los equipos han mejorado su calificación (“p_equ”) con respecto a la media de las puntuaciones individuales de sus componentes (“med_i”). Visto así, en promedio los estudiantes han mejorado sus conocimientos al trabajar en equipo. Esto es más evidente cuando comparamos la puntuación máxima individual de cada equipo con la obtenida con sus compañeros. Al examinar esos resultados, encontraremos que en muchos equipos, el mejor estudiante ha mejorado su rendimiento cuando lo ha hecho trabajando con sus compañeros. En la mayoría de los equipos, la puntuación del equipo es 1.5 puntos mayor que la máxima de sus miembros, y aproximadamente 2 puntos mayor que la media del equipo.

Ese fenómeno, esperable cuando se trabaja en equipo, sin embargo no se ha producido en algunos equipos. En los equipos 6, 7, 8 y 9, la puntuación máxima coincide con la obtenida con el equipo. El caso más llamativo es el equipo 14, en el que la calificación individual más alta, se ha rebajado al trabajar en equipo.

Comentarios

  1. La prueba se desarrolló con normalidad, sin que se produjeran problemas de conexión a la red informática. ¡Enhorabuena a los muchachos del Servicio de Informática! Aunque esperaba que la Wifi estuviera en perfecto estado de revista, los imprevistos siempre pueden surgir. Por esa razón (aunque espero que no) si en cualquier otra prueba no se consigue conectar con la red inalámbrica, tendríamos que cambiar de fecha la prueba y sustituirla por una actividad “manual”.
  2. Los resultados del aprendizaje basado en equipos tardan un tiempo en manifestarse. Soy optimista porque he visto que en muchos equipos, el rendimiento ha aumentado y se acerca al 100% de aciertos (aunque eso es secundario). Sin embargo, hay equipos que tienen que reflexionar acerca de su rendimiento y ver cómo pueden mejorar.
  3. Es necesario que discutamos en clase algunas cuestiones de organización. La tecnología permite que el estudiante haga la prueba desde cualquier punto conectado a la red, no necesariamente la clase. Sin embargo, con ello no consigo que el estudiante discuta y comparta con sus compañeros de equipo. Por esa razón en las próximas pruebas, el acceso estará limitado a las conexiones que se hagan desde el aula.
  4. Por otro lado, el problema de las ausencias cuando coincide con una prueba merece que se discuta.

Ideas sobre la evaluación

Cuando los estudiantes empiezan una asignatura, ¿cuál es la pregunta que se hacen con más frecuencia? Sinceramente no lo sé, porque no me he preocupado de hacer una encuesta al respecto.  Pero leyendo libros sobre educación, metodologías docentes y guías de formación, puede que sea alguna de las siguientes:

  • ¿Para qué necesito estudiar esta asignatura?
  • ¿De qué va lo que explican en esta asignatura?
  • ¿Aprueba mucha gente esta asignatura?, que también se puede formular como ¿Es difícil aprobar esta asignatura?

Seguramente habrá más preguntas, y si algún día me propongo explorar el asunto puede que aparezcan. Pero nos vamos a quedar con esas tres. Parece (de nuevo sin datos reales) que es la tercera la que más importancia cobra en la mente del estudiante. Muchos profesores se sienten ofendidos cuando sus estudiantes preguntan por la evaluación, porque piensan que sus estudiantes no se preocupan por lo que van a aprender sino por el resultado meramente numérico.

Pienso de forma opuesta, porque considero que la evaluación es la que guía el aprendizaje, y no a la inversa. Es indispensable que el estudiante conozca cómo se les va a evaluar, para que reconozcan cómo tienen que aprender. Si la evaluación se basa en la reproducción de contenidos, el estudiante rápidamente se percata de que tiene que memorizar. Si por el contrario, el aprendizaje se basa en la adquisición de trucos, como ocurre en aquellas materias en las que hay que resolver problemas, el estudiante se preocupa de repetir la resolución hasta obtener un algoritmo que se pueda aplicar en todos los casos. Y así para el resto de estrategias de enseñanza.

Al preparar un sistema de evaluación, hay algunos principios “de andar por casa” que quiero tener en cuenta:

Calificar únicamente sobre la base de los conocimientos y habilidades de los estudiantes

La evaluación no debe basarse en otros criterios como la conducta en clase, la actitud, la participación, la puntualidad, etc.

Evitar los sistemas de calificación que limiten el número de estudiantes que pueden alcanzar buenas calificaciones

La Universidad de Sevilla tiene una norma que restringe el número de matrículas de honor que puede conceder un profesor en cada asignatura, dependiendo del número de estudiantes matriculados. No se pueden conceder más de las que permite la norma.

Sin embargo, no impone ninguna restricción en la distribución de las restantes calificaciones. Es decir, no está prohibido que la totalidad de los estudiantes obtengan sobresaliente (tampoco obliga a ello). Lo conveniente es que se proponga un sistema de clasificación con independencia del número de estudiantes que puedan recibir cada una de las calificaciones.

En lo que se llama un sistema normativo, el profesor asigna las calificaciones una vez que tiene la distribución de puntuaciones alcanzadas por los estudiantes. En esos casos, el profesor establece una cuota para cada calificación, por ejemplo, el 10% de las calificaciones más altas recibe sobresaliente; el siguiente 35% recibe notable, etc.

Es un sistema: a) injusto; b) desmotivador para el estudiantes; c) fomenta la competitividad insana entre los compañeros.

Mantener informado a los estudiantes sobre sus progresos en la asignatura

Cada una de las actividades, trabajo, proyecto, etc debe calificarse, indicándole al estudiante el sentido de esa calificación. En España la calificación se suele expresar en forma numérica. Si se piensa en usar letras, las experiencias de otros sistemas educativos indican que expresan peor el resultado alcanzado.

Cuando sea posible, es conveniente mostrarle a los alumnos su posición con respecto al resto de los compañeros.

Evitar la insistencia sobre las calificaciones.

Al principio de la asignatura, hay que explicarle a los estudiantes cuántos exámenes, trabajos y actividades tienen que realizar, y cómo se van a calificar. Una vez que se ha hecho así, no conviene hablar constantemente acerca de las calificaciones, porque puede conducir a una atmósfera de ansiedad en la clase, disminuyendo la motivación de los estudiantes para realizar actividades.

Naturalmente, iran surgiendo otras ideas que os iré contando a través del blog.