Título: UNA APROXIMACIÓN A LA CARACTERIZACIÓN DEL RENDIMIENTO ACADÉMICO EN INFORMÁTICA EN SALUD.   Instituto Superior de Ciencias Médicas de La Habana Facultad de Ciencias Médicas "10 de Octubre" CECAM - Centro de Cibernética Aplicada a la Medicina Autores: Ms.C. Arturo J. Santander Montes. arturo.montes@infomed.sld.cu Dra.C. Mercedes Rubén Quesada. mruben@infomed.sld.cu Ms.C. Eneida Garriga Sarría. eneida@cecam.sld.cu Ms.C. Nerys González García. nerys@cecam.sld.cu Ms.C. René Ruiz Vaquero. rene.ruiz@infomed.sld.cu Indice general Resumen. Introducción. Conclusión. Bibliografía. Resumen Los elementos multifacéticos que caracterizan el proceso docente-educativo, requieren de técnicas de análisis apropiadas, capaces de permitir el examen simultáneo de las numerosas variables que en él intervienen. Las técnicas estadísticas del Análisis Multivariante proporcionan procedimientos adecuados a estos fines. El presente trabajo es un estudio descriptivo, longitudinal y prospectivo realizado a partir de las evaluaciones obtenidas por los estudiantes de la carrera de Licenciatura en Enfermería de la Facultad “10 de Octubre” del Instituto Superior de Ciencias Médicas de La Habana que cursaron las cinco asignaturas que constituyen la disciplina Informática e Investigación en Salud entre los cursos 2004-2005 hasta el 2006-2007 con el objetivo general de caracterizar el comportamiento de las evaluaciones docentes en esta disciplina. Se realizó un Análisis Factorial para detectar las relaciones existentes dentro del conjunto de variables evaluativas y simplificar estas a un número menor sin perder la capacidad explicativa de las originales y un Análisis de Conglomerados para clasificar a los estudiantes según su rendimiento docente. Se detectaron 3 componentes principales: Bioestadística, Computación y Metodología de la Investigación y se verificó la existencia de relación entre el resultado obtenido en la asignatura final de la disciplina Informática en Salud V y sus precedentes. Palabras clave: Análisis Multivariante, Informática en Salud, Análisis Factorial, Rendimiento Docente. Abstract The multipurpose elements that typify the learning process require of proper analysis techniques, able to allow the simultaneous exam of the multiple variables included in the process. The statistic techniques of the Multivariate Analysis allow adequate procedures to these purposes. This paper is a descriptive, prospective, longitudinal study, carried out of the evaluations on the Infirmary Licentiate career in the "10 de Octubre" faculty of the Superior Institute of Medical Sciences of Havana on the students that went through the five subjects that match the discipline Informatics and Investigation in Health during the courses 2004-2007, with the general purpose of making a characterization of the Docency evaluations in this discipline. A Factorial Analysis was performed to detect the existent relationships in the compound of evaluative variables and to abridge them to a lesser number without losing the original's explicative capacities. It was also performed a Cluster's Analysis to classify the students in accordance to their rendering. Three main components were detected: Biostatistics, Computation and Investigation Methodology and there was a validation in the relationship between the obtained result in the Final subject of the Health's Informatics discipline and its precedents. Key words: Multivariate Analysis, Health Informatics, Factorial Analysis, Docency rendering. Introducción El Análisis Multivariante es un conjunto de métodos estadísticos para analizar, describir e interpretar las observaciones multidimensionales provenientes de la observación simultánea de más de una variable. Debido a las numerosas aplicaciones que tiene en la práctica para la totalidad de las ciencias experimentales, el Análisis Multivariante ha tenido un desarrollo creciente en los últimos años; que se ha visto incrementado por las espectaculares posibilidades que actualmente ofrece la Informática. Si las primeras aplicaciones se basaron en modelos simples o trabajando con muy pocas variables, en la actualidad, los ordenadores de alta capacidad y velocidad permiten la utilización de métodos complejos y potentes, y el manejo de gran número de variables.1 El más simple análisis del proceso docente-educativo va a requerir, por su naturaleza multifacético, la inclusión de un conjunto importante de variables relacionadas con el proceso. Al mismo tiempo dicho análisis no estaría completo si no incluyese el examen simultáneo de dichas variables para desentrañar las relaciones intervariables correspondientes a los numerosos elementos componentes de cualquier fenómeno pedagógico. 2 De hecho, la utilización de técnicas del Análisis Multivariante se hace cada vez más frecuente en los trabajos de investigación relacionados con la Educación Superior 3, 4 y dentro de estas el Análisis Factorial y el Análisis de Conglomerados clasifican dentro de las técnicas de Interdependencia, es decir, aquellas que no distinguen entre variables dependientes e independientes y su objetivo consiste en identificar qué variables están relacionadas, cómo lo están y por qué. 5 La evaluación, en su sentido más amplio; es un componente esencial del proceso de enseñanza, que parte de la definición misma de los objetivos y concluye con la determinación del grado de eficiencia del proceso, dada por la medida en que la actividad de educador y alumnos hayan logrado como resultado de los objetivos propuestos. Su carácter de continuidad permite la constante comprobación del resultado del proceso de enseñanza y la convierte en guía orientadora del mismo. Los momentos evaluativos son parte del proceso de enseñanza y están presentes en su desarrollo. Todo trabajo debe conducir a un resultado parcial o final y es la evaluación quien permite, en su función comprobatoria, establecer una calificación expresada en una nota o índice que signifique el nivel de calidad alcanzado en el proceso general y el resultado del aprovechamiento que manifiesta cada uno de los alumnos. Esto constituye el momento de comprobación y lo que se considera evaluación en su sentido más estrecho, es decir, el juicio de valor que se emite cuando concluye el proceso evaluativo. 6 Hasta el curso 2002-2003 la disciplina Informática Médica formaba parte del programa de estudios de las especialidades de Medicina, Estomatología y Licenciatura en Enfermería en el Instituto Superior de Ciencias Médicas de La Habana. A partir del curso 2003-2004, para la especialidad de Licenciatura en Enfermería, cambia su nombre por Informática e Investigación y luego de diversas modificaciones bajo el nombre de Informática en Salud queda estructurada en cinco asignaturas: Informática en Salud I -Computación-, Informática en Salud II -Estadística Descriptiva y Estadísticas de Salud-, Informática en Salud III -Investigación Cualitativa en Salud-, Informática en Salud IV -Inferencia Estadística- e Informática en Salud V -Taller de Proyectos-. Cada una de estas asignaturas posee su propio Sistema Evaluativo basado en la integración de la valoración cualitativa de aspectos similares: Informática en Salud I: - Preguntas de Control (PrC-I), - Clases Prácticas (ClP-I),- Trabajo de Control (TCC-I), - Seminario (Sem-I),- Trabajo Extra Clase (TEC-I). Informática en Salud II: - Preguntas de Control (PrC-II), - Clases Prácticas (ClP-II),- Trabajo Extra Clase (TEC-II), - Trabajo de Control (TCC-II),- Prueba Final (PrF-II). Informática en Salud III: - Preguntas de Control (PrC-III), - Clases Prácticas (ClP-III),- Trabajo Extra Clase (TEC-III), - Prueba Intra Semestral (PIS-III),- Seminario (Sem-III). Informática en Salud IV: - Preguntas de Control (PrC-IV), - Clases Prácticas (ClP-IV), - Trabajo Extra Clase (TEC-IV), - Trabajo de Control (TCC-IV),- Seminario (Sem-IV). La asignatura Informática en Salud V constituye una continuidad al desarrollo del conocimiento y las habilidades prácticas adquiridas por los estudiantes en las asignaturas anteriores de la disciplina 7 y su sistema evaluativo se basa fundamentalmente en el desempeño del alumno en las actividades prácticas y la defensa de un trabajo final por equipos ante un tribunal integrado para su evaluación. Es de esperar que el resultado docente final en esta asignatura se corresponda con los obtenidos en las que la preceden, pero podríamos preguntarnos en qué medida esto habrá de cumplirse. Para dar respuesta a esta interrogante y a la que se presenta al considerar la adecuación del sistema de evaluación previsto en la disciplina, dado que la misma está integrada por tres ciencias bien disímiles, con innegables aportes independientes a la formación del estudiante, pero que de conjunto constituyen la plataforma sobre la que se erigen las habilidades para la investigación; se desarrolla este trabajo realizado a partir de los resultados docentes obtenidos con el primer grupo de estudiantes que han cursado esta nueva disciplina en la Facultad; por lo que es sólo un primer paso en la indagación acerca de esta problemática. Teniendo en cuenta lo anteriormente planteado, al realizar este estudio los objetivos fueron: Objetivo General: Caracterizar el comportamiento de las evaluaciones docentes en la disciplina Informática en Salud de la carrera de Licenciatura en Enfermería. Objetivos Específicos: Detectar las relaciones existentes dentro del conjunto de variables evaluativas de las asignaturas Informática en Salud I-II-III y IV. Verificar la existencia de relación entre el resultado obtenido en la asignatura final de la disciplina Informática en Salud V y sus precedentes. Desarrollo. El presente trabajo es un estudio descriptivo, longitudinal y prospectivo realizado a partir de las evaluaciones obtenidas por los estudiantes de la carrera de Licenciatura en Enfermería de la Facultad “10 de Octubre” del Instituto Superior de Ciencias Médicas de La Habana, que cursaron las cinco asignaturas que constituyen la disciplina Informática e Investigación en Salud entre los cursos 2004-2005 hasta el 2006-2007. Para todo el estudio se prefijó un nivel de significación del 5%. El sistema evaluativo que utilizan nuestras Universidades se basa en una valoración cualitativa del rendimiento académico expresado en el llamado "recorrido del estudiante" a partir de los controles sistemáticos, parciales y el examen final a través de una escala basada en solamente cuatro categorías: 5- Excelente, 4- Bien, 3- Aprobado y 2- Desaprobado, de ahí que todas las variables objeto de estudio resulten cualitativas ordinales. De esa misma manera, cada una de estas fueron el resultado de un conjunto de valoraciones cualitativas donde se utilizaron instrumentos adecuados de evaluación. Para dar respuesta al primer objetivo se realizó un Análisis Factorial. Desde los años 80 es frecuente la utilización de esta técnica en trabajos relacionados con el campo de la pedagogía. 8 Dada una muestra de n individuos en m variables observadas, se obtiene una matriz de datos n x m. Cada fila puede ser considerada como un punto en un espacio de m dimensiones. Si pueden determinarse subconjuntos claramente diferenciados de variables en los que, por un lado, dentro de cada uno las variables estén correlacionadas y por otro, las variables de los distintos subconjuntos no lo estén, el conjunto de m variables podrá ser simplificado a un nuevo conjunto de variables no directamente observables denominadas “factores” que incorporan el carácter y naturaleza de las variables originales. Cada una de las nuevas variables representará la información que tienen en común las variables de cada subconjunto y al espacio de menor dimensión se le denomina “espacio factorial”. 9 En este estudio se partió de una muestra de 169 observaciones de 20 variables, que se corresponden con las evaluaciones obtenidas en las primeras cuatro asignaturas de la disciplina. Para la extracción del “espacio factorial” se utilizó el llamado Método de Componentes Principales. Originalmente introducido por Pearson (1901) e independientemente por Hotelling (1933), la idea consiste en describir la variación de un conjunto de datos multivariados en términos de un conjunto de variables no correlacionadas (llamadas componentes o factores) sin perder el máximo de capacidad explicativa (principio de parquedad y parsimonia). Cada una de estas variables es una combinación lineal de las m variables originales y el método empleado para su construcción, garantiza que estén ordenadas de acuerdo con la información que contienen, cuantificada a través de su varianza. 10 Puede entenderse por tanto como un método de reducción de la dimensión, puesto que seleccionando los k (k<m) primeros factores se garantiza que contengan un elevado porcentaje de la información de las variables originales. 11 La Tabla No. 1 informa acerca de las correlaciones entre las variables en estudio: Tabla No. 1 - Matriz de Correlaciones. Del examen de esta matriz, se puede apreciar que las más fuertes correlaciones ocurren entre las 5 primeras variables correspondientes a Informática en Salud I, las variables 6-10 y 16-20 correspondientes a Informática en Salud II y IV respectivamente y las variables 11-15 correspondientes a Informática en Salud III con valores superiores a 6 en todos los casos; mientras que la asociación de estos grupos de variables respecto a las restantes resultó en general más débil. En resumen, la magnitud de las correlaciones parece sustentar la posibilidad de usar el Análisis Factorial. Esto puede ser comprobado mediante el índice de Kaiser-Meyer-Olkin y la prueba de esfericidad de Bartlett. 12 El índice de Kaiser-Meyer-Olkin mide la adecuación de la muestra, se extiende de 0 a 1 y resulta inaceptable realizar el Análisis Factorial si su valor es menor que ,50. La prueba de esfericidad de Bartlett contrasta la hipótesis nula de existencia de no correlación lineal entre las variables, lo que se traduce como que la matriz de correlaciones observada es en realidad una matriz identidad. 13. Como puede observarse en la Tabla No. 2, los resultados obtenidos para ambos estadígrafos resultaron satisfactorios: Tabla No. 2 - Medida de Adecuación de la Muestra KMO y Prueba de Bartlett. El segundo paso fue extraer los k factores, F1, F2, …, Fk combinaciones lineales de las variables evaluativas, incorrelacionados entre sí de tal forma que k fuese pequeño y al representar todas las evaluaciones en el sub-espacio k dimensional generado por los k factores, se perdiese el mínimo posible de la información relativa a las relaciones entre ellas. El criterio utilizado fue el de Kaiser, según el cual se conservan aquellos factores con valor propio asociado mayor que 1. Tabla No. 3 - Varianza Total Explicada. Como muestra la Tabla No. 3, el número de factores resultó igual a 3. La información relativa al conjunto de los tres factores conservados a partir de los 20 iniciales, se dispone en el bloque <Suma de las saturaciones al cuadrado de la extracción>. La Tabla No. 4 contiene la información referente a las “comunalidades”, que indican la calidad de representación de las variables en la solución de los tres factores. Tabla No. 4 - Comunalidades. Como se aprecia, se obtuvo una muy buena calidad de representación para todas las variables, mientras que la calidad de representación de toda la muestra resultó igual a 75,937%. El próximo paso fue obtener las saturaciones que representan la contribución neta de cada variable en cada componente o factor, por lo que constituyen la manera más fácil de interpretar la solución factorial. Mientras más alto sea el valor absoluto de la saturación o carga factorial, más importante es. Desde un punto de vista práctico, para muestras que superan las 100 observaciones, las saturaciones con valores en el intervalo de ± ,30 se consideran en el nivel mínimo, las que en valor absoluto superan a,30 pero no alcanzan el valor ,50 se consideran más importantes y las que modularmente son mayores de ,50, se consideran prácticamente significativas. Como la interpretación de las relaciones entre las variables mediante los elementos de la Matriz Factorial o, lo que es equivalente, mediante las proyecciones sobre el subespacio factorial, suele resultar difícil; se recurre a la rotación de los ejes de dicho subespacio. La rotación utilizada en este caso, fue la VARIMAX, un tipo de rotación octogonal de los factores, que minimiza el número de variables con saturaciones altas en un factor. El objetivo de esta rotación es obtener una solución de más fácil interpretación, en el sentido de que las variables fuertemente correlacionadas entre sí presenten saturaciones altas (en valor absoluto) sobre un mismo factor y bajas sobre el resto. Las proyecciones o saturaciones, de cada una de las m=20 variables sobre la solución factorial rotada se muestran en la Tabla No. 5. Tabla No. 5 - Matriz Factorial Rotada (Matriz de Componentes Rotados). Como puede observarse en el bloque <Suma de las saturaciones al cuadrado de la rotación> de la Tabla No. 3, la parte atribuible a cada uno de los tres factores rotados varió, aunque no su orden de importancia. Un análisis de las saturaciones significativas de cada variable en cada uno de los tres componentes o factores sugiere llamarlos con los nombres de: Bioestadística, Computación y Metodología de la Investigación respectivamente. Una vez alcanzada la solución factorial final, se obtuvo una estimación de las puntuaciones factoriales, es decir, el valor para los 169 estudiantes en cada uno de los tres componentes o factores, a fin de valorar la situación relativa de cada uno en esas dimensiones “ocultas”, capaces de resumir la información contenida en las variables originales. Las puntuaciones factoriales permiten analizar las similitudes y el sentido de las mismas entre los individuos respecto a sus puntuaciones en el conjunto de variables observadas. Teniendo en cuenta que tienen media 0 y desviación estándar 1, al interpretarlas una puntuación de cero se corresponde con una puntuación igual a la media, las puntuaciones positivas resultan mayores que la media y las negativas menores que la media. Por otra parte, el Análisis de Conglomerados o “Clusters” (en inglés), también conocido como Taxonomía Numérica o Reconocimiento de Patrones, tiene como objetivo clasificar una muestra de entidades (individuos o variables) en un número de conglomerados o grupos de manera que las observaciones pertenecientes a un conglomerado sean muy similares entre sí (cohesión interna del conglomerado) y muy disimilares del resto (aislamiento externo del conglomerado) 5, es decir, permite formar grupos de individuos homogéneos y mutuamente excluyentes respecto a un conjunto de características que pueden ser cualitativas o cuantitativas. 14 Para su aplicación a partir de los tres componentes o factores obtenidos, se utilizó como medida de distancia la Euclideana, propia para datos cuantitativos o cualitativos ordinales. Para la formación de los "clusters" se empleó el método jerárquico mediante el algoritmo aglomerativo o ascendente, que comienza con tantos clusters como individuos y en cada etapa forma un cluster por unión de dos individuos aislados, de dos clusters o de un individuo con un cluster formado en una etapa anterior; el final del proceso es un grupo único formado por todos los individuos y de los criterios empleados para combinar clusters en los métodos jerárquicos se utilizó el enlace promedio entre grupos, que busca la distancia mínima entre dos clusters calculada como el promedio de las distancias entre todos los pares de observaciones (uno de cada cluster). Como resultado de aplicar el algoritmo, se obtiene la representación gráfica denominada "dendograma", que muestra las etapas de formación de los conglomerados y los valores de las distancias en cada etapa. El dendograma redimensiona las escalas originales a otra entre 0 y 25 considerando las proporciones de las distancias entre las etapas, mientras que la longitud de las barras indica la distancia entre los grupos que se combinan. 15 Al trazar una vertical a una distancia cercana a 5 en el dendograma obtenido se observaron bien definidos cuatro conglomerados que se correspondieron con grupos de estudiantes con rendimientos diferentes: Alto (predominio de evaluaciones con 5), Normal (predominio de evaluaciones con 4), Normal-Bajo (predominio de evaluaciones con 3 y algunas evaluaciones con 4) y Bajo (predominio de evaluaciones con 3 y algunas evaluaciones con 2). Una versión reducida que muestra su estructura con sólo 32 estudiantes y donde se definen los cuatro conglomerados en el orden siguiente: Normal, Alto, Normal-Bajo y Bajo respectivamente se presenta a continuación. Por consideraciones éticas, se excluyen los nombres de los estudiantes y sólo se presentan sus códigos: Se realizó un Análisis de Fiabilidad de la información procesada. El valor del estadígrafo Alpha de Cronbach igual a .9632 próximo a 1 mostró la confiabilidad del estudio y por consiguiente de los resultados obtenidos. Una vez concluida la asignatura Informática en Salud V se compararon los resultados obtenidos por los estudiantes según la clasificación obtenida. La tabla No. 6 muestra estos resultados: Tabla No. 6 - Resultados en la Evaluación Final según Rendimiento anterior. Para contrastrar la hipótesis nula de homogeneidad en los cuatro grupos conformados con rendimientos académicos diferentes, respecto al resultado en la asignatura final de la disciplina, se utilizó la prueba Ji Cuadrado. Tomando en consideración, que dicha prueba no es válida si más de un 20% de los valores esperados obtenidos en base a la hipótesis nula son menores que 5 16, se agruparon convenientemente los conglomerados de Alto y Normal Rendimiento y los de Normal-Bajo y Bajo Rendimiento. El valor del estadígrafo de prueba Ji Cuadrado resultó 49,171 y su probabilidad asociada, 000, lo que sugiere que no hay homogeneidad entre los dos grupos finalmente considerados. Finalmente, los resultados hallados sugieren la utilidad de la aplicación de técnicas multivariadas, en este caso el análisis factorial y el de conglomerados, para describir las características del rendimiento académico. Es importante, confirmar lo anterior a través de la replicación de análisis similares en otras poblaciones de estudiantes, en otros momentos del proceso docente educativo e incorporando variables relacionadas con características socioculturales de los estudiantes.    Conclusiones Según el Análisis Factorial realizado se detectaron 3 componentes principales: Bioestadística, Computación y Metodología de la Investigación, dentro del conjunto de evaluaciones de la disciplina Informática en Salud. Se verificó la existencia de relación entre el resultado obtenido en la asignatura final de la disciplina Informática en Salud V y sus precedentes. Los resultados del estudio sugieren que el sistema de evaluación previsto en la disciplina es capaz de medir los aportes individuales que cada una de sus ciencias integrantes realizan a la formación del estudiante y que globalmente la trayectoria del rendimiento se relaciona con los resultados de la asignatura final en la cual se aplican integralmente los conocimientos y las habilidades adquiridas para el trabajo de investigación. Bibliografía Cuadras Carles M. Métodos de Análisis Multivariante. Barcelona; EUB; 1996. Silva Manuel. Metodología de la Investigación Educacional. Desafíos y Polémicas Actuales. La Habana: Félix Varela; 2003. p.197. Carot José Miguel, Jabaloyas José, Martínez Mónica, Miró Pau. Análisis Estadístico de la Encuesta de Opinión del Alumno sobre la Actuación Docente del Profesorado de Formación de Post-Grado. Universidad Politécnica de Valencia, España. CD Memorias Universidad 2004. POS-069. La Habana; 2004. Apodaca Pedro. Dimensiones de la Competencia Docente desde la Percepción de los Alumnos. Universidad del País Vasco, España. CD Memorias Universidad 2004. CAL-045. La Habana; 2004. Salvador Figueras Manuel. Introducción al Análisis Multivariante. Universidad de Zaragoza. 2002. Disponible en: http://www.5campus.org/leccion/introduccion Pedagogía. La Habana: Pueblo y Educación; 1989. p. 294-295. González Nerys, Garriga Eneida, Cuesta Yoadis. Programa de la Asignatura Informática en Salud V. La Habana: Instituto Superior de Ciencias Médicas de La Habana; 2006. Issacs D., Tourón J. La Agrupación de los Objetivos Educativos en EGB utilizando la Técnica del Análisis Factorial en un Estudio Longitudinal. Revista Española de Pedagogía. 166: 575-587; 1984. Hair J., Anderson R., Tatham R., Black W. Análisis Mutivariante. 5a. ed. Prentice Hall; 1999. Everitt B. S., Dunn G. Applied Mutivariate Data Analysis. Holder&Stoughton; 1991. Pérez R., López A. J. Análisis de Datos Económicos II. Métodos Inferenciales. Pirámides.; 1997. Ferrán Magdalena. SPSS para Windows. Análisis Estadístico. Madrid: Mc Graw-Hill / Interamericana; 2002. p. 342. Introducción al Análisis de Datos. Análisis Multivariante. Capítulo 20. Análisis Factorial. El Procedimiento Análisis Factorial. Universidad Complutense Madrid. 2007. Disponible en: http://www.ucm.es/info/socivmyt/paginas/D_departamento/materiales/analisis_datosyMultivariable/20factor_SPSS.pdf Martínez Arias R. El Análisis Multivariante en la Investigación Científica. Cuadernos de Estadística. La Muralla; 2000. Sharma S. Applied Multivariate Techniques. John Wiley&Sons; 1998. Torres J. A., M. Rubén, H. Bayarre, E. Garriga, M. Pría, M. Gran y otros. Informática Médica. Bioestadística. Vol. 2. La Habana: Ciencias Médicas; 2004. p. 472.