High-stakes assessments measure several constructs, such as knowledge, competencies, and skills. In this case, validity evidence for test scores' uses and interpretations is of utmost importance, ...because of the consequences for everyone involved in their development and implementation.
Educational assessment requires an appropriate understanding and use of validity frameworks; however, health professions educators still struggle with the conceptual challenges of validity, and frequently validity analyses have a narrow focus. Important obstacles are the plurality of validity frameworks and the difficulty of grounding these abstract concepts in practice.
We reviewed the validity frameworks literature to identify the main elements of frequently used models (Messick and Kane's) and proposed linking frameworks including Russell's recent overarching proposal. Examples are provided with commonly used assessment instruments in health professions education.
Several elements in these frameworks can be integrated into a common approach, matching and aligning Messick's sources of validity with Kane's four inference types.
This proposal to contribute evidence for assessment inferences may provide guidance to understanding the use of validity evidence in applied settings. The evolving field of validity research provides opportunities for its integration and practical use in health professions education.
A large portion of prescribing errors can be attributed to deficiencies in medication knowledge. These errors are preventable and most often occur at the time of prescription. Antimicrobials are the ...drug class most common incorrectly prescribed.
To characterize the relationship between clinical competence and antibiotic prescription errors. We also investigated the frequency and severity of antibiotic prescription errors to identify items and attributes of clinical competence which are correlated with the antibiotic prescription error ratio.
A cross-sectional study was applied to assess clinical competence of junior medical residents in two reference academic hospitals and a regional hospital in Mexico City. It was conducted during February 2019. We used an infectious disease Objective Structured Clinical Examination (OSCE) to assess clinical competence and a measure of frequency, and severity of antibiotic prescription errors.
The number of eligible participants was ~ 255 (hospital meeting attendance), and the number of residents in this study were 51 (~ 20%), 31 were female (60.8%). The mean OSCE score was 0.692 ± 0.073. The inter-item (Cronbach's alpha = 0.927) and inter-station internal consistency was adequate (Cronbach's alpha = 0.774). The G coefficient in generalizability theory analysis was 0.84. The antibiotic prescription error ratio was 45.1% ± 7%. The most frequent category of severity of antibiotic prescription errors was category E (errors that may contribute to or result in temporary harm to the patient and require intervention), 235 (65.2%). We observed a negative and significant correlation between clinical competence and antibiotic prescription errors (r = -0.33, p < 0.05, CI95% -0.57 to -0.07), which remained significant after controlling for the effect of gender and time since graduation from medical school (r = -0.39, p < 0.01, CI95% -0.625 to -0.118). Using exploratory factor analysis we identified two factors, which explained 69% of the variance in clinical competence, factor 1 evaluated socio-clinical skills and factor 2 evaluated diagnostic-therapeutic skills. Factor 2 was correlated with antibiotic prescription error ratio (r = -0.536, p < 0.001).
We observed a negative correlation between clinical competence and antibiotic prescription error ratio in graduated physicians who have been accepted in a medical specialty. The therapeutic plan, which is a component of the clinical competence score, and the prescription skills had a negative correlation with antibiotic prescription errors. The most frequent errors in antibiotic prescriptions would require a second intervention.
Introducción: Los procesos de admisión a las escuelas de medicina deben demostrar la validez de la interpretación de sus resultados al ser evaluaciones de alto impacto.
Objetivo: Aplicar un modelo ...que integra los marcos de validez de Messick y Kane para obtener evidencias de validez del proceso de admisión en una escuela de medicina.
Método: Se realizó un estudio observacional analítico en la Facultad de Medicina de la Universidad Autónoma de San Luis Potosí de México, en las generaciones 2013 y 2014. El proceso de admisión incluye examen psicométrico (EP), examen de conocimientos (EC) y EXANI-II. Se realizó en dos pasos: 1) argumento de usos e interpretaciones y 2) argumento de validez, conformado por tres etapas: validez instrumental, verificación de la interpretación y la decisión, utilidad de las acciones. En cada etapa se establecieron hipótesis sobre las inferencias de acuerdo a Kane, para fundamentarse con las fuentes de Messick.
Resultados: Se analizaron resultados de 1,373 aspirantes en 2013; y 1,554 de 2014; así como los 145 alumnos admitidos en cada generación. Se identificó un factor g de inteligencia, que tiene repercusión en los resultados del proceso de admisión. El EC explica el 15% de la varianza de las calificaciones del primer año (2013), el EP y el EXANI-II no tienen influencia en el primer año de la carrera (2013 y 2014). Hay correlación entre algunos subcomponentes que miden un constructo semejante. Existe diferencia en los resultados de Biología (EC) entre hombres y mujeres (2014). El nivel de satisfacción de los alumnos acerca del proceso es bueno.
Discusión y conclusiones: Las fuentes de evidencia de validez proporcionaron información relevante para informar y mejorar el proceso de admisión, se requieren más datos y un equipo interdisciplinario para recabar más tipos de evidencias y de mejor calidad. Se recomienda utilizar marcos de referencia claros en estos procesos y planear la recolección de datos usando dichos marcos.
The objective structured clinical examination (OSCE) is a widely used method for assessing clinical competence in health sciences education. Studies using this method have shown evidence of validity ...and reliability. There are no published studies of OSCE reliability measurement with generalizability theory (G-theory) in Latin America. The aims of this study were to assess the reliability of an OSCE in medical students using G-theory and explore its usefulness for quality improvement.
An observational cross-sectional study was conducted at National Autonomous University of Mexico (UNAM) Faculty of Medicine in Mexico City. A total of 278 fifth-year medical students were assessed with an 18-station OSCE in a summative end-of-career final examination. There were four exam versions. G-theory with a crossover random effects design was used to identify the main sources of variance. Examiners, standardized patients, and cases were considered as a single facet of analysis.
The exam was applied to 278 medical students. The OSCE had a generalizability coefficient of 0.93. The major components of variance were stations, students, and residual error. The sites and the versions of the tests had minimum variance.
Our study achieved a G coefficient similar to that found in other reports, which is acceptable for summative tests. G-theory allows the estimation of the magnitude of multiple sources of error and helps decision makers to determine the number of stations, test versions, and examiners needed to obtain reliable measurements.
Cómo realizar un ECOE? Martínez González, Adrián; Trejo Mejía, Juan Andrés
Investigación en educación médica,
12/2018, Letnik:
7, Številka:
28
Journal Article
Recenzirano
Odprti dostop
El Examen Clínico Objetivo Estructurado (ECOE) es un método de evaluación de la competencia clínica poderoso para mejorar el aprendizaje de la misma, así como para establecer si los estudiantes ...alcanzaron un estándar aceptable de competencia clínica para continuar avanzando en las diferentes etapas de su proceso formativo. En este artículo se describirán los aspectos relevantes de la planeación, elaboración, aplicación y análisis del ECOE para evaluar el nivel de competencia clínica de los estudiantes de medicina de pregrado o posgrado.
Introducción: En el marco de la pandemia generada por el SARS-CoV-2, la enseñanza clínica ha sufrido cambios importantes, desde la cancelación de actividades de aprendizaje y reducción de las ...rotaciones en los servicios, hasta la implementación de medidas que permiten continuar con el aprendizaje de los estudiantes.Objetivo: Analizar la percepción de los pacientes, evaluadores y médicos residentes de primer año de la especialidad de medicina familiar al realizar un Web-ECOE.Método: Análisis cualitativo. Población: 4 pacientes estandarizados, 4 evaluadores capacitados y 20 médicos residentes de 10 sedes académicas.Resultados: Los pacientes expresaron que esta modalidad de atención médica es adecuada; y la experiencia de realimentar, positiva. Los evaluadores comentaron que es un área de oportunidad para ellos y los residentes, y que se podría otorgar atención médica en línea bajo este concepto. Los residentes perciben esta estrategia como adecuada para su evaluación; sin embargo, coinciden en la limitación de la exploración física.
Introducción: Ante la necesidad de evaluar a distancia las competencias clínicas durante la pandemia de COVID-19, se diseñó y aplicó un examen clínico objetivo estructurado (ECOE) en línea en 2021 a ...los egresados de la Facultad de Medicina de la Universidad Nacional Autónoma de México y a las instituciones incorporadas.Objetivo: Evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.Método: Se desarrolló la adaptación del ECOE presencial a la modalidad en línea adecuándose en todos los casos clínicos la habilidad clínica de la exploración física y se sustituyó el rubro de la nota médica por un resumen clínico verbal. Para la aplicación en línea se utilizó la plataforma Zoom, se capacitó a los evaluadores y pacientes estandarizados para homogeneizar su desempeño en esta plataforma. Se analizó el procedimiento empleado en el diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. Resultados: Ambas modalidades de ECOE constaron de seis estaciones de 20 minutos. Se evaluaron los 99 reactivos que integran la totalidad de las seis competencias evaluadas y discriminaron a <0.001 entre puntajes altos y bajos. Se identificaron seis factores que explican el 60.7% de la varianza en el ECOE presencial, y seis factores más cinco indicadores en la modalidad en línea con una varianza explicada de 56.6%. El Alfa de Cronbach fue 0.96 para el ECOE presencial y 0.93 para la modalidad en línea.Conclusiones: Ambas modalidades de ECOE mostraron evidencias de calidad psicométrica con respecto a la validez de contenido, la estructura interna de la prueba y el proceso de respuesta, lo que le da solidez al mismo. Este estudio observó que la modalidad en línea es una alternativa factible como evaluación de la fase práctica del examen profesional.
The Objective Structured Clinical Examination (OSCE) is a widely used measurement tool to assess clinical competence in the health sciences. There is little published evidence of its use in Mexican ...medical schools.
To assess clinical competence in medical students with an OSCE, before and after the Medical Internship.
Prospective cohort study, pre- post-test research design. The assessed population was medical students at UNAM Faculty of Medicine in Mexico in their Internship year. The instrument was an 18-stations OSCE, three stations per academic area of the Internship curriculum.
We assessed the clinical competence of 278 students in a pretest OSCE when starting the Internship year, and tested them 10 months later with an equivalent post-test OSCE. The sample of students was 30.4% of the total Internship population. Test reliability with Cronbach's alpha was 0.62 in the pre-test and 0.64 in the post-test. The global mean score in the pretest OSCE was 55.6 ± 6.6 and in the post-test 63.2 ± 5.7 (p < 0.001), with a Cohen's d of 1.2.
The clinical competence of medical students measured with an OSCE is higher after the medical internship year. This difference suggests that the internship can influence the development of clinical competence in medical students.
Introducción: La evaluación de competencias docentes se relaciona con la mejora de la actividad educativa, orientada hacia el desarrollo personal y formativo. No se cuenta con evaluaciones de alta ...fidelidad en nuestro medio. El objetivo es obtener fuentes de evidencia de validez del Examen Docente Objetivo Estructurado (EDOE) para evaluar las competencias docentes.
Método: Se llevó a cabo un estudio cuantitativo en 3 fases: 1) Planeación: análisis del modelo de competencias, validación por jueces, validación de contenido por alumnos instructores y taller de trabajo con expertos para la creación de estaciones. 2) Piloto: se obtuvo el grado de concordancia de los evaluadores, validación y estructura interna de las estaciones (análisis de discriminación, alpha de Cronbach, medias y desviación estándar). 3) Final: Aplicación a la muestra por conveniencia no aleatoria conformada por 20 profesores del Departamento de Informática Biomédica de la Facultad de Medicina de la UNAM.
Resultados: Se realizó un análisis de discriminación de reactivos de 8 estaciones 2 tienen 5 reactivos que discriminan .05, 7 obtienen cargas factoriales aceptables; explicando un 88.35% de la varianza, un alpha de Cronbach de .68. La media de desempeño docente en el EDOE fue de 73.23 con desviación estándar de 8.4. La estación mejor evaluada fue estrategias de aprendizaje (85 ± 16.98) y la menor fue orientar la discusión (67.48 ± 15.62). Se detectó evidencia confirmatoria con exámenes similares utilizados en la Facultad de Medicina, se cumplieron los objetivos planteados en la creación de este instrumento, se detectó una media preevaluación EDOE y los profesores fueron realimentados sobre su desempeño con fines formativos.
Discusión y conclusiones: Se propone un instrumento de evaluación EDOE con suficiente evidencia de validez que puede ser utilizado en la evaluación del grado de competencia docente. Lo anterior orienta a crear instrumentos de evaluación docente que sigan buenas prácticas en cuanto a la elaboración de instrumentos con base en la cadena de evidencia de validez.
In Latin America there is almost no published information about knowledge retention and formative assessment of competencies in medical students, during medical school training and curricular ...changes.
To assess knowledge level and clinical competencies in medical students at the end of the second year in a new curriculum.
Observational, cross-sectional study in UNAM Faculty of Medicine students. A diagnostic evaluation was performed in the first class of the "Plan of Studies 2010" curriculum, as part of an integral program evaluation strategy. The assessment had two components: theoretical and practical.
456 (87%) of the 524 students that successfully completed the second year of Plan 2010 were assessed. The written test had 211 items, a mean score of 60 ± 14.5, mean difficulty index of 0.60, reliability with Cronbach's alpha of 0.85. The OSCE mean global score was 58 ± 9, Cronbach's alpha of 0.36, and G-coefficient of 0.48, and results were provided for each station. Results by area of knowledge, course, and station were reported.
The results in general are acceptable, compared with previous written evaluations at the end of the second year, suggesting that the new program is achieving its educational goals. Competencies were formally assessed for the first time in our Institution, establishing a starting point for follow-up. The study provided useful information to the institution, teachers and students.
PDF
