Contexto: El Consejo Nacional de Examinadores Médicos Osteopáticos utiliza la Herramienta de Evaluación Global de Tratamiento Osteopático (OMT) para calificar el desempeño del candidato en OMT durante encuentros estandarizados con pacientes. Hasta donde saben los autores, no se ha publicado ninguna investigación de validez sobre los constructos subyacentes medidos por este instrumento hasta la fecha.
Objetivo: Evaluar si la OMT Global Rating Tool mide 1 habilidad holística o múltiples conjuntos de habilidades.
Métodos: los modelos de ecuaciones estructurales se ajustaron a los datos de quienes tomaron el Examen de Licenciatura Global en Osteopatía Médica-EE. UU. Nivel 2-Evaluación de Desempeño (COMLEX-USA Nivel 2-PE) entre el 7 de julio de 2014 y el 30 de abril. 2015. Se evaluaron dos modelos teóricos: un modelo que postulaba un único conjunto de habilidades subyacente, y un modelo que postulaba 2 conjuntos de habilidades relacionadas pero distintas.
Resultados: Los modelos de 1 factor y 2 factores se ajustaron a los datos de 4673 estudiantes de medicina osteopática de tercer y cuarto año. Las estadísticas de ajuste indicaron que los datos se ajustaban mejor a un modelo que representaba 2 factores: la evaluación de la técnica pre y post OMT y la técnica OMT (r = 0,47).
Conclusión: La herramienta OMT Global Rating Tool parece medir 2 habilidades distintas pero relacionadas. Aunque los resultados de este estudio son aplicables a poblaciones amplias y no se pueden usar para proporcionar calificaciones secundarias específicas de habilidades, podría ser útil realizar esfuerzos de remediación para enfocar las evaluaciones de técnica pre y post OMT y las técnicas de OMT como áreas distintas para la intervención.
Los instrumentos de puntuación y evaluación en evaluaciones de alto riesgo deben poseer niveles razonables y empíricamente demostrados de confiabilidad y validez.1
Para tales demostraciones empíricas, una comprensión de la estructura estadística subyacente del instrumento es de importancia crítica. Una herramienta de evaluación que mide muchas habilidades diferentes (por ejemplo, comunicarse con los pacientes, comunicarse con colegas, trabajar en equipo) puede ser servida deficientemente por técnicas estadísticas que asumen que una herramienta de evaluación mide una cosa y la mide con elementos altamente intercorrelacionados.
La Junta Nacional de Examinadores Médicos Osteopáticos (NBOME) utiliza la Herramienta de Evaluación Global de Tratamiento Osteopático Óptico (OMT) en el Examen de Evaluación de Osteopatía Médica Comprensiva-EE. UU. Nivel 2 Evaluación de rendimiento (COMLEX-USA Nivel 2-PE) para evaluar las habilidades OMT de los candidatos . Aunque la herramienta OMT Global Rating Tool está destinada a generar
un único puntaje OMT global para cualquier encuentro dado, y aunque existe evidencia de la utilidad de ese puntaje global, 2-4 análisis internos del NBOME han indicado que la herramienta puede medir 2 conjuntos de habilidades distintas: evaluación de la técnica pre y post OMT y el rendimiento de la técnica OMT en sí misma.
Utilizamos modelos de ecuaciones estructurales para comparar modelos con 1 y 2 factores subyacentes y evaluamos qué modelo se ajusta mejor a los datos. El modelado de ecuaciones estructurales permite a los investigadores probar un conjunto de relaciones hipotéticas entre variables contra las relaciones empíricas cuando se tiene en cuenta la varianza de medición en las variables observadas. En el caso del OMT
Global Rating Tool, el modelado de ecuaciones estructurales puede probar la hipótesis de que hay 2 conjuntos de habilidades separados que subyacen puntajes en los 6 componentes de evaluación OMT de la herramienta, y que esos conjuntos de habilidades están relacionados pero no pueden considerarse equivalentes.
Este estudio busca obtener una mejor comprensión del modelo de medición que subyace a los indicadores del rendimiento de OMT utilizados en la herramienta OMT Global Rating Tool. Aunque el modelado de ecuaciones estructurales se realiza en datos agregados y proporciona resultados que son informativos sobre las poblaciones, sus resultados en este caso no pueden utilizarse para obtener puntajes individuales útiles o confiables. Una comprensión más clara de la estructura psicométrica del instrumento será útil tanto para los investigadores como para el personal docente encargado de remediar a los estudiantes que puedan tener dificultades en esta área.
Métodos
En total, 4672 estudiantes de 30 escuelas de medicina osteopática que tomaron COMLEX-USA Nivel 2-PE por primera vez entre el 7 de julio de 2014 y el 30 de abril de 2015, se incluyeron en el grupo de muestra inicial. Los estudiantes dieron su consentimiento informado para utilizar sus datos de archivo con fines de investigación cuando se inscribieron en la serie de exámenes COMLEXUSA. La aprobación de la junta de revisión institucional para el presente estudio se obtuvo del Centro para el Avance de la Educación y la Entrega de la Atención Médica en Colorado Springs, Colorado.
La muestra final consistió en 1 encuentro por alumno, muestreado aleatoriamente de los 3 a 4 encuentros con puntuación OMT
en el examen Se incluyó un encuentro por alumno para evitar que las dependencias estadísticas opacaran los resultados de los análisis.
Puntuación OMT en COMLEX-USA Nivel 2-PE El COMLEX-USA Nivel 2-PE integra los principios osteopáticos y la práctica en todas partes. El examen consta de 12 estaciones de examen clínico estructurado objetivo a través del cual los candidatos rotan durante el día de la prueba. En el 25% al 40% de esos encuentros, los candidatos obtienen puntajes en el uso de las habilidades requeridas para el desempeño seguro y efectivo de OMT. Los médicos osteópatas calificados (es decir, los evaluadores de OMT) miran los encuentros de forma remota en un portal seguro basado en la web y asignan puntajes a los desempeños de los candidatos de acuerdo con la herramienta OMT Global Rating Tool.
La herramienta de calificación tiene 6 componentes: (1) modalidad OMT
seleccionado, (2) técnica OMT, (3) examen y evaluación osteopática, (4) posición médico-paciente para el tratamiento, (5) evaluación posterior al tratamiento, y (6) repetición y duración del tratamiento. Cada uno de estos componentes se califica en una escala tipo Likert de 0 a 8 y se basa en una rúbrica de puntuación que contiene anclas conductuales. Los puntajes resultantes se combinan con puntajes de Recolección de datos (Toma de historial y Examen físico, que registra el paciente estandarizado usando una lista de verificación específica de caso) y subjetiva, objetiva, evaluación y notas del plan (calificadas por los examinadores médicos) para calcular el puntaje final del candidato para el componente biomédico / biomecánico del examen. Los candidatos deben pasar este dominio para aprobar el examen, pero las habilidades dentro del dominio son compensatorias al computar una decisión final de aprobación o rechazo para el dominio.
Solo los datos de los 6 componentes de OMT se incluyeron en estos análisis. Análisis estadístico
Las correlaciones entre los puntajes de los estudiantes en los 6 componentes de OMT Global Rating Tool se calcularon como un análisis preliminar. Los resultados de las correlaciones entre las variables en el nivel manifiesto se utilizaron para informar la especificación de los modelos estructurales de los constructos latentes subyacentes.
La dimensionalidad de la escala OMT se evaluó mediante el modelado de ecuaciones estructurales en el software SAS / STAT (SAS para Windows, versión 9.4, SAS Institute).
Los datos del tratamiento de manipulación osteopática se analizaron por separado del resto del examen. El modelo fue identificado al restringir la varianza de las variables latentes a 1.0. No se permitió ningún error correlacionado entre las variables indicadoras (es decir, componentes de evaluación de OMT).
El ajuste del modelo a los datos se evaluó utilizando el residuo medio de raíz estandarizado (SRMR), una medida del grado en el que el modelo deja de contar la varianza en los datos y el índice de ajuste comparativo (CFI), que indica la grado en que el modelo especificado es una mejora sobre un modelo en el que todas las variables no están correlacionadas. La mejora en
el ajuste entre los modelos de la competencia se probó usando la diferencia en las 2 estadísticas χ2 obtenidas, evaluadas como χ 2
Se utilizó un criterio de SRMR menor o igual a 0.06 y CFI mayor o igual a 0.96 para evaluar si el modelo se ajustaba bien a los datos.5
Resultados
Los datos consistieron en puntajes de nivel de componente de 4672 estudiantes de medicina osteopática de tercer y cuarto año que tomaron COMLEX-USA Nivel 2-PE entre el 7 de julio de 2014 y el 30 de abril de 2015. De los estudiantes para quienes la información demográfica estaba disponible, 2948 de 4398 eran blancas (67.0%) y 2428 de 4397 eran hombres (55.2%).
Este grupo demográfico estudiantil es consistente con la clase de matriculación de estudiantes de medicina osteopática de 2014, que comprende 64.9% de estudiantes blancos y 56.8% de hombres.6
Las correlaciones entre puntajes brutos de los estudiantes se presentan en la Tabla 1. Los valores de estas correlaciones indican que los componentes relacionados con la técnica OMT estaban fuertemente interrelacionados (r = -0.57 a 0.73) y los 2 componentes
relacionados con la evaluación de la técnica pre y post OMT están estrechamente interrelacionados (r = 0,44), pero las relaciones entre los 2 conjuntos de componentes no fueron tan fuertes (r = 0,18 a 0,34). Estos resultados se utilizaron para guiar la construcción posterior del modelo después de que el ajuste de los datos a un modelo de 1 factor resultó insatisfactorio. El modelo de 1 factor se ajustaba pobremente a los datos (χ 29 = 1072.07, P <.001, SRMR = 0.078, CFI = 0.91), lo que indica que es poco probable que OMT Global Rating Tool esté midiendo 1 habilidad latente monolítica. Al examinar el patrón de correlaciones entre las variables indicadoras (Tabla 2), parecía tanto estadísticamente como conceptualmente razonable obtener un modelo de 2 factores, lo que mejoró significativamente el ajuste general del modelo (Δχ 2 = 689.65, P <.001, SRMR = 0.03, CFI = 0.97).
El modelo de 2 factores (Figura) comprende un factor que representa la evaluación de la técnica pre y post OMT y un factor que representa el uso real del alumno de las técnicas OMT. Dos componentes de la herramienta de puntuación OMT (examen osteopático y evaluación postratamiento) se vieron obligados a cargarse en el primer factor y 4 componentes de la herramienta de puntuación OMT (modalidad OMT seleccionada, técnica OMT, posición médico-paciente para el tratamiento y repetición del tratamiento y duración) fueron obligados a cargar en el segundo factor. La correlación entre las variables latentes (es decir, los 2 factores) fue de 0,47; Las pruebas de Wald indicaron que este parámetro no se pudo limitar a 0 sin disminuir significativamente el ajuste del modelo.
Una correlación de 0.47 entre las variables latentes, aunque no es trivial, indica una cantidad sustancial de varianza única para cada construcción. Aunque las condiciones ideales para la estimación del modelo requieren 3 variables manifiestas por variable latente, en este caso la ruta entre la variable latente y la restricción de la varianza de las variables latentes a 1.0 se consideró suficiente para asegurar la identificación del modelo. Sin embargo, la identificación del modelo depende de la capacidad del factor de evaluación de 2 indicadores antes y después de la técnica de OMT para
tomar prestada la fuerza del factor de la técnica OMT; el factor de evaluación de la técnica pre y post OMT no puede estimarse por separado.
La solución estandarizada para el modelo de 2 factores se presenta en la Tabla 2 y proporciona la correlación entre cada componente de la escala de puntuación OMT y su variable latente respectiva.
Discusión
Las correlaciones entre los 6 componentes de OMT Global Rating Tool, vistos en el nivel de puntaje bruto, sugirieron 2 grupos de habilidades medidas: 1 relacionado con la evaluación técnica pre y post OMT y 1 relacionado con la habilidad en la técnica OMT real. Cuando se utilizó el modelado de ecuaciones estructurales para probar la hipótesis de que la herramienta comprende una sola habilidad global de OMT, la hipótesis fue rechazada porque el modelo era inconsistente con las relaciones observadas entre los puntajes de los componentes de los estudiantes. Un modelo que separó los 2 grupos de habilidades se ajusta mejor a los datos y no fue rechazado por motivos estadísticos.
Estos resultados sugieren que la habilidad en OMT medida por la herramienta OMT Global Rating Tool del NBOME es un conjunto de 2 habilidades distintas pero moderadamente correlacionadas: realizar una evaluación osteopática de un paciente y el rendimiento de una técnica OMT específica. Un estudiante que es experto en la evaluación previa a la evaluación generalmente, aunque no invariablemente, es experto en la intervención posterior a la evaluación; Del mismo modo, un estudiante que es bueno seleccionando la modalidad de tratamiento correcta generalmente, aunque no invariablemente, puede hacer un trabajo razonablemente bueno al realizar el tratamiento.
La evidencia de este modelo indica, sin embargo, que una buena evaluación previa a la evaluación no conduce necesariamente a una técnica apropiada o especializada. Además, un estudiante que es hábil en la realización de técnicas OMT no es necesariamente bueno para completar evaluaciones exhaustivas de antemano o evaluaciones posteriores. Según lo medido por este instrumento, la evaluación y la técnica parecen ser conjuntos de habilidades distintas, aunque correlacionadas.
Existen muchos modelos curriculares para enseñar OMT en escuelas de medicina osteopática, y los hallazgos actuales sugieren una desconexión (como se demuestra en la diferencia de puntajes) en las habilidades de los estudiantes en el diagnóstico de la disfunción somática versus la realización de una técnica OMT. Incorporar OMT en el plan de estudios de tercer y cuarto año, cuando los estudiantes pueden integrar el diagnóstico con el tratamiento,
podría ser útil. Es más probable que los estudiantes que tienen exposición clínica a OMT antes de ingresar a la capacitación clínica planeen usar OMT en la práctica futura.8
Tal vez la práctica de OMT en entornos clínicos ayudaría a integrar el diagnóstico y el tratamiento. Estudios adicionales serían útiles.
Una limitación del presente estudio es que algunos estudiantes no fueron calificados en algunos componentes OMT, lo que llevó a datos faltantes que no pueden considerarse aleatorios. Sin embargo, los encuentros con menos de 6 puntuaciones representaron el 0,66% de la muestra. Una limitación más inmediata es que los análisis de datos fueron
realizado en 1 cohorte de estudiantes. Los cambios en el currículo, el nivel de habilidad de cohorte o el nivel de interés del estudiante en OMT como una habilidad fundamental pueden influir en la relación entre los rasgos latentes medidos por la OMT Global Rating Tool o la relación entre los indicadores y sus correspondientes variables latentes.
Conclusión
La rúbrica de evaluación OMT utilizada por el NBOME para COMLEX-USA Nivel 2-PE parece medir 2 construcciones distintas, moderadamente correlacionadas- (1) la habilidad involucrada en identificar y realizar la técnica más apropiada para la presentación del paciente y (2) la habilidad implicada en la evaluación de la técnica anterior y posterior a la OMT de la disfunción somática del paciente.
Una correlación de 0.47 entre las variables latentes, aunque no es trivial, 9 indica una cantidad sustancial de varianza única para cada constructo; una cantidad sustancial de habilidad única para la evaluación de la técnica pre y post OMT no está relacionada con la habilidad en la técnica OMT, y viceversa. Aunque las subescalas latentes-específicas no pueden ser proporcionadas de manera confiable por este instrumento, podría no obstante ser útil para los esfuerzos de remediación para considerar las evaluaciones de técnica pre y post-OMT y las técnicas de OMT como áreas distintas a las cuales apuntar en las intervenciones.
