30_1

Resumen: La enseñanza y evaluación de la escritura son actividades esenciales en cualquier área, máxime en Medicina, que es una disciplina altamente especializada. Sin embargo, los docentes, con formación médica, pero no en didáctica ni evaluación de la escritura, muchas veces carecen de herramientas adecuadas para evaluar los aspectos lingüístico-discursivos de los textos que producen sus estudiantes. El objetivo es proponer un instrumento de evaluación contextualizado que permita valorar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de Medicina. Para ello, se desarrolla un estudio cualitativo mediante un estudio de caso, a fin de generar una rúbrica analítica que permita orientar la enseñanza y evaluación de la escritura en la formación en Medicina. El proceso de creación del instrumento incluyó la revisión de distintos insumos de la carrera mencionada, lo que permitió realizar un levantamiento de las propiedades lingüístico-discursivas que debiesen poseer los textos especializados en cuestión y los aspectos que tendrían que ser evaluados por los docentes disciplinares en dichos textos. El instrumento quedó constituido por 17 dimensiones, agrupadas en cuatro macrodimensiones: situación comunicativa, comunicación del conocimiento especializado en Medicina, estructura global y oracional, normativa. Tras diversos procedimientos de validación, la versión final del instrumento obtuvo un acuerdo considerable para la validez de contenido (K=0,6) y uno casi perfecto para la confiabilidad intercodificador (K=0,9). En conclusión, este instrumento permitirá obtener información más precisa respecto del nivel de adquisición de la competencia escritural en la formación de médicos; y, además, definir estrategias de intervención adecuadas a las necesidades de la comunidad disciplinar.

Palabras clave: discurso especializado - escritura académica - didáctica de la escritura - evaluación de la escritura - Medicina

Abstract: The teaching and evaluation of writing are essential activities in any area, especially in Medicine, which is a highly specialized discipline. However, professors, who have received training in medicine but not in didactics or writing assessment, often lack adequate tools to evaluate the linguistic-discursive aspects of the texts produced by their students. Our aim is to propose a contextualized evaluation instrument for assessing the linguistic-discursive quality of disciplinary texts produced by students of Medicine degrees. For this, a qualitative study through a case study design were developed in order to generate an analytical rubric for guiding teaching and assessment of writing in medical training. The elaboration process of the instrument included the revision of different inputs from a Medical degree program, which allowed us to identify the linguistic-discursive properties that these specialized texts should have and the corresponding aspects that should be evaluated by the disciplinary teachers. The instrument was made up of 17 dimensions, grouped into four macro dimensions: communicative situation, communication of specialized knowledge in Medicine, global and sentence structure, and normative. After several validation procedures, the final version of the instrument obtained a considerable agreement for content validity (K=0.6) and an almost perfect agreement for intercoder reliability (K=0.9). In conclusion, this instrument will allow obtaining more precise information regarding the level of acquisition of the writing competence along the training of doctors as well as defining intervention strategies according to the needs of the disciplinary community.

Keywords: specialized discourse - academic writing - writing didactics - writing assessment - Medicine

1. Introducción

En la formación de cualquier profesional, las habilidades comunicativas, en general, y la escritura, en particular, tienen un rol fundamental. Así, se ha señalado que la falta de dominio de habilidades de escritura es una de las principales causas de fracaso en la enseñanza superior, lo que se refleja en la reprobación, el retraso y la deserción de una parte importante de la población universitaria (Cristina, 2010; Uribe & Carrillo, 2014). En el caso concreto de los estudiantes de Medicina, aunque han sobresalido en las pruebas de selección para ingresar a la universidad (Departamento de Evaluación, Medición y Registro, 2018), tienen falencias importantes en producción de textos, por lo que sus resultados no son satisfactorios (Rawson, Quinlan, Cooper, Fewtrell & Matlow, 2005; Bitrán, Zúñiga, Flotts, Padilla & Moreno, 2009). De hecho, se ha demostrado que “students in the medical professions often lack the writing skills required during their education and career. One contributing factor to this deficiency is that writing tends to be discipline specific, rather than requiring general skills acquired in undergraduate schools” (Rawson et al., 2005, p.233).

A lo señalado anteriormente se suma el hecho de que los docentes, con formación en Medicina, pero no en didáctica ni en evaluación de la escritura, muchas veces carecen de las herramientas e instrumentos pertinentes para evaluar los aspectos lingüísticos y discursivos de los textos que producen sus estudiantes. Ello es un problema sumamente importante, pues, en la actividad profesional del médico, las habilidades de comunicación escrita son fundamentales para brindar atención médica de calidad de manera efectiva, interactuar con equipos de salud multidisciplinarios (Aulet, Moore, Callas, Nicholas & Hulme, en prensa), desarrollar un buen razonamiento diagnóstico, comunicarse efectivamente con colegas y pacientes (Cyr, Smith, Broyles & Holt, 2014), y, también, porque un malentendido puede tener graves consecuencias individuales y sociales (Bitrán et al., 2009).

En esta línea, se ha demostrado que, con muchísima frecuencia, las palabras en la literatura médica se eligen y se organizan sin el cuidado suficiente, lo que deriva en una escritura confusa (Collier, 2017). Además, se ha evidenciado que los médicos tienen problemas para mantener una línea cronológica clara en los textos que producen (Hung, Chen & Tsai, 2012) y que incurren en errores de escritura, incluso al producir Artículos de Investigación (Silva, 2019). Lo anterior evidencia que las dificultades para producir textos profesionales en los médicos no solo se presentan durante su formación académica, sino que persisten en su desempeño profesional.

El problema descrito ha sido afrontado desde diferentes perspectivas. En términos generales, en la interdisciplina entre Lingüística y Medicina, se han desarrollado trabajos de lingüística clínica, sin embargo, su objeto de estudio se aleja de nuestra investigación, pues se ocupan del aspecto biológico implicado en el fenómeno del lenguaje, vale decir, el lenguaje aplicado al estudio de las patologías y terapias del habla y del lenguaje (Jiménez, 2019). De forma más cercana al problema que planteamos en los párrafos anteriores, este se ha abordado, por ejemplo, mediante la realización talleres o intervenciones de escritura para trabajar y evaluar su impacto sobre las habilidades de comunicación escrita de los estudiantes de Medicina, ya sea en español (Bitrán et al., 2009) o inglés (Rawson et al., 2005; Azcuy, García, Matanzas, Hernández & Verdayes, 2015). También, se ha evaluado el impacto de la retroalimentación constructiva de la escritura de médicos en formación (Aguilar-Vargas, Rodríguez-Castellanos, Baeza & Méndez, 2016), donde se pudo demostrar los buenos resultados de dicho tipo de retroalimentación. Además, se han diseñado rúbricas para evaluar: el desempeño de los estudiantes en una entrevista clínica (Aulet et al., en prensa), la escritura reflexiva (Wald, Borkan, Taylor, Anthony & Reis, 2012; Miller-Kuhlmann, O’Sullivan & Aronson, 2016), el razonamiento clínico (Smith et al., 2016) y la producción de ensayos escritos por parte de médicos en formación (Bitrán et al., 2009).

A pesar de estos importantes avances, tal como señalan Gotti y Salager-Meyer (2016), en los últimos años, la investigación sobre el discurso médico dedicado a cuestiones pedagógicas ha sido limitada. En esta línea, como se evidencia a partir de la revisión teórica, actualmente, no existen instrumentos de evaluación que permitan evaluar los textos disciplinares producidos por los médicos en formación, esto es, que serán utilizados durante su desempeño profesional (fichas clínicas, epicrisis, etc.); tampoco se cuenta con rúbricas validadas en español para este mismo propósito. En este marco, el objetivo de investigación es proponer un instrumento que supere dichos vacíos y permita evaluar las características lingüístico-discursivas de los textos disciplinares que producen los estudiantes de Medicina en su formación, esto es, exclusivamente aquellos textos que deberán generar durante su desempeño profesional. Esto, considerando la visión y las necesidades de los miembros de la comunidad disciplinar, que son quienes, en definitiva, deben evaluar a los estudiantes, pero no siempre cuentan con las herramientas necesarias para hacerlo. En este sentido, la presentación de la rúbrica es relevante, pues, en concordancia con González-Catalán (2020), creemos que, en la educación superior es absolutamente necesario que los docentes sean capaces de nutrirse de una diversidad de estrategias, técnicas y recursos disciplinares para llevar a cabo el proceso de formación de sus estudiantes.

2. Método

El objetivo de esta investigación es proponer un instrumento de evaluación contextualizado que permita valorar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de Medicina. Para ello, desarrollamos una investigación de tipo cualitativo, concretamente, adherimos a un paradigma interpretativo y a una estrategia o diseño de investigación de estudio de caso.

En específico, la estrategia en la que se enmarca nuestra investigación se trata de un estudio de caso único, dado que nuestra intención es explorar una actividad, en este caso de carácter académico, desde la perspectiva de uno o más participantes (Creswell, 2009). En este contexto, se trata de un caso con diseño holístico, pues la comunidad disciplinar de académicos de Medicina, que es objeto de nuestra investigación, la hemos considerado como una realidad general, sin establecer diferencias en subunidades. Asimismo, y en términos de racionalidad, el estudio lo hemos definido como un caso típico, pues hemos procurado capturar las circunstancias y condiciones de una situación habitual, sin realizar experimentos ni modificar variables del contexto estudiado (Yin, 2003).

Nuestro caso específico corresponde a la comunidad de docentes de una Escuela de Medicina de una universidad chilena perteneciente al Consejo de Rectores, la que nos ha permitido reconocer los requerimientos y rasgos lingüístico-discursivos de los textos que deben producir los estudiantes de la comunidad. Más concretamente, las propiedades que, según ellos, debe poseer un texto disciplinar en Medicina. A partir de esta información, entonces, fue posible generar el instrumento de evaluación de la calidad general de textos en el ámbito de la Medicina.

Para efectos de configurar este caso, hemos considerado los discursos acerca del fenómeno estudiado y también los instrumentos didácticos generados por los informantes, procurando interpretarlos de tal manera que prevaleciera el valor otorgado por los agentes informantes y, así, develar el significado de aquello que no es evidente (Bautista, 2011). Dicho de otro modo, intentamos esclarecer e identificar las propiedades que, a juicio de los docentes disciplinares de Medicina, debe contener un texto que responde a parámetros de calidad lingüístico-discursiva en el ámbito médico. En consecuencia, el instrumento surgió a partir de las experiencias humanas relativas a un fenómeno (Creswell, 2009), que, como hemos señalado, corresponde a la calidad lingüístico-discursiva de un texto disciplinar de Medicina. Esto, de acuerdo con los requerimientos que los propios docentes disciplinares han declarado.

En cuanto a los procedimientos seguidos en la investigación, para configurar el caso y obtener la información necesaria para el diseño del instrumento de evaluación se emplearon variadas estrategias de recolección de datos, a saber: revisión de textos disciplinares auténticos producidos por estudiantes de Medicina, análisis de las rúbricas utilizadas por los docentes e interpretación de entrevistas en profundidad. Concretamente, se revisaron 3 textos y 4 rúbricas. En relación con las entrevistas, se trabajó con un muestreo casual, pues la selección de los participantes respondió a la facilidad y voluntad de acceso, procurando siempre que los agentes informantes pudieran responder a los objetivos del estudio (Bisquerra, 2009). En este caso, las condiciones que consideramos en la configuración de la muestra de agentes informantes fue que ellos integraran actividades de escritura dentro de las cátedras disciplinares que ellos mismos impartían. Así, entrevistamos a 2 médicos que se desempeñan como docentes en una Escuela de Medicina de una universidad regional no estatal perteneciente al Consejo de Rectores de las Universidades Chilenas (CRUCH). Si bien estos números pueden parecer exiguos, ello se justifica por el alto nivel de especialización de los textos revisados y de los informantes entrevistados.

De esta forma, la información recogida de la revisión de los textos y de las rúbricas fue complementada con la que obtuvimos mediante la técnica de entrevista en profundidad, que nos permitió, a través de la interacción entrevistado-entrevistador, construir el significado otorgado al fenómeno estudiado. En este sentido, el proceso de intercambio entre los participantes de esta instancia fue no estructurado, utilizando preguntas con respuesta abierta orientadas a la comprensión de una realidad (Ruiz, 2012). Las temáticas de la entrevista surgieron a partir de los vacíos que reconocimos en investigaciones previas sobre evaluación de textos disciplinares (Bitrán et al., 2009; Cyr et al., 2014; Smith et al., 2016, Aulet et al., en prensa; entre otros), de los textos y de las rúbricas proporcionados por los propios docentes y de nuestra experiencia en investigaciones previas (Meza & González, 2021).

En relación con el análisis de la información, se realizó manualmente. Para ello, aplicamos la técnica de análisis de contenido, concebida como el proceso de interpretación de los datos recolectados a través de su reducción y categorización (Bautista, 2011). Esta técnica se utilizó sobre los discursos de los docentes, logrando dejar de manifiesto el sentido latente de las representaciones construidas sobre el fenómeno. Al respecto, Krippendorff (2018) señala que esta técnica tiene un carácter objetivo, sistemático y cualitativo, lo que permite la formulación de inferencias exhaustivas, reproducibles y válidas que pueden aplicarse a un contexto (Porta & Silva, 2003).

Así, logramos reconocer inductivamente una serie de categorías, correspondientes a las propiedades que debe poseer un texto que responde a los requerimientos de calidad lingüístico-discursiva definidos por la comunidad disciplinar. Esto, posteriormente, nos ha llevado a generar la propuesta de instrumento de evaluación, en particular, una rúbrica de carácter analítico, considerando macrodimensiones, dimensiones y descriptores, de acuerdo con lo señalado por los especialistas. El modo cómo el contenido de las entrevistas, textos y rúbricas analizadas corresponde a las categorías del instrumento se detalla en la sección siguiente, pues ellas pertenecen, en definitiva, a los resultados de este trabajo. Este proceso se ejemplifica, además, en la Figura 1.

Figura 1. Proceso de integración de fuentes de información para la definición de categorías

Una vez diseñada la rúbrica, se sometió a tres procedimientos distintos de validación: a) revisión por parte de un experto, b) validación de contenido por jueces expertos y c) pilotaje; este último fue realizado en dos etapas. En el primer procedimiento mencionado, la rúbrica fue revisada por un doctor en lingüística aplicada de nacionalidad española, hablante nativo de español, experto en discurso disciplinar médico. Tras esta primera revisión, se realizaron los ajustes pertinentes.

En la segunda etapa aludida, se llevó a cabo un proceso de validación de contenido por parte de jueces expertos. Concretamente, contamos con la participación de 3 jueces de distintas nacionalidades, todos hablantes nativos de español y con distintos perfiles: un lingüista, un experto en evaluación, un médico-docente. En paralelo, realizamos una primera aplicación piloto del instrumento diseñado, que permitió evaluar el grado de acuerdo o consistencia entre distintos anotadores. Concretamente, 3 anotadoras aplicaron la rúbrica a dos textos producidos por estudiantes de medicina (una Ficha Clínica y un Estudio Familiar), recogidos en la institución que es parte de esta investigación. Las tres anotadoras son profesoras de castellano, hablantes nativas de español y una de ellas cuenta con un postgrado en su área de especialización.

Luego de estos dos procedimientos de validación (juicio de expertos y pilotaje), realizamos los ajustes pertinentes al instrumento, obteniendo, así, una versión mejorada de la rúbrica. Tanto a los jueces expertos como a los anotadores del pilotaje les solicitamos un registro escrito de sus observaciones, las que fueron consideradas en los ajustes que realizamos al instrumento luego de esta primera etapa de validación.

Para calcular el acuerdo entre jueces expertos como también entre anotadores utilizamos el porcentaje de acuerdo y el coeficiente Kappa de Fleiss (1971). El objetivo de este último es determinar el grado de acuerdo entre tres o más evaluadores mediante la exclusión de las concordancias que se puedan atribuir al azar (Fleiss, 1971). Para realizar todos los cálculos utilizamos ReCal3: Intercoder reliability calculation (Freelon, 2010). Todos los datos referentes a los índices numéricos obtenidos de estos procedimientos de validación se detallan en el apartado siguiente, pues, en definitiva, son resultados de la aplicación del instrumento propuesto. Finalmente, todos los procedimientos metodológicos detallados en este acápite se sintetizan, a continuación, en la Figura 2.

Figura 2. Síntesis de procedimientos metodológicos

3. Análisis y discusión de resultados

Los resultados de esta investigación dicen relación, concretamente, con la presentación del instrumento diseñado para evaluar la calidad discursiva general en Medicina, que es el resultado de los procedimientos detallados anteriormente. Para ello, seguimos un criterio cronológico, esto es, desde los resultados que se extrajeron de los distintos insumos utilizados (entrevistas a médicos, textos producidos por los estudiantes de Medicina y rúbricas que utilizan los profesionales de la comunidad estudiada), y que permitieron identificar los elementos que los miembros de la comunidad médica consideran necesarios de evaluar en un texto propio de su área, hasta aquellos que dicen relación con la validación del instrumento. Estos distintos aspectos se han analizado y sistematizado, como se ejemplifica en la Figura 2, de forma que permitieron guiar la determinación de los elementos incorporados en la rúbrica presentada. Concretamente, la Figura 3 muestra cómo dichos insumos permitieron el levantamiento de las categorías incorporadas en el instrumento de evaluación diseñado.

Figura 3. Ejemplo análisis de insumos para construcción de rúbrica

Como se observa en la Figura 3, analizamos detalladamente cada insumo obtenido en la comunidad, lo que nos entregó las categorías o ítems de evaluación. En el caso específico de la Figura 3, vemos cómo el contenido de las entrevistas en profundidad derivó en tres categorías incorporadas en el instrumento de evaluación diseñado. Este tipo de análisis nos ha permitido diseñar nuestra rúbrica, denominada RECLiTeM (Rúbrica para Evaluar la Calidad Lingüístico-Discursiva de Textos Disciplinares en Medicina), constituida por distintas dimensiones y macrodimensiones. Las dimensiones corresponden a las características lingüístico-discursivas específicas representativas de los textos de calidad extraídas de los insumos analizados, por lo que, en consecuencia, equivalen a los descriptores que se evalúan en nuestra rúbrica. Mientras que las macrodimensiones corresponden a una agrupación que se ha hecho de las distintas dimensiones, a partir de la experiencia de los autores del instrumento (Meza & González, 2021). En la Figura 4, se presenta gráficamente una síntesis del instrumento.

Figura 4. Síntesis dimensiones y macrodimensiones del instrumento propuesto

La Figura 4 surge desde la información levantada, analizada y sistematizada a partir de los insumos de esta investigación, por lo que constituye una síntesis de RECLiTeM. Las distintas dimensiones identificadas las agrupamos en las siguientes macrodimensiones: a) situación comunicativa, b) comunicación del conocimiento especializado en Medicina, c) estructura global y oracional, y d) normativa. A continuación, definimos cada una de estas macrodimensiones, de acuerdo con lo declarado por los médicos que imparten docencia en la escuela estudiada, los requerimientos y descriptores presentes en los instrumentos didácticos generados por los académicos de la comunidad y, también, a partir de nuestro propio conocimiento sobre el tema. Posteriormente, para cada dimensión planteamos distintos niveles de desempeño para construir la rúbrica. En adelante, para mayor claridad, ejemplificamos la descripción de las macrodimensiones con fragmentos de los insumos analizados, que son los que, finalmente, justifican la incorporación a la rúbrica de cada dimensión y macrodimensión.

1. Situación comunicativa: de acuerdo con Meza y González (2021), este elemento corresponde al conjunto de requerimientos textuales asociados al contexto situacional en el que se enmarca la producción textual. Por ello, las dimensiones en este punto son:

1.1. Tema, que implica que el texto aborda la materia definida por la tarea de escritura.

1.2. Propósito, esto es, que el texto cumple con la finalidad propia del género discursivo o de la instancia comunicativa en la que se desarrolla la escritura.

1.3. Audiencia, vale decir, que el texto responde a las necesidades de sus potenciales lectores.

La necesidad de incorporar estos aspectos en nuestra rúbrica se advierte en la Figura 3, razón por la que no presentamos más ejemplos para la macrodimensión situación retórica. Para los casos siguientes, a medida que presentemos cada macrodimensión, incluiremos algunos fragmentos, numerados entre corchetes, de los insumos revisados (entrevistas, rúbricas generadas por profesores de la disciplina, textos auténticos de los estudiantes), que justifican la inclusión en la rúbrica de los ítems que hemos considerado.

2. Comunicación del conocimiento especializado en Medicina: esta macrodimensión se refiere al conjunto de propiedades lingüísticas y discursivas que deben integrar los textos que tienen por finalidad comunicar conocimiento especializado propio del ámbito de la medicina. Dichas propiedades son seis:

2.1. Léxico médico, que implica el uso de la terminología técnica de la disciplina, incorporando los conceptos especializados en construcciones que permiten comunicar su significado.

2.2. Estructura interna: modalidad expositiva, dimensión que apunta a la integración de todos los elementos propios de la estructura del texto, considerando el género que se produce, tales como la descripción precisa de los datos del paciente o su contexto de vida y el relato de los síntomas o acontecimientos vividos por el paciente.

2.3. Estructura interna: modalidad argumentativa, que dice relación con la incorporación de todos los elementos correspondientes a la estructura del texto, como: hipótesis médica, antecedentes médicos, evidencia clínica o bibliográfica y conclusión médica.

2.4. Tratamiento de la información en modalidad expositiva, dimensión que apunta a la generación de un texto que cumple con los siguientes requisitos: expone la situación o realidad del paciente de manera objetiva; entrega información que permite comprender la situación de salud o contexto familiar del paciente; presenta los datos referidos al estado del paciente o su contexto familiar, utilizando un criterio reconocible (inductivo, deductivo, cronológico); y, también, profundiza los distintos subtemas del texto de manera equilibrada.

2.5. Tratamiento de la información en modalidad argumentativa, dimensión que comprueba que se presenta un texto en el que se genera una conclusión médica precisa, los argumentos sostenidos son respaldados coherentemente con evidencia pertinente y la conclusión médica se sustenta sobre la base de los fundamentos y evidencias entregadas.

2.6. Relación entre los distintos sistemas semióticos, que evalúa que los distintos sistemas semióticos se relacionan de manera lógica y coherente, de acuerdo con los requerimientos del género discursivo, a fin de aportar al cumplimiento del propósito del texto.

Algunos fragmentos que justifican la inclusión de estos elementos son (en todos los casos, el destacado es nuestro):

[1] “Entonces, por donde sea tienen que ser capaces de indagar, buscar esta información y después llevarla a un texto que sea entendible en los términos, ya sea de la medicina o de la salud familiar en este caso” (Entrevista).

[2] “Tiene que seguir esta estructura, tiene que tener un orden cronológico. Me estaba acordando que también se generó un manual de historia clínica, que lo hizo una docente de la oficina de educación médica, que es magister en educación” (Entrevista).

[3] “La generación de hipótesis debe ir desde lo más general a lo particular, partiendo de una hipótesis marco, seguidas de otras más específicas. [...] Se debe procurar que las hipótesis guarden una lógica correlación y concatenación: Causa-efecto; proceso primario a secundario; enfermedad-complicación” (Rúbrica).

[4] “Se realiza una relación entre los eventos fisiopatológicos de la enfermedad y/o exámenes de laboratorio/imágenes con los mecanismos de acción de la terapia de la patología en caso de que sea pertinente. Fundamenta sus opiniones en base a revisión bibliográfica y apoya la explicación de eventos fisiopatológicos con figuras o diagramas ilustrativos” (Rúbrica).

Como se observa en los ejemplos, [1] apunta a la dimensión léxico médico, más concretamente, a la necesidad de utilizar ese tipo de léxico adecuadamente, lo que se traduce en entregar un mensaje entendible para la especialidad médica. Luego, [2] y [3] se vinculan con la organización de la información, esto es, los criterios de orden y modalidades considerados por los médicos. Mientras que [4] da cuenta de que los médicos integran en su evaluación la incorporación de figuras y diagramas, lo que justifica la presencia del ítem “Relación entre los distintos sistemas semióticos”.

3. Estructura global y oracional: corresponde a los atributos de un texto médico referidos a su estructura. Así, las dimensiones que la constituyen son:

3.1. Organización textual en párrafos, dimensión que se orienta a la construcción de párrafos que cumplen con los siguientes criterios: cuentan con por lo menos dos oraciones claramente identificables y, además, cuya extensión permite un desarrollo claro y completo de las ideas integradas.

3.2. Cohesión interoracional, que alude a la utilización de diversos mecanismos de cohesión (reformulación, pronominalización, correferencia, elipsis, deixis, repetición, marcadores discursivos) para establecer relaciones explícitas y cohesivas entre las diversas oraciones.

3.3. Coherencia interpárrafo, que apunta al establecimiento de relaciones coherentes entre los párrafos que componen el texto, lográndose evidenciar un hilo conductor y progresión temática.

3.4. Construcción de frases y oraciones, que dice relación con la construcción de oraciones o frases que están constituidas por un referente identificable y que poseen una sintaxis adecuada.

3.5. Secuencias textuales, dimensión que evalúa la utilización de secuencias textuales adecuadas (definición, descripción, reformulación, especificación) en el desarrollo del texto, las que permiten responder a los requerimientos del género discursivo.

Algunos fragmentos que evidencian la necesidad de incluir estas dimensiones en la rúbrica son:

[5] “Ellos tienen que ir aprendiendo estos esquemas y los van redactando. Ahora, muchas veces es un punteo, también se les pide poder generar un texto (yo le digo prosa, pero es un texto), una descripción más narrativa de lo que ocurre con el paciente” (Entrevista).

[6] “A ver, que tenga una descripción detallada de todo lo que es relevante e importante. Entonces, ahí también está la capacidad del estudiante de ir distinguiendo qué es lo que es importante para cada caso. Tiene que ser veraz, porque además todos nuestros textos pueden tener implicancia médico legal” (Entrevista).

El ejemplo [5] da cuenta de que a los estudiantes de Medicina, a diferencia de los de Derecho por ejemplo (Meza & González, 2021), se les permite que su redacción sea un punteo de ideas y no necesariamente oraciones o párrafos con sentido completo. Por esta razón, construimos un ítem que evalúa la construcción de frases y oraciones, de modo que este punteo estuviese considerado en la rúbrica que presentamos. En tanto que en [6] vemos con claridad la necesidad de integrar secuencias textuales específicas en los textos producidos en el campo de la medicina, en este caso se alude particularmente a la descripción.

4. Normativa: esta última macrodimensión agrupa las dimensiones asociadas al correcto uso de la lengua española con las que debe contar el texto médico disciplinar. En particular, corresponden a:

4.1. Puntuación, que apunta a la utilización adecuada de diversos signos de puntuación.

4.2. Normas sintácticas, dimensión referida a la ausencia de vicios idiomáticos, tales como: discordancia, queísmo, dequeísmo, hipérbaton, barbarismo, cacofonía, etc.

4.3. Normas de ortografía literal y acentual, que dice relación con el uso correcto de tildes y de letras.

Un fragmento que sustenta la incorporación de estas dimensiones es:

[7] “Letra legible (en los casos clínicos entregados con letra manuscrita) sin faltas de ortografía. Destaca aspectos importantes, utiliza un lenguaje médico adecuado” (Rúbrica).

Como se observa en el fragmento [7], los médicos evalúan la ortografía de sus estudiantes. Ello, a pesar de que para uno de los entrevistados la importancia de este elemento es casi nula, como se advierte en el siguiente fragmento tomado de una de las entrevistas:

[8] “¿Qué importancia tiene para el futuro? Ninguna ¿Van a ser malos redactores? Sí ¿Van a tener mala ortografía? Sí, ¿qué importancia le da eso a la universidad? Ninguna” (Entrevista).

En síntesis, toda la información recogida, analizada y sistematizada, a partir de los distintos insumos entregados por los docentes y estudiantes de la escuela de Medicina que es parte de esta investigación, ha permitido diseñar una rúbrica para evaluar la calidad lingüístico-discursiva de los textos disciplinares propios de la labor de un médico, producidos por estudiantes de Medicina en formación. Luego de todos los procesos de validación mencionados en el apartado metodológico, RECLiTeM ha quedado constituida por 4 macrodimensiones, 17 dimensiones (ver Figura 4) y distintos niveles de desempeño para cada una de estas dimensiones. Por razones de espacio, en este artículo se ofrecen solo los elementos constituyentes de la rúbrica propuesta; sin embargo, una versión completa de ella se puede encontrar en: https://paulinameza.org/instrumentos-de-evaluacion/. Además, en la Figura 5 presentamos un ejemplo de la dimensión “Organización textual en párrafos”, donde se puede observar sus niveles de progresión y el puntaje asignado a cada uno:

Figura 5. Dimensión “Organización textual en párrafos” de RECLiTeM

Ahora bien, en cuanto a los resultados de los distintos procedimientos de validación a los que fue sometida la rúbrica diseñada, ellos se evaluaron en términos cualitativos, incorporando las sugerencias por parte del experto, los jueces y las evaluadoras del pilotaje. Además, los resultados de esto dos últimos procedimientos de validación se estimaron en términos de porcentaje de acuerdo y coeficiente Kappa Fleiss (1971). Estos resultados se presentan, a continuación, en la Tabla 1.

Tabla 1. Resultados procedimientos de validación

	Etapa 1	Etapa 2
	Juicio de Expertos
Porcentaje de acuerdo	63,16%	--
Coeficiente Kappa de Fleiss (1971)	0,6	--
	Aplicación Piloto
Porcentaje de acuerdo	68,62%	90,2%
Coeficiente Kappa de Fleiss (1971)	0,7	0,9

Como se observa en la Tabla, para la evaluación a través del juicio de expertos, obtuvimos un porcentaje de acuerdo de 63,16% y un coeficiente Kappa de 0,6. Este último, de acuerdo con la escala de Landis y Koch (1977), corresponde a un acuerdo considerable o sustancial.

Por otro lado, la aplicación piloto fue realizada en dos etapas, a fin de entrenar de mejor forma a las evaluadoras que aplicaron la rúbrica y lograr mayor consistencia. En la primera etapa, el porcentaje de acuerdo alcanzó un 68,62% y el coeficiente Kappa Fleiss (1971) un 0,7. Por su parte, en la segunda etapa del pilotaje, el porcentaje de acuerdo fue de 90,2% y el coeficiente Kappa Fleiss (1971) de 0,9. De acuerdo con estos resultados, la segunda etapa del pilotaje supera ampliamente el valor de referencia mínimo para la validación del porcentaje de acuerdo establecido por Blessing y Chakrabarti (2009); además, el resultado del coeficiente Kappa de Fleiss (1971) alcanzó un valor que corresponde a un acuerdo casi perfecto, en términos de la interpretación de Landis y Koch (1977). En consecuencia, en la segunda aplicación piloto, todos los índices mejoraron, lo que indica que, sin duda, los ajustes realizados optimizaron el instrumento. Asimismo, todos los índices presentados nos permiten afirmar que el instrumento propuesto alcanza un índice de validez adecuado.

4. Conclusiones

El objetivo de investigación de este estudio fue proponer un instrumento de evaluación contextualizado que permitiera valorar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de Medicina. Esta finalidad se alcanzó cabalmente, pues presentamos una rúbrica basada, por una parte, en las necesidades declaradas por los médicos que se desempeñan como docentes de estudiantes de Medicina; y, por otra, en los recursos didácticos e instruccionales que ellos mismos generan y emplean en el marco de sus cátedras (rúbricas utilizadas por los profesores y textos auténticos producidos por los estudiantes). Además, la rúbrica fue validada exitosamente por expertos de distintas áreas. A partir de este estudio, hemos logrado generar una propuesta que contribuye a resolver un problema detectado en la comunidad disciplinar investigada, donde no cuentan con instrumentos que respondan a los requerimientos de su contexto para evaluar la calidad lingüístico-discursiva de los textos disciplinares producidos por los médicos en formación. A ello hay que agregar que logramos cubrir los vacíos develados inicialmente en la introducción de este artículo.

En esta línea, creemos que nuestro trabajo supera otras propuestas similares sobre el tema. Esto, debido a que la rúbrica que ofrecemos da cuenta de que los elementos para la evaluación de la escritura propuestos en otros trabajos, muchas veces desde una perspectiva normativa y arbitraria, en su mayoría, no coinciden con los que realmente se requieren en una comunidad disciplinar específica. Así, por ejemplo, en textos médicos disciplinares no cabría evaluar la gran mayoría de los 23 ítems propuestos por Tapia, Burdiles y Arancibia (2003). De esos 23 puntos, solo coincidimos en la consideración de algunas de las dimensiones que las autoras agrupan bajo el título “Calidad del escrito”, que contempla aspectos como: corrección gramatical, uso adecuado del léxico, ordenación coherente de las ideas, puntuación y ortografía, entre otros (Tapia et al, 2003). De la misma forma, los elementos establecidos por Morales (2004) tampoco serían pertinentes para evaluar textos de Medicina de acuerdo con las necesidades de la comunidad disciplinar. Estas diferencias podrían atribuirse al hecho de que, de forma similar a la gran mayoría de los trabajos existentes hasta la fecha, los autores mencionados desarrollan sus propuestas para géneros académicos transversales, no disciplinares.

Si nos circunscribimos al área de Medicina, nuestro instrumento de evaluación sigue diferenciándose de los trabajos existentes. Esto, debido a que aquellas propuestas se han centrado en aspectos como, por ejemplo, el desempeño de los estudiantes en una entrevista clínica (Aulet et al., en prensa), por lo que, en ningún caso, se evalúa algún aspecto de la producción escrita. Otros trabajos desarrollan instrumentos para evaluar la escritura de los médicos en formación, pero desde el punto de vista de la escritura reflexiva (Wald et al., 2012; Miller-Kuhlmann, O’Sullivan & Aronson, 2016), que no dice relación con la producción de géneros propios del desempeño profesional de un médico; o, también, para evaluar géneros académicos transversales como el ensayo (Bitrán et al., 2009), no géneros específicos, propios de la labor de un médico. Además, todos estos trabajos, excepto el de Bitrán et al. (2009), se desarrollaron para el inglés.

En síntesis, el objetivo de todos estos trabajos mencionados difiere del nuestro, lo que explica las diferencias encontradas y, también, refuerza la novedad y necesidad del instrumento generado. En este sentido, como hemos señalado (Meza & González, 2021), creemos que las ideas desarrolladas acentúan la importancia de realizar una investigación empírica previa al diseño de cualquier intervención en la didáctica o evaluación de la escritura, de modo de responder a las necesidades concretas de una comunidad disciplinar específica.

En conclusión, uno de los valores de la rúbrica que ofrecemos, de forma similar a otros trabajos realizados previamente (Meza & González, 2021), dice relación con que no se ha construido de forma normativa ni arbitraria. Dicho de otro modo, no desarrollamos el instrumento sobre la base de lo que nosotros como especialistas en escritura creemos y decidimos que se debe evaluar en los textos de los médicos en formación. De esta forma, presentamos una rúbrica empíricamente fundada, esto es, son los propios médicos-docentes quienes nos han señalado qué evalúan y cuáles son, en definitiva, las características de calidad de los escritos producidos en su comunidad disciplinar.

Además, RECLiTeM es un instrumento bastante versátil, primero, porque fue diseñado para evaluar dos géneros médicos: Ficha Clínica y Estudio Familiar. Segundo, porque puede tener usos diversos como, por ejemplo, evaluar las producciones textuales de médicos en formación, que es el objetivo central del proyecto mayor en el que se enmarca este trabajo; guiar a los profesores formadores de médicos en la evaluación de aspectos lingüístico-discursivos en los textos de sus estudiantes, sobre la base de dimensiones declaradas y validadas por su comunidad, entre otros. Del mismo modo, la rúbrica podría ser utilizada por los estudiantes para revisar los elementos lingüístico-discursivos de los textos que producen. O, incluso, RECLiTeM podría usarse en la didáctica de la escritura en Medicina, por ejemplo, utilizando el nivel de desempeño más alto para enseñar a los médicos en formación a producir géneros propios de su desempeño profesional. Asimismo, el origen interdisciplinario del instrumento (creado por lingüistas y educadores sobre la base de las necesidades del ámbito de la Medicina) permite que sea utilizado por profesionales de distintas áreas.

Adicionalmente a lo señalado, RECLiTeM logra posicionarse como un gran avance desde la evaluación, pues, dadas las características del instrumento, este se enmarca desde un enfoque de evaluación auténtica (Ahumada, 2005). Ello significa que la propuesta no responde a situaciones de aprendizaje ficticias, sino que tiene un referente concreto en la realidad, vale decir, las actividades de escritura a las que esta estrategia de evaluación se asocia corresponden a situaciones comunicativas que efectivamente los futuros médicos deberán desempeñar en el ejercicio de su profesión. De esta manera, la rúbrica presentada cuenta con un valor agregado correspondiente a asumir el desarrollo de la competencia escritural desde una perspectiva situada, donde se integren distintos saberes a fin de alcanzar aprendizajes verdaderamente significativos, de tal manera que sea posible propiciar procesos de transferencia de habilidades a variados contextos de desempeño o diversos niveles de exigencia.

Si bien este trabajo constituye un aporte importante en distintos ámbitos, como el de la lingüística aplicada, del discurso especializado de la Medicina y de la educación médica, creemos que pueden persistir algunas limitaciones, como, por ejemplo, el reducido número de médicos participantes en las entrevistas en profundidad. No obstante, ello se justifica por el alto grado de especialización de los participantes, lo que también se intentó resolver mediante la integración de otras fuentes de información como los textos auténticos generados por los estudiantes y los recursos didácticos elaborados por los académicos de que forman a futuros médicos. De esta manera, se configuró un caso que permitiera contar con información desde variadas vertientes, de tal manera que al momento de generar el instrumento de evaluación se lograra integrar esta diversidad y no se visualizara únicamente una mirada respecto del fenómeno a valorar.

Finalmente, la necesidad de un instrumento como el que proponemos es avalada por las afirmaciones de diversos investigadores. Así, por ejemplo, Cyr et al. (2014) destacan que el uso de una rúbrica permite mejorar la consistencia al calificar tareas subjetivas y, además, proporciona retroalimentación fundamental para los estudiantes. De tal manera que una propuesta de estas características no solo se transforma en un insumo de evaluación con intencionalidad sumativa, sino que también se posiciona como una instancia de formación al entregar orientaciones a los estudiantes respecto del nivel de desarrollo de la habilidad en el que se encuentran y hasta dónde se espera que lleguen para valorar su desempeño como óptimo.

Agradecimientos y financiamiento

La investigación fue realizada gracias al financiamiento del Fondo Nacional de Desarrollo Científico y Tecnológico, a través del Proyecto FONDECYT N° 11170128, titulado “Caracterización discursiva de géneros producidos por estudiantes de Derecho y Medicina: su relación con la percepción de la autoeficacia en la escritura, la calidad general del texto y la evaluación disciplinar” . Y, además, gracias al apoyo de la Dirección de Investigación de la Universidad de La Serena.

Referencias bibliográficas

Aguilar-Vargas, E., Rodríguez-Castellanos, A., Baeza, L. & Méndez, N. (2016). La retroalimentación constructiva en el desarrollo de habilidades comunicativas escritas e investigativas en dos generaciones de alumnos de medicina en Yucatán, México. Anales de la Facultad de Medicina, 77(2), 137-142. doi: 10.15381/anales.v77i2.11818.

Ahumada, P. (2005). La evaluación auténtica: Un sistema para la obtención de evidencias y vivencias de los aprendizajes. Perspectiva educacional. Formación de profesores, 45, 11-24.

Aulet, T., Moore, J., Callas, P., Nicholas, C. & Hulme, M. (en prensa). Trust me: Validating an assessment rubric for documenting clinical encounters during a surgery clerkship clinical skills exam. The American Journal of Surgery. doi: 10.1016/j.amjsurg.2018.12.055.

Azcuy, Y., García, Y., Matanzas, N., Hernández, Y. & Verdayes, A. (2015). Estrategia didáctica para el desarrollo de la habilidad de escritura en primer año de la carrera de Medicina. Revista de Ciencias Médicas, 19(5), 877-890.

Bautista, N. (2011). Proceso de la investigación cualitativa. Epistemología, metodología y aplicaciones. Bogotá, Colombia: Editorial El Manual Moderno.

Bisquerra, R. (2009). Metodología de la investigación educativa. Madrid: La Muralla.

Bitrán, M., Zúñiga, D., Flotts, P., Padilla, O. & Moreno, R. (2009). Mejoría en las habilidades de comunicación escrita de estudiantes de medicina: Impacto de un taller de escritura. Revista Médica de Chile, 137, 617-624. doi: 10.4067/S0034-98872009000500004.

Cristina, I. (2010). La deserción universitaria en primer año. (Tesis de pregrado). Universidad Nacional de La Plata, La Plata, Argentina.

Collier, R. (2017). A call for clarity and quality in medical writing. CMAJ, 189 (46) E1407. doi: 10.1503/cmaj.171265.

Creswell, J. (2009). Research design: qualitative, quantitative and mixed methods approaches. Londres: Sage.

Cyr, P., Smith, K., Broyles, I. & Holt, C. (2014). Developing, evaluating and validating a scoring rubric for written case reports. International Journal of Medical Education, 5, 18-23. doi: 10.5116/ijme.52c6.d7ef.

Departamento de Evaluación, Medición y Registro (2018). Proceso de admisión 2019- Oferta Definitiva de carreras, Vacantes y Ponderaciones. Santiago de Chile: DEMRE.

Fleiss, J. (1971). Measuring Nominal Scale Agreement among many Rater. Psychological Bulletin, 76(5), 378-382. doi: 10.1037/h0031619.

Freelon, D. (2010). ReCal: Intercoder reliability calculation as a web service. International Journal of Internet Science, 5, 20-33.

González-Catalán, F. (2020). Enfoques de enseñanza: hacia una caracterización desde comunidades docentes de educación superior técnico profesional. Revista Iberoamericana de Educación Superior, 11(30), 160-180. doi: 10.22201/iisue.20072872e.2020.30.594.

Gotti, M. y Salager-Meyer, F. (2016). Teaching medical discourse in higher education: An introduction. Language Learning in Higher Education, 6(1), 1-13. doi: 10.1515/cercles-2016-5001.

Hung, H., Chen, P. & Tsai, J. (2012). Rhetorical structure and linguistic features of case presentations in case reports in Taiwan ese and international medical journals. Journal of English for Academic Purposes, 11(3), 220-228. doi: 10.1016/j.jeap.2012.04.004.

Jiménez, J. (2019). La lingüística clínica: discriminación disciplinaria y aproximación nocional desde la transversalidad. La lingüística clínica: discriminación disciplinaria y aproximación nocional desde la transversalidad. Logos: Revista de Lingüística, Filosofía y Literatura, 29(2), 286-303. doi: 10.15443/rl2923.

Krippendorff, K. (2018). Content analysis: An introduction to its methodology. Los Ángeles, Estados Unidos: Sage.

Landis, R. & Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. doi: 10.2307 / 2529310.

Meza, P. & González, F. (2021). Un instrumento para evaluar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de derecho. Onomázein, 51 doi: 10.7764/onomazein.51.08.

Miller-Kuhlmann, R., O’Sullivan, P. & Aronson, L. (2016). Essential steps in developing best practices to assess reflective skill: A comparison of two rubrics. Medical Teacher, 38(1), 75-81. doi: 10.3109/0142159X.2015.1034662.

Morales, F. (2004). Evaluar la escritura, sí... Pero ¿Qué y cómo evaluar? Acción Pedagógica, 13, 38-49.

Porta, L. & Silva, M. (2003). La investigación cualitativa: el análisis de contenido en la investigación educativa. Recuperado de: http://revistas.bibdigital.ucc.edu.ar/index.php/adiv/article/viewFile/3211/1792

Rawson, R., Quinlan, K., Cooper, B., Fewtrell, C. & Matlow, J. (2005). Writing-Skills Development in the Health Professions. Teaching and Learningin Medicine, 17(3), 233-238. doi: 10.1207/s15328015tlm1703_6.

Ruiz, J. (2012). Metodología de la investigación cualitativa. Bilbao: Universidad de Deusto.

Silva, C. (2019). El buen uso del idioma español en la literatura médica. Revista Médica de Chile, 147(5), 643-649. doi: 10.4067/S0034-98872019000500643.

Smith, S., Kogan, J., Berman, N., Dell, M., Brock, D. & Robins, L. (2016). The Development and Preliminary Validation of a Rubric to Assess Medical Students’ Written Summary Statements in Virtual Patient Cases. Academic Medicine, 91(1), 94-100. doi: 10.1097/ACM.0000000000000800.

Tapia, M., Burdiles, G. y Arancibia, B. (2003). Aplicación de una pauta diseñada para evaluar informes académicos universitarios. Revista Signos. Estudios de Lingüística, 36(54), 249-257. doi: 10.4067/S0718-09342003005400009.

Uribe, O. y Carrillo, S. (2014). Relación entre la lecto-escritura, el desempeño académico y la deserción estudiantil. Entramado, 10(2), 272-285.

Wald, H., Borkan, J., Taylor, J., Anthony, D. y Reis, S. (2012). Fostering and Evaluating Reflective Capacity in Medical Education: Developing the REFLECT Rubric for Assessing Reflective Writing. Academic Medicine, 87(1), 41-50. doi: 10.1097/ACM.0b013e31823b55fa.

Yin, R. (2003). Case Study Research: Design and Methods. London: Sage.

Notas

* Instituto de Investigación Multidisciplinar en Ciencia y Tecnología de la Universidad de La Serena, Chile

** Escuela de Derecho de la Pontificia Universidad Católica de Valparaíso, Chile