32_1

Resumen: Los objetivos de la investigación fueron describir el desempeño de los estudiantes de educación secundaria en una evaluación directa y una evaluación indirecta de la escritura, y determinar el grado de relación entre el desempeño en ambas evaluaciones. La metodología fue cuantitativa e incluyó la participación de una muestra de estudiantes de curso final de educación secundaria en Chile (n= 143). Los participantes realizaron una evaluación directa de la escritura, específicamente un ensayo argumentativo que fue calificado en 8 dimensiones; y una evaluación indirecta, que correspondió a ejercicios de uso de conectores y ordenación de enunciados. En el estudio se comprobó que los estudiantes exhiben un desempeño medio-bajo en ambas evaluaciones. En la evaluación directa las dimensiones Ortografía, Coherencia, Cohesión y Uso de argumentos fueron las más descendidas. Por último, se observó que el desempeño en la evaluación directa y la evaluación indirecta de la escritura son independientes entre sí, es decir, no están correlacionados.

Palabras clave: escritura - evaluación escrita - calidad de la escritura

Abstract: The objectives of the research were to describe the performance of high school students in a direct assessment and an indirect assessment of writing and to determine the degree of relationship between performance in both tests. The methodology was quantitative and included the participation of a sample of high school seniors in Chile (n = 143). The participants took a direct assessment of writing, specifically an argumentative essay evaluated in 8 dimensions; and an indirect assessment, which corresponded to exercises in the use of connectors and sentence order. In the study, we found that the students presented an average performance in the direct and indirect evaluation. In the direct evaluation, the dimensions Spelling, Coherence, Cohesion and Use of arguments were the lowest-performing. Finally, we found that there is no correlation between performance in the direct and indirect assessment of writing.

Keywords: writing - writing assessment - writing quality

1. Introducción

La escritura, sin lugar a duda, es una herramienta indispensable para el aprendizaje, para la socialización, para el desarrollo de la creatividad (Behizadeh & Engelhard, 2011; Errázuriz et al., 2015; Graham et al., 2013; Kieft et al., 2006; Navarro et al., 2020; Sotomayor et al., 2017). Por ello, existe la necesidad de evidenciar el desempeño que tienen los estudiantes a lo largo del periodo formativo, monitoreando e identificando los aprendizajes alcanzados y los no logrados (Albarrán Santiago, 2009; Behizadeh & Engelhard, 2011; Kim et al., 2017; Zheng & Yu, 2019). Todo esto, con el propósito de generar propuestas de enseñanza que permitan la mejora de las competencias escritas o también para conocer cómo se desempeñarán los estudiantes en otros contextos. Por ello, nada mejor que las muestras reales de la escritura de un estudiante (Diederich, 1974; Winn & Behizadeh, 2011).

En Chile, en los últimos años, se observa un amplio cuerpo investigativo que indaga sobre la producción escrita en contextos de aprendizaje (Bañales et al., 2018; Errázuriz, 2019; Errázuriz et al., 2015; Figueroa et al., 2019; Flores-Ferrés et al., 2020; Gómez et al., 2016; Navarro & Mora-Aguirre, 2019; Sotomayor et al., 2013, 2014, 2016, 2017; Valenzuela, 2020). Estas investigaciones, por un lado, han posibilitado conocer el proceso de producción escrita y el desempeño de los estudiantes en sus tareas de escritura; y, por otro lado, han permitido identificar propuestas de enseñanza y aprendizaje efectivas. En relación con esto, cabe destacar los aportes en la enseñanza de la gramática, la ortografía o el trabajo realizado en cuanto a la argumentación (ver Figueroa et al., 2019; Gómez et al., 2016; Sotomayor et al., 2017).

Sin embargo, pese a estos avances, la investigación sobre la producción escrita no ha abarcado de la misma manera los distintos contextos de aprendizaje. El grueso de las investigaciones se ha centrado en los contextos de educación primaria y en los de educación superior, dejando de lado la educación secundaria. Si bien no hay claridad sobre las causas de esta dinámica investigativa, en la literatura se señala el efecto que tienen las evaluaciones estandarizadas en el quehacer educativo, y al parecer, también en el investigativo (Prieto Egido, 2019; Winn & Behizadeh, 2011). En ese sentido, por ejemplo, no resulta extraño que parte importante de la investigación sobre escritura se centre en la enseñanza primaria, ya que en uno de estos niveles es donde se aplica una evaluación estandarizada de escritura (Agencia de Calidad de la Educación de Chile, 2016). Así, esta evaluación directa de la escritura aplicada a todos los estudiantes de sexto grado de primaria (alrededor de 11 años) actuaría como una especie de promotor1 para la generación de conocimiento sobre el desempeño de los estudiantes, y fomentaría el diseño de sugerencias y actividades para el desarrollo de la producción escrita (Ávila Reyes et al., 2015; Barrenechea, 2010; Sotomayor et al., 2017).

En el caso de la enseñanza secundaria chilena, las evaluaciones estandarizadas que se aplican a los estudiantes han medido, principalmente, las habilidades de comprensión lectora (Agencia de Calidad de la Educación de Chile, 2018; DEMRE - Universidad de Chile, 2016, 2020b). La producción escrita solo se evaluaba en la prueba de selectividad, que algunos estudiantes rendían para postular a la educación superior. No obstante, en esta evaluación, la escritura se medía de forma indirecta -o por proxy-. Vale decir, los postulantes no generaban textos reales, sino más bien, debían resolver ejercicios de selección múltiple (5 alternativas) que evaluaban el desempeño escrito en dos propiedades textuales: coherencia y cohesión (DEMRE - Universidad de Chile, 2016). Así, esta evaluación indirecta de la producción escrita no permitía asumir la escritura como una actividad compleja, significativa, diversa, tipificada en géneros discursivos ni menos situada (Navarro et al., 2019); sino que, por el contrario, se la proponía como una actividad mecánica y genérica, limitada a dos propiedades textuales. Sin embargo, lo que más llama la atención sobre esta forma de evaluar la escritura, es que no hay tanta claridad, a lo menos en el contexto latinoamericano, en cuanto a la relación entre el desempeño de los estudiantes en las evaluaciones indirectas con el desempeño en las evaluaciones directas.

Así, el uso de ejercicios que evaluaban de manera indirecta la escritura, las cuales se utilizaron por más de 30 años en la prueba de selectividad chilena2, al parecer ha incidido en la escasa presencia de la escritura en el actuar pedagógico y en las formas de enseñanza en la educación secundaria (Ávila Reyes, 2019; Navarro et al., 2019); relacionándose, además, con el cuasi-abandono de la escritura en estos contextos a nivel investigativo. Pero lo que resulta más relevante es la poca claridad en cuanto a la relación entre el desempeño en la escritura directa y la evaluación indirecta de la escritura (Diederich, 1974; Winn & Behizadeh, 2011). Entonces, a modo de resumen, se evidencian, a los menos, dos problemáticas: conocimiento limitado del desempeño de los estudiantes en la enseñanza secundaria en tareas de escritura; y la poca claridad sobre la relación entre el desempeño en las evaluaciones directas e indirectas de la escritura.

Por tanto, el estudio actual tiene por objetivo describir el desempeño de los estudiantes de enseñanza media en una evaluación directa e indirecta de la escritura, y determinar el nivel de relación entre el desempeño en ambas evaluaciones. De esta forma, se propone resolver las siguientes dos preguntas: ¿cómo es el desempeño de los estudiantes de educación secundaria en una evaluación directa e indirecta de la escritura?, y ¿existe una correlación estadísticamente significativa entre el desempeño de los estudiantes de secundaria en una evaluación directa y una indirecta de la escritura? De esta forma, esta investigación intenta contribuir con un mayor conocimiento empírico que pueda dar pistas sobre el uso de este tipo de evaluaciones y su relación con el desempeño en escritos reales.

2. Método

2.1 Participantes

En el estudio participaron 143 estudiantes (edad M= 16.99; SD= .167; 54.5% mujeres) de 4° año de enseñanza media (curso final de secundaria en Chile) de tres establecimientos educacionales en la ciudad de Talca. La muestra fue homogénea con respecto a las características socioeconómicas (colegios particulares subvencionados). Los estudiantes participaron voluntariamente firmando un asentimiento informado, previa autorización del establecimiento y consentimiento de sus padres. Ambos documentos garantizaban la confidencialidad de los datos personales y el derecho a concluir con la evaluación cuando los participantes lo desearan.

2.2 Materiales e instrumentos

Se diseñaron dos instrumentos para medir el desempeño de los estudiantes. El primero consistió en una evaluación indirecta de la escritura, similar a la que se utilizaba en el proceso de postulación a la educación superior en Chile antes del 2021 (Tabla 1). El instrumento diseñado consta de 15 ejercicios, 6 relacionados al uso de conectores y 9 de ordenación de secuencias o plan de redacción. En los ejercicios de uso de conectores, se midió la capacidad de reconocer y emplear elementos conectivos para restituir la conexión morfosintáctica entre los segmentos de uno o más enunciados incompletos (Miralles et al., 2006). Este tipo de ejercicios históricamente se ha relacionado a la cohesión. Para evaluar la coherencia, se utilizaron ejercicios denominados plan de redacción. Estos ejercicios medían la capacidad de ordenar coherentemente las ideas de un texto virtual con el fin de restituir la secuencia de dichas ideas para lograr una ordenación coherente del texto (Miralles et al., 2006).

Tabla 1. Ejercicios de la evaluación indirecta de la escritura

a) uso de conectores

b) plan de redacción

La psicología plantea que la presencia de un amigo imaginario antes de los 5 años es positiva ________ necesaria. _______advierte que si esta se manifiesta más allá de los siete años puede ser producto de alguna alteración emocional.

A) pero no Por lo que

B) tanto como Pese a ello

C) y, Por lo tanto

D) y por eso En consecuencia

E) e incluso Sin embargo

Javier Pinedo

1. Centra su investigación en el pensamiento latinoamericano en el siglo XIX y en el XX.

2. Su formación académica la realiza fuera de Chile.

3. Antes de su muerte, dirigió el doctorado en ciencias humanas de la Universidad de Talca.

4. Docente e investigador de una universidad chilena.

5. Famosas son sus obras sobre el desarrollo de las Ideas.

A) 4 - 1 - 2 - 5 - 3

B) 3 - 1 - 5 - 4 - 2

C) 3 - 2 - 1 - 4 - 5

D) 3 - 1 - 5 - 2 - 4

E) 4 - 2 - 1 - 5 – 3

Fuente: elaboración propia, 2020

El segundo instrumento que se utilizó se basó en un diagnóstico de escritura para estudiantes de primer año de universidad (Ávila Reyes et al., 2011; Errázuriz et al., 2015). Este instrumento consistió en una prueba de escritura en donde los estudiantes debían efectuar un ensayo argumentativo. Con el objetivo de otorgar el mayor andamiaje posible y facilitar el acceso al conocimiento del tópico, la primera hoja del instrumento contiene tres temas y una reseña que permitía activar los conocimientos previos. Los temas propuestos fueron: 1. consumo de drogas blandas, 2. eutanasia, y 3. avances tecnológicos. De este modo, la primera carilla del instrumento tenía la información de identificación del participante, los temas para el ensayo, el tiempo asignado y los indicadores de evaluación.

Finalmente, se evaluó la consistencia interna de ambos instrumentos. Para el instrumento de evaluación indirecta se utilizó el método de Kuder-Richardson-20, el cual entregó una puntuación de .778, considerada aceptable. Para el instrumento de evaluación directa se evaluó la consistencia de los criterios de desempeño y se obtuvo un puntaje adecuado para el estudio (Alpha de Cronbach = .747).

2.3 Procedimiento

La aplicación de ambos instrumentos se realizó de manera grupal en las salas de clases de cada nivel y en el horario de la asignatura de lenguaje. La aplicación fue realizada por dos asistentes de investigación junto con el profesor(a) de la asignatura. Los participantes sabían de la aplicación de las pruebas, ya que previamente se le pidió la autorización al equipo de gestión del establecimiento, a los profesores y apoderados (o tutores) de los estudiantes.

Al inicio de la sesión, a los estudiantes se les informó sobre los objetivos del estudio, se explicó en qué consistía la evaluación y se les entregó el asentimiento. Posterior a esto, a quienes aceptaban participar (previa autorización de los tutores o apoderados), se les facilitó el instrumento 1 “Evaluación indirecta de la escritura” y una hoja de respuesta. A los estudiantes se les reiteró que disponían de 25 minutos para completar los ejercicios. Una vez completado el tiempo, se retiraba el instrumento 1 y se entregaba el instrumento 2 “Evaluación directa de la escritura”. Una vez que todos los estudiantes tenían la segunda evaluación, se procedía a leer las instrucciones de la tarea. El tiempo asignado para la segunda evaluación fue de 45 minutos. Antes de los 10 minutos de finalizar, se les señalaba el tiempo que restaba. Cumplido el tiempo programado, se retiraba el instrumento 2, y se agradecía la participación de los estudiantes y del profesor(a) del curso.

La secuencia de aplicación de las pruebas se siguió en los tres establecimientos. Cuando se terminó de recolectar y procesar los datos, los resultados fueron compartidos con los profesores y equipo de gestión de cada establecimiento.

2.4 Evaluación de la escritura directa e indirecta

Para la evaluación directa de la escritura, se utilizó una rúbrica analítica con ocho dimensiones (ortografía, vocabulario, estructura global, coherencia, cohesión, tesis, calidad de los argumentos y conclusión) y cuatro niveles de desempeño (óptimo, satisfactorio, suficiente e insuficiente). El equipo de evaluadores estaba compuesto por 10 revisores, todos estudiantes finales de una carrera de formación pedagógica del área del lenguaje, quienes participaron de manera voluntaria, aunque recibieron un incentivo monetario por las revisiones. Todos los jueces que participaron de la evaluación tuvieron una sesión de entrenamiento y calibración. Posterior a esta sesión, se distribuyó un set de evaluaciones (alrededor de 28 evaluaciones a cada juez). El 100% de los productos escritos tuvieron una doble evaluación. Todas las dudas y discrepancias fueron revisadas por un tercer revisor con más experiencia. Así, el porcentaje de acuerdo Inter juez para los indicadores tuvo un promedio de 67.13%.

Por último, cabe señalar que, en la evaluación indirecta, los estudiantes respondieron las preguntas en una hoja de respuesta, la que fue procesada y analizada con el software ZipGrade (https://www.zipgrade.com/).

Tabla 2. Indicadores de la evaluación directa de la escritura

Dimensiones evaluadas	Descriptor
1. Ortografía	Grado en que el texto presenta una adecuada ortografía acentual, literal y puntual.
2. Vocabulario	Grado en que el léxico utilizado en el texto es diverso, formal y libre de vicios lingüísticos (escritura errada de palabras o expresiones).
3. Estructura global	Grado en que el texto presenta una introducción, un desarrollo y una conclusión adecuados.
4. Coherencia	Grado en que el texto presenta relaciones lógico-semánticas entre oraciones y párrafos, expresadas en conectores que otorgan unidad semántica.
5. Cohesión	Grado de cohesión textual, es decir, del adecuado uso de la gramática oracional y de los conectores que vinculan los enunciados
6. Tesis	Grado en que el texto se identifica con un punto de vista claro, explícito y controversial sobre el tema enunciado.
7. Argumentos	Grado en que el texto formula al menos dos argumentos válidos para apoyar la tesis y los desarrolla.
8. Conclusión	Grado en que en el texto cierra la propuesta argumentativa basado en la tesis y en los argumentos presentados.

Fuente: elaboración propia, 2020

3. Análisis de datos

Con el propósito de analizar el desempeño de los estudiantes de educación secundaria en una evaluación directa e indirecta de escritura se utilizaron medidas de tendencia central. Además, se realizó, como medida de control, una serie de Anova unifactoriales para analizar las posibles diferencias entre el establecimiento educacional (n =3) y el sexo de los estudiantes (n= 2). Por ello, tomamos como variable independiente el establecimiento educacional y como variable dependiente el porcentaje de rendimiento en la evaluación directa e indirecta de la escritura. Se siguió el mismo procedimiento para analizar posibles diferencias por la variable sexo. En este análisis no se observaron diferencias significativas, ps > .68. Posterior a este análisis de control, con la evaluación directa se procedió a comparar el desempeño en los indicadores relacionados a aspectos comunicativos y de forma (ortografía, vocabulario, estructura global, coherencia, y cohesión) y los aspectos particulares del género (tesis, argumentos y conclusión). Es decir, se generó un puntaje global para los aspectos comunicativos y de forma y otro para los aspectos particulares del género agrupando los puntajes de cada indicador.

Para cumplir con el segundo objetivo, determinar si existe una relación entre el desempeño de los estudiantes en la evaluación directa de la escritura (ensayo argumentativo) y la evaluación indirecta (ejercicios de producción de textos), inicialmente se estimaron los índices de simetría y curtosis, así como también se aplicó el test de Shapiro-Wilk. Estos análisis permitieron observar si la distribución de las dimensiones se aproximaba a una normal o no. De manera posterior, se aplicó una correlación de Pearson considerando como variables el porcentaje de rendimiento en la evaluación directa (variable 1) y la evaluación indirecta de la escritura (variable 2). Como una extensión al análisis, se aplicó una matriz de correlación agregando a las variables recién mencionadas, el porcentaje de rendimiento en los ejercicios de uso de conectores y del plan de redacción. Por último, todos los análisis se realizaron con el software estadístico Jamovi 1.1.2. (www.jamovi.org).

4. Resultados

4.1 Desempeño de los estudiantes en la evaluación directa e indirecta

En la evaluación directa de la escritura, los estudiantes tuvieron un porcentaje de logro promedio de 66.4% (SD= 10.3) con una mediana de 65.6%. El mínimo de porcentaje de logro fue 37.5% y el máximo 93.8%. En los indicadores relacionados a aspectos comunicativos y de forma, el rendimiento promedio fue de 2.69 (DS= .49). Tal como se observa en la Figura 1, en el indicador Estructura global y Vocabulario, los estudiantes muestran un rendimiento satisfactorio (M ≥ 3.27). En los indicadores Ortografía, Coherencia y Cohesión el rendimiento fue catalogado en promedio como suficiente (M ≥ 2.15). En Ortografía solo el 4.2% de los estudiantes tuvo un rendimiento óptimo, en Coherencia el 2.8%, y en Cohesión el 1.4%. En estos resultados sobre aspectos comunicativos y de forma, llama la atención lo que sucede con la evaluación de la Ortografía. Si bien no son homologables los criterios de desempeño evaluado en los distintos niveles educativos, se observa que nuestros resultados son similares en cuanto al rendimiento en ortografía de los estudiantes de primer año de universidad (Errázuriz, 2019; Errázuriz et al., 2015) y al de estudiantes de enseñanza primaria (Sotomayor et al., 2014). No obstante, cabe señalar que nuestros resultados, en cierto sentido, contrastan con lo identificado por la misma Sotomayor et al. (2013), ya que ellos observaron una tendencia a la baja de los errores ortográficos a medida que el nivel de escolaridad aumenta. Sin embargo, al parecer, el desempeño en ortografía, independiente del nivel de enseñanza, sigue siendo bajo lo esperado (Clereci et al., 2015; Errázuriz, 2019; Errázuriz et al., 2015; Rico Martín & Níkleva, 2016; Sotomayor et al., 2017).

En cuanto a los resultados en los aspectos propios del género discursivo, en la Figura 1 se observa que el indicador con el desempeño promedio más alto fue la elaboración de la tesis (M= 3.7; SD=.53). En el indicador Uso de argumentos el promedio fue 2.16 (SD= .61) y en el indicador Conclusión 1.92 (DS= .74). En este último indicador fue donde los estudiantes presentaron un menor desempeño con un 51% en el nivel de logro suficiente y el 29.4% en el nivel insuficiente. Estos resultados no difieren de lo exhibido por parte de los estudiantes de educación superior de primer año (Errázuriz, 2019; Errázuriz et al., 2015) y al de los estudiantes de ciclo final de primaria (Figueroa et al., 2019; Figueroa Sandoval et al., 2018). De hecho, en el indicador Uso de argumentos los participantes de nuestro estudio no lograron desarrollar ni fundamentar las ideas de manera clara. En cambio, en la elaboración de la Tesis los estudiantes alcanzaron altos niveles de logro similares a lo observado en otros contextos de enseñanza (Errázuriz, 2019).

Figura 1. Resultados en los indicadores de la evaluación directa de la escritura.

Nota: En el eje X se presenta el porcentaje de estudiantes que obtuvo el desempeño descrito en la leyenda. Fuente: elaboración propia, 2020

En el desempeño en la evaluación indirecta de la escritura, el rendimiento general promedio fue de 62.3% (SD= 16.3%). Al comparar el rendimiento entre los ejercicios de Uso de conectores y el de Ordenación de enunciados, se observa que en el primero los estudiantes tuvieron un desempeño más alto (M= 67.6% vs M= 58.7%; SD= 21.9% vs SD= 18.2%). Al explorar la relación entre el rendimiento en ambos tipos de ejercicios de escritura indirecta, se observó que en el rendimiento hay una relación positiva estadísticamente significativa (r= .363, p <.001). Vale decir, mientras mayor es el rendimiento en los ejercicios de uso de conectores, mayor fue el rendimiento en los de plan de redacción. Esto da cuenta de la semejanza de este tipo de ejercicios de evaluación indirecta (DEMRE - Universidad de Chile, 2016); los cuales están construidos bajo el supuesto de que las dos propiedades evaluadas están interconectadas. En ese sentido, a lo menos en escritos reales, sí se observa esta interdependencia entre la coherencia y la cohesión (Rosado Villegas et al., 2021).

Finalmente, en los aspectos descriptivos, en la Tabla 3 se presentan las medias, SD, mediana, asimetría y curtosis para en rendimiento global en la evaluación directa e indirecta de la escritura. Al mismo tiempo, se presentan el rendimiento en los ejercicios de uso de conectores y de plan de redacción.

Tabla 3. Resultados del desempeño en las evaluaciones directa e indirecta de la escritura

	Escritura directa	Escritura indirecta	Uso de conectores	Plan de redacción
Media	66.4	62.4	67.6	58.7
SD	10.3	16.3	21.9	18.2
Mediana	65.6	66.7	66.7	55.6
Asimetría	-0.281	-0.615	-0.632	-0.433
Curtosis	0.403	0.719	0.352	-0.220

Fuente: elaboración propia, 2020

4.2 Correlación entre el rendimiento en las evaluaciones directas e indirectas

El coeficiente de correlación de Pearson (r) puede calcularse en cualquier grupo de datos, sin embargo, la validez de la prueba de hipótesis sobre la correlación entre las variables requiere que una de las dos variables proceda de una muestra aleatoria de individuos y que al menos una de las variables tenga una distribución normal en la población de la cual procede la muestra (Pardo et al., 2009). Por ello, se procedió a analizar la distribución del rendimiento promedio en ambas tareas de escritura por medio de la prueba Shapiro-Wilk. A través de este indicador, se observa que la distribución en el rendimiento en la evaluación indirecta no es normal (p = .001), en cambio, la distribución en el porcentaje de rendimiento en la evaluación directa sí tiene una distribución normal (p = .059).

En el análisis correlacional, se observa que los desempeños de los estudiantes en ambas evaluaciones son independientes, es decir, no hay una asociación entre la evaluación directa e indirecta de la escritura (r= .061, p = .466). Además, se evaluó la relación entre el desempeño en los ejercicios de conectores y de plan de redacción con el rendimiento general en la evaluación directa de la escritura. En este análisis también se observó independencia entre las variables (ps >.181). Al ampliar el análisis, incorporando el rendimiento en cada uno de los indicadores de la evaluación indirecta con el rendimiento en la evaluación directa, se mantiene la tendencia anterior de ausencia de asociación entre las variables (ps >.240).

De acuerdo con lo anterior, estos resultados muestran que no necesariamente los participantes que hayan obtenido un puntaje alto en la evaluación indirecta vayan a obtener un desempeño similar en tareas de escritura directa (Behizadeh & Engelhard, 2011; National Assessment Governing Board, 2010; Navarro et al., 2019). De este modo, queda de manifiesto, tal como Diederich lo señaló hace más de 50 años, que ninguna prueba de escritura es tan clarificadora como las muestras reales de escritura (Diederich, 1974). En tal sentido, por más que se señale que la evaluación indirecta solo se centra en algunos indicadores de la escritura, nuestros resultados no evidenciaron la relación entre el rendimiento en la evaluación indirecta y el desempeño en ninguno de los 8 indicadores evaluados en el escrito, incluidos los indicadores de coherencia y de cohesión.

5. Conclusiones

Los objetivos del estudio fueron describir el desempeño de los estudiantes de educación secundaria en una evaluación directa (ensayo argumentativo) y una evaluación indirecta de la escritura (ejercicios de producción de textos). Además, buscamos determinar el grado de relación entre el desempeño de los estudiantes en ambas evaluaciones.

Sobre el primer objetivo, se observó que, en la evaluación indirecta de la escritura, el rendimiento promedio en los ejercicios de Uso de conectores fue más alto que en los ejercicios de Ordenación de enunciados. Este resultado supone que los estudiantes tienen una mayor apropiación y dominio de aspectos cohesivos. No obstante, tal como se señaló anteriormente, el desempeño en esta evaluación indirecta no implicó que los estudiantes obtengan un cometido similar al elaborar escritos reales. En cuanto a la evaluación directa de la escritura, llamó la atención el desempeño de los estudiantes en el indicador Ortografía y en el indicador Conclusión. En estos indicadores los estudiantes obtuvieron un bajo desempeño. En ese sentido, estos resultados son similares a lo observado en otros contextos de enseñanza (Errázuriz, 2019; Errázuriz et al., 2015; Figueroa et al., 2019; Rico Martín & Níkleva, 2016); lo cual deja en evidencia la necesidad de intervenciones más precisas y efectivas por parte de las instituciones y los profesores. Al respecto, cabe señalar que, si bien existe un conocimiento de las necesidades y falencias de los estudiantes en cuanto a las habilidades de escritura, con este estudio se evidencia que estas son transversales en los distintos contextos de enseñanza.

Sobre el segundo objetivo, determinar el grado de relación entre el desempeño en la evaluación directa e indirecta de la escritura, es necesario subrayar que si bien la literatura especializada desde los años 30’ del siglo pasado ha reconocido lo poco preciso de la una evaluación indirecta de la escritura (Behizadeh & Engelhard, 2011), en Chile se usó hasta el periodo de postulación a la educación superior del año 2019 en la PSU de Lenguaje (DEMRE - Universidad de Chile, 2020a). En cuanto a los resultados aquí expuestos, no se evidenciaron mayores diferencias con los resultados de estudios previos en países anglosajones (Diederich, 1974; Winn & Behizadeh, 2011). Vale decir, no se observó una correlación (ni positiva ni negativa) entre el desempeño en la evaluación directa (ensayo argumentativo) y la evaluación indirecta (ejercicios de producción de textos). De este modo, el desempeño en la evaluación indirecta o por proxy, no está asociado al desempeño en tareas de escritura reales.

A partir de estos resultados, se colige que generar una instancia de evaluación estandarizada de la escritura utilizando muestras reales, al finalizar la enseñanza secundaria o como parte de la selectividad en la educación superior, supone una ayuda al desarrollo de esta competencia (Navarro et al., 2019). Sobre todo, considerando el efecto que tienen este tipo de evaluaciones en el quehacer educativo (Fernández & Hauri, 2016; Prieto Egido, 2019). Pese a ello, aplicar este tipo de evaluación crea otros desafíos. Por ejemplo, una evaluación de escritura para la selectividad a la educación superior requiere de instrumentos contextuales, que permitan medir dimensiones escritas de alta complejidad, y que no generen brechas entre confiabilidad y validez. De este modo, se requiere de un mayor diálogo entre los especialistas en medición y especialistas en escritura (Behizadeh & Engelhard, 2011). A este respecto, no basta con medir la fiabilidad del instrumento. Un claro avance en esta línea es el trabajo de Navarro y cols. (2019) sobre una prueba estandarizada de la escritura. Otro desafío que surge en el uso de muestras de escritos reales en una evaluación para la selectividad va en línea con una de las grandes críticas que se les hacen a estos instrumentos: el bajo poder predictivo respecto del éxito o fracaso académico (DEMRE - Universidad de Chile, 2016; González et al., 2017). Ante esto, estudios previos han demostrado que la escritura sí es uno de los principales factores del rendimiento en la educación superior (Briyana et al., 2020; Prince & Frith, 2019). Por ello, medir el desempeño escrito de una manera adecuada favorecería el poder predictivo en este tipo de evaluaciones.

Finalmente, se deja de manifiesto que los hallazgos aquí expuestos, si bien contribuyen en el conocimiento sobre la evaluación de la escritura, no están ausentes de limitaciones. De este modo, las conclusiones aquí presentadas se requieren tomar con cautela. Por ejemplo, la muestra (n = 143) es representativa solo de un subsector de la población de estudiantes de finalización de enseñanza secundaria en Chile (establecimientos de administración privada subvencionados por el estado). En futuros estudios se requeriría optar por una muestra mayor que incluya estudiantes de centros educativos públicos, de tal modo que permita una mayor representatividad de la población estudiada. Otra de las limitaciones son los dispositivos que se utilizaron para evaluar la escritura directa e indirecta. Si bien los instrumentos responden a los requerimientos de confiabilidad y validez, podrían mejorar. Por ejemplo, en la evaluación directa sería recomendable emplear tareas que sitúen a los estudiantes, tal como lo señala Navarro y cols. (2019), en posición de autoridad, autonomía y agencia. De este modo, los estudiantes no estarían limitados a una forma textual ajena a las comunidades discursivas de las que forman parte. Por último, cabe enfatizar la necesidad de generar nuevos conocimientos sobre la escritura en la enseñanza secundaria: desempeño, formas de enseñanza, etc. Por ello, el uso de una evaluación estandarizada de la escritura de manera directa para el ingreso a la educación superior, tal como se ha propuesto a las autoridades educativas chilenas, no debiera ser visto como una instancia de homogenización ni alienación, sino más bien, como una oportunidad para revitalizar su enseñanza y dotar de mayores oportunidades a los estudiantes.

Agradecimientos y financiamiento

Este trabajo fue apoyado por el Programa de Investigación Asociativa (PIA) en Ciencias Cognitivas del Centro de Investigación en Ciencias Cognitivas (CICC) de la Universidad de Talca; y ANID FONDECYT Postdoctorado # 3220612

Referencias bibliográficas

Agencia de Calidad de la Educación de Chile. (2016). Sistema de medición de calidad de la educación (SIMCE). https://www.agenciaeducacion.cl/evaluaciones/que-es-el-simce/

Agencia de Calidad de la Educación de Chile. (2018). Nuevo Sistema Nacional de Evaluación de Aprendizajes. https://archivos.agenciaeducacion.cl/Sistema_Nacional_de_Evaluacion_17abr.pdf

Albarrán Santiago, M. (2009). Los indicadores de evaluación y los niveles de calidad de la composición escrita. Didáctica. Lengua y Literatura, 21(21), 19–32. https://doi.org/10.5209/DIDA.19687

Ávila Reyes, N. (2019). Promesas y peligros de una “PSU de escritura.” Diario La Tercera. https://www.latercera.com/opinion/noticia/promesas-peligros-una-psu-escritura/628966/

Ávila Reyes, N., Bedwell, P., Correa, M., Cox, C., Domínguez, A. M., Fuentes, L., Gómez, G., Jéldrez, E., Sotomayor, C., & Veas, M. G. (2015). Rúbricas y otras herramientas para desarrollar la escritura en el aula (C. Sotomayor, N. Ávila Reyes, & E. Jéldrez, Eds.; 1°, Vol. 1). Centro de Investigación Avanzada en Educación. https://repositorio.uchile.cl/bitstream/handle/2250/136701/Rubricas-y-otras-herramientas.pdf?sequence=1

Ávila Reyes, N., Hugo, E., Infante, M., Martínez, C., Sánchez, V., & Titelman, N. (2011). Manual de preparación para el Examen de Comunicación Escrita (N. Ávila Reyes, Ed.). Programa de Lectura y Escritura Académicas de la Facultad de Letras, Pontificia Universidad Católica de Chile. http://formaciongeneral.uc.cl/images/stories/documentos/manual_de_preparacion_para_el_examen_de_comunicacion_escrita.pdf

Bañales, G., Ahumada, S., Martínez, R., Martínez, M., & Messina, P. (2018). Research of writing in primary education in Chile: A review of decade (2007-2016). Revista de Lingüística Teórica y Aplicada, 56(1), 59–84. https://doi.org/10.4067/S0718-48832018000100059

Barrenechea, I. (2010). Evaluaciones Estandarizadas: Seis Reflexiones Críticas. Archivos Analíticos de Políticas Educativas, 18(8). https://epaa.asu.edu/ojs/index.php/epaa/article/view/751/829

Behizadeh, N., & Engelhard, G. (2011). Historical view of the influences of measurement and writing theories on the practice of writing assessment in the United States. Assessing Writing, 16(3), 189–211. https://doi.org/10.1016/j.asw.2011.03.001

Briyana, L. M., Eukel, H. N., & Santurri, L. E. (2020). Soft Skills and Implications for Future Professional Practice: Qualitative Findings of a Nursing Education Escape Room. Nurse Education Today, 104462. https://doi.org/10.1016/j.nedt.2020.104462

Clereci, C., Monteverde, A. C., & Fernández, A. (2015). Lectura, escritura y rendimiento académico en ingresantes universitarios. Ciencia, Docencia y Tecnología, 26(50), 35–70. http://www.scielo.org.ar/scielo.php?script=sci_arttext&pid=S1851-17162015000100002&lang=es

DEMRE - Universidad de Chile. (2016). Prueba de selección universitaria. Características principales y composición [Informe Técnico]. https://demre.cl/estadisticas/documentos/informes/2016-vol-1-caracteristicas-principales-y-composicion.pdf

DEMRE - Universidad de Chile. (2020a). Tablas comparativas de cambios Admisión 2020 - Admisión 2021. https://demre.cl/la-prueba/que-es-la-prueba-transicion/tablas-comparativas-admision-2020-admision-2021

DEMRE - Universidad de Chile. (2020b). Temario de la Prueba Obligatoria de Comprensión Lectora. https://demre.cl/publicaciones/2021/2021-20-04-demre-temario-comprension-lectora

Diederich, P. B. (1974). Measuring Growth in English. National Council of Teachers of English. https://eric.ed.gov/?id=ED097702

Errázuriz, M. C. (2019). Desempeño escrito de estudiantes de programas de formación inicial docente: ¿Cómo es la calidad del proceso de escritura de sus ensayos? Lengua y Habla, 23, 224–242. https://www.redalyc.org/journal/5119/511966657012/html/

Errázuriz, M. C., Arriagada, L., Contreras, M., & López, C. (2015). Diagnóstico de la escritura de un ensayo de alumnos novatos de Pedagogía en el campus Villarrica UC, Chile. Perfiles Educativos, 37(150), 76–90. https://doi.org/https://doi.org/10.22201/iisue.24486167e.2015.150.53163

Fernández, M. C., & Hauri, S. (2016). Resultados de aprendizaje en La Araucanía. La brecha de género en el Simce y el androcentrismo en el discurso de docentes de lenguaje y matemática. Calidad En La Educación, 45, 54–89. https://doi.org/10.31619/caledu.n45.15

Figueroa, J., Meneses, A., & Chandía, E. (2019). Performance in the quality of explanations and arguments in 8th Chilean graders. Revista Signos, 52(99), 31–54. https://doi.org/10.4067/S0718-09342019000100031

Figueroa Sandoval, B., Aillon Neumann, M., & Neira Martínez, A. (2018). Escritura argumentativa en la enseñanza primaria chilena: un estudio de caso. Revista Electrónica de Investigación Educativa, 20(2), 59. https://doi.org/10.24320/redie.2018.20.2.1710

Flores-Ferrés, M., van Weijen, D., & Rijlaarsdam, G. (2020). Teachers’ writing practices and contextual features in grades 7-12 of Chilean public schools. Journal of Writing Research, 12(2), 365–417. https://doi.org/10.17239/jowr-2020.12.02.03

Gómez, G., Sotomayor, C., Jéldrez, E., Bedwell, P., & Domínguez, A. M. (2016). La producción escrita de estudiantes y escuela en base a resultados SIMCE, factores contextuales y modelos de buenas prácticas docentes (No. 911437; Proyecto Fonide). https://biblioteca.digital.gob.cl/handle/123456789/357?show=full

González, P., Arancibia, V., & Boyanova, D. (2017). Talento académico, vulnerabilidad escolar y resultados en la prueba de selección universitaria. Estudios Pedagógicos, 43(1), 171–191. https://doi.org/http://dx.doi.org/10.4067/S0718-07052017000100011

Graham, S., Gillespie, A., & McKeown, D. (2013). Writing: Importance, development, and instruction. Reading and Writing, 26(1), 1–15. https://doi.org/10.1007/s11145-012-9395-2

Kieft, M., Rijlaarsdam, G., & Van Den Bergh, H. (2006). Writing as a learning tool: Testing the role of students’ writing strategies. European Journal of Psychology of Education, XXI(1), 17–34. https://doi.org/https://doi.org/10.1007/BF03173567

Kim, Y. S. G., Schatschneider, C., Wanzek, J., Gatlin, B., & Al Otaiba, S. (2017). Writing evaluation: rater and task effects on the reliability of writing scores for children in Grades 3 and 4. Reading and Writing, 30(6), 1287–1310. https://doi.org/10.1007/s11145-017-9724-6

Miralles, M. T., Montecino, L., Müller, C., Valenzuela, L., & Zuñiga, M. (2006). Manual de preparación Lenguaje y comunicación (6th ed.). Ediciones Universidad Católica de Chile.

National Assessment Governing Board. (2010). Writing Framework for the 2011 National Assessment of Educational Progress. https://files.eric.ed.gov/fulltext/ED512552.pdf

Navarro, F., Ávila Reyes, N., & Cárdenas, M. (2020). Epistemic reading and writing: Promoting disciplinary learning in textbooks. Revista Electrónica de Investigación Educativa, 22(2020), 1–13. https://doi.org/10.24320/REDIE.2020.22.E15.2493

Navarro, F., Ávila-Reyes, N., & Gómez Vera, G. (2019). Validez y justicia: hacia una evaluación significativa en pruebas estandarizadas de escritura. Meta: Avaliacao, 11(31), 1–35. https://doi.org/10.22347/2175-2753v11i31.2045

Navarro, F., & Mora-Aguirre, B. (2019). Teorías implícitas sobre escritura académica y su enseñanza: contrastes entre el ingreso, la transición y el egreso universitarios. Universitas Psychologica, 18(3), 1–16. https://doi.org/10.11144/javeriana.upsy18-3.tiea

Pardo, A., Ruiz, M. Á., & San Martín, R. (2009). Análisis de datos en ciencias sociales y de la salud: Vol. I. Editorial Síntesis.

Prieto Egido, M. (2019). Teachers’ perceptions of quality assurance education policies in Chile. Revista Educação & Sociedade, 40, 1–20. https://doi.org/10.1590/es0101-73302019189573

Prince, R., & Frith, V. (2019). An investigation of the relationship between academic numeracy of university students in South Africa and their mathematical and language ability. ZDM - Mathematics Education, 52(3), 433–445. https://doi.org/10.1007/s11858-019-01063-7

Rico Martín, A. M., & Níkleva, D. (2016). Análisis de la competencia lingüístico-discursiva escrita de los alumnos de nuevo ingreso del Grado de Maestro en Educación Primaria. Revista Signos, 49(90), 48–70. https://doi.org/10.4067/S0718-09342016000100003

Rosado Villegas, E., Mañas Navarrete, I., Yúfera Gómez, I., & Aparici Aznar, M. (2021). El desarrollo de la escritura analítica: Aprender a enlazar la información, aprender a posicionarse. Pensamiento Educativo, 58(2), 1–18. https://doi.org/10.7764/PEL.58.2.2021.10

Sotomayor, C., Ávila Reyes, N., Bedwell, P., Domínguez, A., Gómez, G., & Jéldrez, E. (2017). Desempeño ortográfico de estudiantes chilenos: Claves para la enseñanza de la ortografía. Estudios Pedagógicos, 43(2), 315–332. https://doi.org/10.4067/S0718-07052017000200017

Sotomayor, C., Gómez, G., Jéldrez, E., Bedwell, P., & Domínguez, A. M. (2014). Calidad de la Escritura en la Educación Básica (No. 13). http://www.ciae.uchile.cl/download.php?file=doctrabajo/13-072014.pdf

Sotomayor, C., Gómez, G., Jéldrez, E., Bedwell, P., Domínguez, A. M., & Ávila Reyes, N. (2016). Evaluación analítica de la escritura de estudiantes de 4° año básico en Chile. Onomazein, 34(2), 381–425. https://doi.org/10.7764/onomazein.34.21

Sotomayor, C., Molina, D., Bedwell, P., & Hernández, C. (2013). Caracterización de problemas ortográficos recurrentes en alumnos de escuelas municipales chilenas de 3°, 5° y 7° básico. Revista Signos, 46(81), 105–131. https://doi.org/10.4067/S0718-09342013000100005

Valenzuela, Á. (2020). Explorando las dinámicas temporales en la escritura de integración. Lenguas Modernas, 56, 43–60. https://lenguasmodernas.uchile.cl/index.php/LM/article/view/61509/65206

Winn, M. T., & Behizadeh, N. (2011). The right to be literate: Literacy, education, and the school-to-prison pipeline. Review of Research in Education, 35(1), 147–173. https://doi.org/10.3102/0091732X10387395

Zheng, Y., & Yu, S. (2019). What has been assessed in writing and how? Empirical evidence from Assessing Writing (2000–2018). Assessing Writing, 42, 100421. https://doi.org/10.1016/j.asw.2019.100421

Notas

1. El uso de las pruebas estandarizadas tiene además un sinnúmero de adversidades como la competencia entre centros educativos o la estigmatización dada la sobreinterpretación de los resultados (Fernández & Hauri, 2016; Mujica-Johnson, 2020; Ortiz Cáceres, 2012).

2. Para el periodo de postulación a la educación superior 2021, las autoridades educativas chilenas optaron por eliminar este tipo de ejercicios de la prueba de selectividad.