Patrones funcionales valorativos en informes de arbitraje de artículos de investigación

Functional-appraisal patterns in referee reports of research articles

Citación: Fuentes Cortés, M., Covarrubias, M., Soza, J., Cabezas, P., Varas, G. & Sabaj, O. (2019). Patrones funcionales valorativos en informes de arbitraje de artículos de investigación. Logos: Revista de Lingüística, Filosofía y Literatura, 29(2), 339-347. DOI: 10.15443/RL2926

Dirección Postal: Raúl Bitrán 1305, Colina el pino, La Serena, Chile

DOI: doi.org/10.15443/RL2926

Resumen: El objetivo central de este trabajo fue identificar los patrones funcionales-valorativos presentes en un corpus de informes de arbitraje, género clave en la producción de conocimiento científico. Para el análisis, se utilizó un procedimiento que implicó, primero, la identificación de los elementos funcionales o propósitos comunicativos más frecuentes (Sabaj, Toro & Fuentes, 2011; Fuentes, 2018) y, luego, su descripción con algunas categorías del modelo de la valoración (Martin & White, 2005). El corpus, de carácter intencionado, estuvo compuesto por 42 informes de arbitraje de la revista de lingüística y traducción de la Pontificia Universidad Católica de Chile, Onomázein. Algunos de los resultados muestran que los propósitos comunicativos más frecuentes son “Describir un problema”, “Destacar un aspecto positivo”, “Solicitar una acción” y “Sugerir una acción”. La alta frecuencia de los propósitos “Describir un problema” y “Destacar un aspecto positivo” eran esperables en un género evaluativo. Ambos propósitos se focalizan más en elementos de contenido y presentan un fuerte posicionamiento monoglósico intensificado con significados de Gradación. El patrón monoglósico puede explicarse por la situación de poder en que se encuentra el árbitro al ser el evaluador del artículo. La alta frecuencia de los propósitos comunicativos “Solicitar acción” y “Sugerir acción” da cuenta de la función negociadora del género. Por último, tanto en la solicitud como en la sugerencia de acciones, los significados de actitud tienen como foco los elementos de forma y no de contenido.

Palabras clave: Informe de arbitraje - propósitos comunicativos - modelo de la valoración

Abstract: Our research aims to identify the functional-appraisal patterns within a corpus of referee reports, a key genre in the production of scientific knowledge. For this, we first identified the most frequent functional elements or communicative purposes (Sabaj, Toro & Fuentes, 2011; Fuentes, 2018) and then described them according to some categories of the Appraisal model (Martin & White, 2005). Our intended sample was composed of 42 referee reports from Onomázein, the journal of linguistics and translation of Pontificia Universidad Católica de Chile. Some of the results show that the most frequent communicative purposes are “Describe a problem”, “Highlight a positive aspect”, “Request an action” and “Suggest an action”. The high frequency of “Describe a problem” and “Highlight a positive aspect” were expected in this type of evaluative genre. Both purposes tend to focus on content issues and present a strong monoglossic stance which is intensified with Graduation meanings. The monoglossic pattern may be due to the position of power in which the referee is when evaluating an article. The high frequency of the communicative purposes “Request action” and “Suggest action” accounts for the negotiating function of this genre. Finally, when requesting and suggesting an action, attitude meanings refer to elements of form instead of content.

Keywords: review reports - communicative purposes - appraisal model

1. Introducción

El informe de arbitraje es un género esencial en la producción del conocimiento científico (Gosden, 2001, 2003; Fortanet, 2008; Mungra & Webber, 2010; Tharirian & Sadri, 2013; Bolívar, 2008, 2011; Astudillo, 2015; Paltridge, 2015; Samraj, 2016). Este género, producido por los evaluadores que colaboran con los editores de las revistas científicas, tiene, al menos dos propósitos. Por un lado, el informe de arbitraje debe dar a conocer la recomendación de publicación, la cual, comúnmente, tiene tres salidas posibles: aceptar, rechazar o condicionar (aceptar con cambios obligatorios). Por otro lado, el informe de arbitraje debe retroalimentar al autor del manuscrito. Esta retroalimentación se materializa prototípicamente en distintos propósitos de acuerdo con estas salidas. Así, por ejemplo, si se recomienda aceptar o condicionar un trabajo, se esperan “comentarios”, “solicitudes” o “sugerencias” de acciones, mientras que si se recomienda rechazar, se espera que se incluyan, además, las razones que justifiquen dicho rechazo.

A pesar de ser un género privado de difícil acceso, en la última década han proliferado distintos trabajos discursivos que analizan de manera empírica diferentes dimensiones del informe de arbitraje. Algunos de estos estudios se centran en el análisis del contenido de los informes (Mungra & Webber, 2010; Tharirian & Sadri, 2013); la descripción de sus funciones comunicativas (Gosden, 2001, 2003; Fortanet, 2008; Bolívar, 2011; Astudillo, 2015); la expresión de modalización (Paltridge, 2015); y el estudio de la estructura genérica del informe de arbitraje (Bolívar, 2008; Tharirian & Sadri, 2013; Samraj, 2016).

La revisión de la literatura relacionada sugiere algunos vacíos que justifican la presente investigación: 1. La mayoría de estos trabajos se han realizado para el análisis de informes de arbitraje escritos en inglés, y son muy pocos los estudios que abordan este género en español; 2. A pesar de ser un género evaluativo, no existen investigaciones que utilicen el modelo de la valoración (Martin & White, 2005) para la descripción de los informes de arbitraje, considerando que este modelo ha sido especialmente adecuado para el análisis del discurso evaluativo.

En este contexto, el objetivo de la presente investigación pretende ocupar estos vacíos al analizar los patrones funcionales-valorativos presentes en un corpus de informes de arbitraje (IA). El análisis funcional aporta a una descripción de los propósitos comunicativos comunes en este género (Sabaj, Toro & Fuentes, 2011; Fuentes, 2018), mientras que el modelo de la valoración (Martin & White, 2005) da cuenta de algunos de los recursos valorativos asociados a esos propósitos, con lo cual se logra una complementariedad entre las dos miradas.

2. Métodos

El corpus de la investigación consistió en 42 informes de arbitraje de la revista de lingüística y traducción de la Pontificia Universidad Católica de Chile, Onomázein. La muestra fue intencionada según temporalidad y tipo de decisión. Respecto del primer punto, se analizaron informes de artículos enviados a evaluación entre 2008 y 2012. Luego, se escogieron al azar 14 informes de arbitraje por cada tipo de decisión (aceptar, rechazar o condicionar), con lo cual el corpus final estuvo compuesto por 42 textos.

En este corpus, se identificaron un total de 1.149 propósitos comunicativos. Los informes de arbitraje fueron obtenidos gracias a un permiso especial otorgado por el editor de la revista, con el compromiso de que se cumplieran con todos los aspectos éticos. Para ello, el editor enmascaró la autoría de los informes y solo se autorizó la reproducción de pequeños extractos, a modo de ejemplo.

La investigación contó con tres pasos analíticos. En primer lugar, se procedió a identificar y clasificar el total de los propósitos comunicativos en el corpus (N=1.149), según los criterios y categorías propuestas por Sabaj, Toro y Fuentes (2011) y por Fuentes (2018). El segundo paso se realizó solo en los cuatro propósitos comunicativos más frecuentes identificados en el punto anterior y consistió en describir, en cada uno de esos propósitos, la aparición de las categorías de los tres sistemas del modelo de la valoración, Actitud, Compromiso y Gradación (Martin & White, 2005). La identificación de patrones funcionales valorativos se concretó en el último paso, que consistió en identificar cuáles eran los elementos valorativos más recurrentes en cada uno de los propósitos comunicativos.

Para el análisis de los elementos valorativos utilizamos solo algunas de las categorías del modelo. Por ejemplo, en el caso del sistema de Actitud, dejamos fuera todo lo que dijera relación con las categorías asociadas al afecto y al juicio, ya que estas, en teoría, se utilizan para valorar a las personas, sus emociones y comportamientos; y solo se utilizó la categoría de Apreciación, ya que es esta región semántica la que se utiliza para valorar entidades, procesos y cosas y, por lo tanto, resulta más pertinente para el análisis de los informes de arbitraje. Realizamos algunas modificaciones del sistema de Apreciación para dar cuenta, de mejor forma, cómo se lleva a cabo la evaluación de entidades, procesos y cosas en este género estudiado. A continuación, en las Tablas 1, 2 y 3 presentamos solo las categorías del modelo de valoración que usamos en este trabajo, algunas de ellas ligeramente modificadas.

Sistema	Definición	Referencias
Actitud	El sistema de actitud se relaciona con las formas en que los sentimientos son vistos como un sistema de significados. Presenta tres áreas semánticas: las emociones (afecto), la ética (juicio) y la estética (apreciación).	Martin & White, 2005
Subsistema Apreciación	Evaluaciones de fenómenos semióticos y naturales según las formas en que son valorados o no en un campo determinado.
Categorías	Definición	Ejemplos
Apreciación: Composición: balance	Evaluación de las entidades con respecto a su forma	Solo hay tres secciones en el artículo
Apreciación: Composición: Complejidad	Evaluación de las entidades con respecto a su complejidad	El resumen es claro
Apreciación: Calidad: profundidad	Evaluación de las entidades con respecto a los elementos de contenido	Tampoco se explica la jerarquía actor _ undergoer que propone la RRG

Tabla 1. Selección de categorías de Actitud. Fuente: Adaptado de Martin y White, 2005; Fuentes, 2018.

En la Tabla 1 se aprecian algunas categorías de Actitud. Particularmente, se expone que la categoría ‘Apreciación: balance’ identifica a las entidades con elementos de forma, la categoría de ‘Apreciación: Composición: complejidad’ evalúa los textos con respecto a su complejidad, y la categoría ‘Apreciación: Calidad: profundidad’ identifica los elementos de contenido. En la Tabla 2, aparecen las categorías específicas del sistema de Compromiso que utilizamos en este trabajo:

Sistema	Definición	Referencias
Compromiso	Posicionamiento de los autores sobre la base de posiciones propias o alternativas para la expresión de actitudes en el discurso.	Martin & White, 2005
Categorías	Definición	Ejemplos
Monoglosia	Posicionamiento certero. Uso del verbo “ser”, verbos en infinitivo	El título es interesante
Heteroglosia: Expansión: Consideración	Posicionamiento con escasa certeza. Uso de atenuadores o modalizadores (tal vez, quizás), verbos en condicional (podría)	... tal vez ese es uno de los principales problemas

Tabla 2. Algunas categorías en el sistema de Compromiso. Fuente: Adaptado de Martin y White, 2005.

En la Tabla 2, se muestran dos categorías del sistema de Compromiso, la de Monoglosia, con la cual se expresan los posicionamientos certeros y la categoría de Heteroglosia: Expansión: Consideración que identifica a los posicionamientos atenuados, en los cuales el evaluador utiliza formas para modalizar su compromiso con la verdad de lo que asevera.

En la Tabla 3, se exponen las categorías del sistema de la Gradación que utilizaremos en este trabajo.

Sistema	Definición	Referencias
Gradación	Sistema que pone en escala de intensidad (bajo o alta) los significados evaluativos	Martin &White (2005)
Categorías	Definición	Ejemplo
Subsistema Foco Realización: Actualización	Modalidad epistémica. Se disminuye la certeza por medio de atenuadores o modalizadores. Uso de la flexión condicional (podría), atenuadores (quizás, tal vez)	Me PARECE, TAL VEZ, AL PARECER
Subsistema Fuerza Intensificación: Atributo	Intensificación de una cualidad	Muy básicos, bastante interesante
Subsistema Fuerza Intensificación: Propuesta	Modalidad deóntica, u obligación. Uso del verbo deber, verbos en infinitivo (cambiar)	Debe morigerar, cambiar, incluir una breve sección

Tabla 3. Algunas categorías en el sistema de Gradación. Fuente: Adaptado de Martin y White, 2005

La categoría de Foco: Realización: Actualización identifica los significados con que se desdibuja o se atenúa la evaluación. La categoría de Fuerza: Intensificación: Atributo, en tanto, identifica los significados con que se aumenta o disminuye la intensidad de una cualidad, mientras que Fuerza: Intensificación: Propuesta se corresponde con la modalidad deóntica o la obligación.

3. Resultados y discusión

En la presente sección, analizamos los propósitos comunicativos más frecuentes y la descripción de los patrones funcionales valorativos prototípicos en el corpus.

3. 1 Propósitos comunicativos más frecuentes

A continuación, en la Tabla 4 presentamos la frecuencia absoluta y relativa de los propósitos comunicativos en los informes de arbitraje.

	Propósito comunicativo	N	%
1	Describir un problema	428	39%
2	Destacar un aspecto positivo	180	16%
3	Solicitar una acción	147	13%
4	Sugerir una acción	82	8%
5	Otros	250	23%
	TOTAL	1149	100%

Tabla 4. frecuencia absoluta y relativa de los propósitos comunicativos en el corpus.

En la Tabla 4 se aprecia que los propósitos comunicativos más frecuentes fueron “Describir un problema”, “Destacar un aspecto positivo”, “Solicitar una acción” y “Sugerir una acción”. Estos resultados coinciden con el estudio de Varas (2015) quien, en el contexto del mismo proyecto en que se enmarca esta investigación, logró identificar estos cuatro propósitos como transversales al género.

El propósito comunicativo más frecuente fue “Describir un problema”. La alta presencia de este propósito se explica por la naturaleza evaluativa del género informe de arbitraje. A un resultado similar llegaron las pesquisas de Gosden (2003), Fortanet (2008), Bolívar (2011), y Samraj (2016), quienes al estudiar el IA focalizaron sus análisis en la crítica negativa, es decir, en la que el evaluador asume una actitud correctiva.

El segundo propósito más frecuente fue “destacar un aspecto positivo”. La alta presencia de este propósito fue un resultado sorpresivo y se explica por dos situaciones: 1) Un tercio del corpus corresponde a informes de arbitraje con la recomendación de aceptar las publicaciones, por lo que este propósito tiene en esos casos la función de justificar dicha recomendación, pero 2) La evaluación positiva en los informes con otros tipos de recomendación cumple un rol funcional relevante que se utiliza para atenuar la crítica. Gosden (2003) ha denominado este patrón como “buenas noticias vs malas noticias”, el cual, advierte Gosden (2003), podría resultar ambiguo para el autor del manuscrito que está siendo evaluado.

Este tipo de función positiva en los informes de arbitraje no ha sido estudiado en las investigaciones lingüísticas previas a la presente pesquisa (Gosden, 2001, 2003; Fortanet, 2008; Bolívar, 2011; Paltridge, 2015; Varas, 2015; Astudillo, 2015; Samraj, 2016), lo cual supone un avance importante para comprender este género.

El tercer propósito más frecuente fue “solicitar una acción”. Con este propósito se marca con mayor fuerza la interacción o negociación de significados entre el árbitro y el autor de un manuscrito. Varas (2015) considera que el uso de este propósito comunicativo supone una retroalimentación de calidad, ya que el autor entendería con mayor claridad lo que debe realizar para mejorar su trabajo. De esta manera, cuando se solicita una acción no hay espacio para ambigüedades o confusión de significados, situación que sí podría suceder con una sugerencia, tal como señala Paltridge (2015). En los informes de arbitraje del corpus de esta investigación, la “solicitud” presenta las características descritas por Varas (2015), es decir, este propósito cumple una función deóntica más directa y, por lo tanto, más clara a la hora de retroalimentar. La alta presencia de solicitudes también coincide con los resultados de Fortanet (2008), quien profundizó en ellos, encontrando variantes entre solicitudes directas y otras más modalizadas o indirectas.

El cuarto propósito con más frecuencia en el corpus fue “sugerir una acción”. Este propósito muchas veces se construye a partir de lo que se ha denominado modalidad epistémica (Ferrari, 2009). El grado de certeza que representa este propósito es bajo. La sugerencia propone una acción y es el autor quien decide si implementar o no esta sugerencia. Esta forma de plantear o negociar la evaluación entre árbitro y autor ha sido cuestionada o relativizada en su efectividad en contextos anglosajones (Paltridge, 2015). En esta obra, el autor indica que en contextos anglosajones la “sugerencia” en un informe de arbitraje es realmente una “solicitud”, situación pragmática que se complejiza aún más en los casos de autores no nativos del inglés. De forma similar, O`Keefe, Clancy y Adolphs (2010) señalan que una sugerencia en contextos en que el autor de la sugerencia tiene mayor estatus es pragmáticamente una solicitud. De esta forma, las sugerencias también (Gosden, 2003) pueden ser pragmáticamente confusas para quien debe hacer las correcciones al manuscrito (Bakanic, McPhail & Simon, 1989; Myers, 1996; Paltridge, 2015). La presencia de sugerencia también coincide con los resultados de Fortanet (2008), Navarro (2013) y Sabaj, González, Varas y Pina (2015) quienes también encontraron alta presencia de modalizaciones en distintos géneros de carácter evaluativo.

4. Patrones funcionales valorativos: Propósitos comunicativos y elementos de valoración

A continuación, en la Tabla 5, presentamos el porcentaje de la categoría más frecuente según los tres sistemas del modelo de la valoración (Martin & White, 2005) en los cuatro propósitos comunicativos más frecuentes del corpus:

Componente funcional	Elementos valorativos
Propósito comunicativo	Actitud	Compromiso	Gradación
Describir de un problema Ej:Provee una descripción muy básica	Profundidad	Monoglosia	Atributo
	40%	35%	29%
Destacar un aspecto positivo Ej: Es indudable el valor de este tipo de trabajos	Profundidad	Monoglosia	Atributo
	29%	77%	52%
Solicitar una acción Ej: Revisar toda la redacción	Balance	Monoglosia	Propuesta
	42%	35%	44%
Sugerir una acción Ej: PODRÍA utilizarse un condicional	Balance	Consideración	Actualización
	48%	70%	59%

Tabla 5. Patrones funcionales valorativos más frecuentes en el corpus

En la Tabla 5 se aprecia que los dos propósitos comunicativos más frecuentes presentan las mismas características valorativas, en tanto solo cambia la función y el tipo de carga valorativa (positiva versus negativa). Es decir, tanto el propósito “Describir un problema” como “Destacar aspecto positivo” refieren a aspectos de contenido [Actitud: Apreciación: Profundidad], con un posicionamiento monoglósico, e intensificando un atributo [Gradación: Fuerza: Atributo].

Es interesante observar la diferencia en las frecuencias relativas de los dos propósitos más frecuentes (35% versus 77%). Esto se debería a que el sistema de la lengua, en este género, tendría muchas más opciones para negociar la descripción de un problema que para negociar un comentario positivo, en el cual se tiende a ser monoglósico y certero.

Por su parte, en los propósitos comunicativos “Solicitar una acción” y “Sugerir una acción” se utilizan recursos valorativos distintos a los usados en los dos propósitos más frecuentes, ya que en estos casos las solicitudes y sugerencias están mayormente relacionadas con elementos de forma [Actitud: Apreciación: Balance].

A continuación, presentamos un resumen de los principales patrones funcionales – valorativos identificados en nuestro corpus de informes de arbitraje:

Patrón 1: Describir un problema acerca de elementos de contenido [profundidad], con un posicionamiento monoglósico y [Gradación: Fuerza: Intensificación: Atributo].

Ejemplo: las características del test son descritas con poca profundidad [- Actitud: Apreciación: Profundidad][Monoglosia] [Gradación: Fuerza: Intensificación: Atributo]

Patrón 2: Destacar un aspecto positivo acerca de elementos de contenido [profundidad], con un posicionamiento Monoglósico y [Gradación: Fuerza: Atributo].

Ejemplo: El trabajo presenta y desarrolla muy bien el tema propuesto [+Profundidad] [Monoglosia] [Gradación: Fuerza: Atributo].

Patrón 3: Solicitar acciones acerca de elementos de forma [Actitud: Apreciación: Balance], con un posicionamiento Monoglósico y con Gradación: Fuerza: Intensificación: Propuesta.

Ejemplo: Se debe corregir palabra por palabra, [-Actitud: Apreciación: Balance] [Monoglosia] [Fuerza: Intensificación: Atributo: Alto].

Patrón 4: Sugerir acciones acerca de elementos de forma [Actitud: Apreciación: Balance], con un posicionamiento bajo, atenuado [Compromiso: Actualización] y [Gradación: Foco: Realización: Actualización].

Ejemplo: Otra solución sería reemplazar “género” por “sexo” o “sexo biológico” de manera sistemática. [-Actitud: Apreciación: Balance], [Compromiso: Consideración], [Gradación: Foco: Realización: Actualización].

5. Conclusiones

En la presente investigación se han identificado y analizado los cuatro patrones funcionales valorativos más frecuentes en un corpus de 42 informes de arbitraje. Esto se ha realizado a partir de la identificación de los cuatro propósitos comunicativos más frecuentes y su caracterización con algunos de los elementos del modelo de valoración.

Los patrones más frecuentes en estos textos son “Describir un problema”, “Destacar un aspecto positivo”, “Solicitar una acción” y “Sugerir una acción”. Para el caso de los dos primeros, estos versan sobre aspectos de contenido, mientras que “Solicitar” y “Sugerir” se refieren mayoritariamente a elementos de forma. Así también, a través del uso de los dos primeros propósitos, los árbitros evalúan el trabajo propiamente tal, mientras que al usar solicitudes y sugerencias el énfasis se pone en la función negociadora de retroalimentación que cumplen los árbitros respecto de los autores.

Los resultados de esta investigación buscan ser un aporte para los estudios referentes al informe de arbitraje y para los investigadores en formación, que en su vida profesional deberán producir este género en más de una ocasión.

Agradecimientos y financiamiento

La presente investigación fue financiada gracias al Fondo Nacional de Desarrollo Científico y Tecnológico FONDECYT Nº1130290.

Referencias bibliográficas

Astudillo, C. (2015). Aplicación de un modelo discursivo para el análisis de los Informes de Evaluación de Artículos Rechazados (IEAR) en el Proceso de Evaluación por Pares (PEP) de tres revistas chilenas. Tesis de magíster. La Serena, Chile: Universidad de La Serena

Bakanic, V., McPhail, C. & Simon, R. (1989). Mixed messages: Referees`comments on the manuscripts they review. The Sociological Quarterly, 30 (4), 639-654.

Bolívar, A. (2008). El informe de arbitraje como género discursivo en la dinámica de la investigación. Revista ALED, 8 (1), 41-64.

Bolívar, A. (2011). Funciones discursivas de la evaluación negativa en informes de arbitraje de artículos de investigación en educación. Núcleo, 28, 59-89.

Fortanet, I. (2008). Evaluative language in peer review referee reports. Journal of English for Academic Purposes, 7, 27-37.

Fuentes, M. (2018). Patrones funcionales valorativos en artículos de investigación. Tesis para optar al grado de doctor en Lingüística. Santiago de Chile: Pontificia Universidad Católica de Chile.

Gosden, H. (2001). Thank you for your critical comments and helpful suggestions: compliance and conflict in authors replies to referees comments in peer reviews of scientific research papers. Ibérica, 3, 3-17.

Gosden, H. (2003). Why not give us the full story?: functions of referees’ comments in peer reviews of scientific research papers. Journal of English for Academic Purposes, 2 (2), 87–101.

Martin, J. & White, P. (2005). The language of evaluation. Appraisal in English. Nueva York: Palgrave Macmillan.

Mungra, Ph. & Webber, P. (2010). Peer Review process in medical reseach publication: Language and content comment. Journal of English for Especific Purposes, 29, 43-53.

Myers, G. (1996). Strategic vagueness in academic writing. En E. Ventola & A. Mauranen (Eds.), Academic Writing: Intertextual and Textual Issues (pp. 3–17), Amsterdam: John Benjamins.

O`Keefe, A., Clancy, B., & Adolphs, S. (2010). Introducing pragmatics in use. Londres: Routledge.

Paltridge, B. (2015). Referee`s comments on submissions to peer-reviewed journal: when is a suggestion not a suggestion? Studies in higher education, 40 (1), 106-122.

Sabaj, O., Toro, P. & Fuentes, M. (2011). Construcción de un modelo de movidas retóricas para el análisis de artículos de investigación en español. Onomázein, 24 (2), 245-271.

Sabaj, O; González, C; Varas, G. & Pina, A. (2015). A new form for the evaluation of scientific articles under peer review. Argos, 32 (62) 119–129.

Samraj, B. (2016). Discourse structure and variation in manuscript reviews: implications for genre categorization. English for Specific Purposes, 42, 76-88.

Tharirian, M. & Sadri, E. (2013). Peer Reviewers’ Comments on Research Articles Submitted by Iranian Researchers. The Journal of Teaching Language Skills, 5 (3), 107-123.

Varas, G. (2015). El informe de arbitraje en el proceso de revisión por pares de artículos de investigación: Niveles de retroalimentación según el tipo de evaluador. Tesis para optar al grado de Magíster. Universidad de La Serena.