https://doi.org/10.24265/liberabit.2019.v25n2.04

ARTÍCULOS DE INVESTIGACIÓN

Adaptación y validación del Inventario de Burnout de Maslach en profesionales argentinos de la salud mental

Adaptation and validation of the Maslach Burnout Inventory in Argentinian mental health professionals

 

María Antonella Gillaa,*

http://orcid.org/0000-0002-1807-4046

Silvina Belén Giméneza

http://orcid.org/0000-0001-9115-765X

Valeria E. Morana,b,c

http://orcid.org/0000-0003-3628-1636

Fabián O. Olaza

http://orcid.org/0000-0003-2713-7413

aFacultad de Psicología, Universidad Nacional de Córdoba, Argentina

b Instituto de Investigaciones Psicológicas, Universidad Nacional de Córdoba, Argentina

c Consejo Nacional de Investigaciones Científicas y Técnicas, Argentina

Autor corresponsal:*gillaantonella@gmail.com

Para citar este artículo:

Gilla, M. A., Gimenez, S. B., Moran, V. E., & Olaz, F. O. (2019). Adaptación y validación del Inventario de Burnout de Maslach en profesionales argentinos de la salud mental. Liberabit, 25(2), 179-193. https:// doi.org/10.24265/liberabit.2019.v25n2.04

 


Resumen

Objetivo: el objetivo de este estudio instrumental fue adaptar la versión española del Inventario de Burnout de Maslach (MBI-HSS) en una muestra (n = 544) de psicólogos y psiquiatras argentinos de entre 23 y 71 años de edad. Métodos: para evaluar la estructura interna del instrumento se realizó un análisis factorial confirmatorio (AFC) por medio del método de estimación de Máxima Verosimilitud robusto. La consistencia interna se calculó mediante el coeficiente de confiabilidad compuesta (fc). Resultados: el modelo inicial mostró índices de ajuste aceptables (CFI = .87, TLI = .86; RMSEA = .06; SRMR = .07). Tras la eliminación del ítem 12 del análisis, el ajuste del modelo mejoró satisfactoriamente (CFI = .91, TLI = .90, RMSEA = .05, SRMR = .06) confirmándose la estructura trifactorial. El cálculo de consistencia interna arrojó valores considerados muy buenos (fc > .70). Conclusión: se concluye que el MBI-HSS es una escala fiable y válida para la evaluación del Burnout en psicólogos y psiquiatras argentinos. Se discuten los resultados y sus posibles implicaciones en futuras investigaciones.

Palabras clave: burnout, Inventario de Maslach, propiedades psicométricas, profesionales de salud mental.


Abstract

Objective: The aim of this instrumental study was to adapt the Spanish version of the Maslach Burnout Inventory - Human Services Survey (MBI-HSS) in a sample (n = 544) of Argentinian psychologists and psychiatrists aged 23 to 71. Method: A confirmatory factor analysis (CFA) was conducted to evaluate the internal structure of the instrument using the robust maximum likelihood estimation. Additionally, the internal consistency was calculated using the composite reliability (CR) coefficient. Results: The original structure provided an acceptable ût to the data (CFI = .87, TLI = .86, RMSEA = .06, SRMR = .07). However, the three-factor model had a closer fit to the data after excluding item 12 from the analysis (CFI = .91, TLI = .90, RMSEA = .05, SRMR = .06). The internal consistency yielded very good values (CR > .70). Conclusion: It is concluded that the MBI-HSS is a reliable and valid scale to measure burnout in Argentinian psychologists and psychiatrists. The results and their possible implications for future investigations are discussed in this paper.

Keywords: burnout, Maslach inventory, psychometric adaptation, mental health professionals.


Introducción

El trabajo ocupa un lugar destacado en la vida de las personas como fuente de satisfacción y de sentido vital. No obstante, a pesar de ser un agente salugénico importante, puede también ser causa de sufrimiento y displacer. Varias organizaciones, entre ellas la Organización Internacional del Trabajo y la Organización Mundial de la Salud (OIT, 2010; OMS, 2000), reconocen que el entorno laboral y la organización del trabajo son factores de riesgo psicosocial que si no son adecuadamente gestionados, acarrean consecuencias negativas para la salud de los trabajadores, entre ellas el síndrome de Burnout.

Este término fue introducido por primera vez en 1974 por Freudenberger para describir el agotamiento emocional y pérdida de motivación progresivos que se observó entre el personal que trabajaba con toxicómanos. Los posteriores estudios de Maslach (1976) y colaboradores permitieron una verdadera sistematización de la investigación sobre el Burnout (BO de aquí en adelante), estableciéndose una estructura y una conceptualización teórica y operativa.

Conceptualización del Burnout. El BO es una respuesta al estrés laboral crónico que aparece cuando fallan las estrategias de afrontamiento que habitualmente emplea el individuo para manejar los estresores laborales (Gil-Monte, 2003). Es un síndrome que tiene como síntomas principales el agotamiento emocional (AE), la despersonalización (DP) y la falta de realización personal (RP). El AE se refiere al cansancio y fatiga por el contacto con otras personas, que puede manifestarse física y/o psíquicamente; es la sensación descrita de cómo ‘no poder dar más de sí mismo a los demás’. Por otra parte, la DP es entendida como el desarrollo de sentimientos negativos, actitudes y respuestas excesivamente individuales, distantes y frías hacia otras personas, especialmente hacia los destinatarios del servicio. Por último, la falta de RP se caracteriza por una desilusión y dificultad para dar sentido a la propia vida y a los logros personales, con sentimientos de fracaso y baja autoestima (Maslach, Jackson, & Leiter, 1986; Ortega-Ruiz & López-Ríos, 2004).

Las consecuencias del BO se traducen en alteraciones físicas, psicológicas y conductuales relacionadas con el estrés, las cuales suelen derivar en problemas en el entorno laboral: hostilidad, dificultad para concentrarse en el trabajo, aumento de las relaciones conflictivas con los compañeros, retraso y ausentismo laboral. Dichas dificultades se asocian, finalmente, con una disminución en la efectividad, calidad, calidez y productividad en el desarrollo del trabajo (Aldrete-Rodríguez, Navarro-Meza, González- Baltazar, Contreras-Estrada, & Pérez-Aldrete, 2015; Díaz-Romero, Lartigue-Becerra, & Acosta-Velasco, 2001).

Si bien el BO no se restringe a los profesionales de ayuda, dentro de las profesiones asistenciales existen ciertas características del rol que convierten a los psicoterapeutas en un grupo de riesgo de padecer dicho síndrome. Durante el ejercicio de su práctica profesional, tanto psicólogos como psiquiatras mantienen una relación de extrema cercanía con sus clientes, desarrollando vínculos de intimidad e implicación emocional, al tiempo que forman parte del proceso de cambio de los mismos, el cual muchas veces transcurre en un contexto de malestar considerable (Dare, 1997). A menudo, esta implicación del profesional en los problemas emocionales puede llegar a repercutir en su propia vida personal. Sumado a esto, se demanda a los psicólogos y psiquiatras una capacidad de respuesta constante y que estén siempre dispuestos a atender, y si es posible solucionar, las demandas de sus pacientes (Ortiz-Viveros & Ortega- Herrera, 2009). Por otro lado, existen ciertos factores organizacionales que aumentan el riesgo de padecer BO en esta población, tales como la sobrecarga de trabajo, el exceso de responsabilidades, la falta de recursos materiales, una remuneración económica insuficiente, y la contrariedad entre las demandas de los pacientes y los alcances del rol profesional (Isaac- Otero, García-Grajeda, Bosch-Canto, Méndez- Venegas, & Mercedes-Luque, 2013).

Evaluación del Burnout. En este contexto, la detección y evaluación de BO es prioritaria, por lo que no resulta extraño encontrar una amplia variedad de instrumentos para su medición. La Staff Burnout Scale for Health Professionals (SBS-HP; Jones, 1980), el Burnout Measure (BM; Pines, Aronson, & Kafry, 1981) y el Maslach Burnout Inventory (MBI; Maslach et al., 1986), han sido utilizados desde su aparición de un modo continuado y sistemático. Más recientemente, en España y Latinoamérica se han desarrollado nuevos instrumentos con el fin de medir el síndrome en psicólogos y psiquiatras, como el Inventario de Burnout de Psicólogos (IBP; Benevides- Pereira, Moreno-Jiménez, Garrosa-Hernández, & González-Gutiérrez, 2002) y el Cuestionario para la Evaluación del Síndrome de Quemarse por el Trabajo (CESQT; Gil-Monte, 2005).

Desde su publicación, el instrumento más utilizado ha sido el Maslach Burnout Inventory (MBI; Maslach et al., 1986), contando con gran aceptación internacional. En este sentido, Schaufeli (2003) afirma que más del 90% de los estudios que evalúan el BO han empleado el MBI. Desde su creación, ha facilitado la investigación sistemática sobre la teoría y, de hecho, la estructura y conceptualización teórica y operativa del BO no fue posible hasta su construcción (Meda- Lara, Moreno-Jiménez, Rodríguez-Muñoz, Morante- Benadero, & Ortiz-Viveros, 2008). Actualmente, existen tres versiones del instrumento: el MBI-Human Services Survey (MBI-HSS; Maslach & Jackson, 1981) que se considera la versión clásica del MBI y está dirigido a los profesionales de la salud; el MBIEducators Survey (MBI-ES; Maslach, Jackson, & Schwab, 1986) para profesionales de la educación; y por último, el MBI-General Survey (MBI-GS; Schaufeli, Leiter, Maslach, & Jackson, 1996) de carácter genérico (Ortega-Ruiz & López-Ríos, 2004; García-García, Herrero-Remuzgo, & León-Fuentes, 2007).

El MBI-HSS está compuesto por 22 ítems valorados mediante una escala tipo Likert que va desde 0 (nunca) hasta 6 (todos los días). Estos ítems se distribuyen en tres factores o subescalas: Agotamiento Emocional (AE, 9 ítems), Despersonalización (DP, 5 ítems) y Realización Personal en el trabajo (RP, 8 ítems), obteniéndose una puntuación que luego puede ser valorada como baja, media o alta (Olivares-Faúndez & Gil-Monte, 2009). Se considera que niveles elevados de AE y DP, y bajos niveles de RP determinan la presencia de BO (Schaufeli, Bakker, Hoogduin, Schaap, & Kladler, 2001). La estructura trifactorial propuesta ha sido confirmada por diversos estudios mediante análisis factorial exploratorio (Olivares-Faúndez, Mena- Miranda, Jélvez-Wilker, & Macía-Sepúlveda, 2014; Manso-Pinto, 2006) y confirmatorio (Meda-Lara et al., 2008; Olivares-Faúndez et al., 2014). Los resultados de algunas investigaciones no concuerdan con esta estructura trifactorial, encontrándose que modelos bifactoriales (Mészáros, Ádám, Szabó, Szigeti, & Urbán, 2014; Tsubakita & Shimazaki, 2016) de dos (Halbesleben & Buckley 2004; Kalliath, O’Driscoll, Gillespie, & Bluedorn, 2000), de cuatro (Chao, McCallion, & Nickle, 2011; Gil-Monte & Peiró, 1999, en Olivares-Faúndez et al., 2014) e incluso de cinco factores (Densten, 2001; García- García et al., 2007) presentan un buen ajuste a los datos (Worley, Vassar, Wheeler, & Barnes, 2008). Si bien los resultados de algunas investigaciones no concuerdan con esta estructura trifactorial, las soluciones factoriales propuestas como alternativa son en su mayoría difíciles de interpretar teóricamente o carecen de esta interpretación.

En cuanto a las propiedades psicométricas, las subescalas del MBI-HSS muestran índices de consistencia interna adecuados que superan el criterio de .70 recomendado por Nunnally y Bernstein (1994), a excepción del factor Despersonalización, que presenta los coeficientes más bajos (Gil-Monte & Peiró, 1999) con valores alfa entre .30 y .79 (Meda- Lara et al., 2008; García-Izquierdo, Sáez-Navarro, & Llor-Esteban, 2000). Al respecto, debe destacarse que estos valores pueden deberse a la poca longitud de la escala, dado que el valor alfa depende del número de ítems. Igualmente, se ha encontrado una alta confiabilidad test-retest a lo largo de los diferentes estudios (Maslach et al., 1986). Así también, se obtuvieron correlaciones significativas con diversas escalas conductuales tales como el Tedium Measure (TM), la Staff Burnout Scale (SBS-HP) y el Meier Burnout Assessment (MBA), contando con evidencia de validez concurrente (Maslach et al., 1986) y discriminante por las bajas correlaciones con deseabilidad social y las correlaciones negativas con la satisfacción en el trabajo (Mingote-Adán, 1998).

Burnout en Argentina. Existe una versión validada para los profesionales de la salud (Neira, 2004), aunque su evidencia psicométrica es modesta. A pesar de que el análisis factorial exploratorio ratifica una estructura trifactorial, no se realizaron análisis confirmatorios posteriores. Sumado a esto, no se aporta información sobre la varianza explicada por cada factor y la prueba total (varianza de la prueba total), y no se utilizaron procedimientos de selección de factores recomendados por la literatura psicométrica (Análisis Paralelo de Horn, HPA).

Dada la importancia del BO en profesionales de la salud mental, y la escasez de instrumentos de medición validados en población local, es llamativa la ausencia de investigaciones que den solución a esa necesidad. Por tal motivo, el objetivo del presente estudio fue realizar la adaptación de la versión en español del MBI-HSS (Maslach & Jackson, 1996) y obtener evidencia de validez en una población de psicólogos y psiquiatras de Argentina.

Método

Se utilizó un diseño instrumental (Montero & León, 2007) con el propósito de adaptar la versión en español del MBI-HSS (Maslach & Jackson, 1996) a profesionales de salud mental.

Participantes

Se empleó una muestra de 544 profesionales de la salud mental de diversas provincias de Argentina de los cuales 442 fueron de sexo femenino (81.2%) y 102 de sexo masculino (18.8%), con edades comprendidas entre los 23 y 71 años (M = 37.64, DE = 10.06). Del total de los participantes, 484 (89%) eran psicólogos y 60 (11%) psiquiatras. Se incluyó a aquellos que ejercían en el ámbito público (10.6%, n = 58), privado (53.7%, n = 292) y a quienes se desempeñaban tanto en instituciones públicas como privadas (35.7%, n = 194). Los participantes fueron seleccionados mediante un muestreo accidental en diferentes instituciones y a través de redes sociales, y posteriormente por muestreo de bola de nieve, solicitando referencias a la muestra inicial de otros profesionales (Romero & Bologna, 2013) debido a la dificultad para acceder a los participantes de sexo masculino.

Instrumentos

Maslach Burnout Inventory (MBI-HSS; Maslach et al., 1986). Es un instrumento autoadministrado que evalúa estrés crónico en profesionales de la salud. La versión del cuestionario utilizada consta de 22 ítems ante los cuales la persona debe indicar con qué frecuencia experimenta la situación descrita en cada afirmación (ejemplo de ítem: «Me siento agotado al final de la jornada de trabajo»). La escala es de tipo Likert con siete opciones de respuesta que van desde 0 (nunca) hasta 6 (todos los días). La estructura de la escala se encuentra compuesta por tres factores, los cuales explican el 43.39% de la varianza (Olivares- Faúndez & Gil-Monte, 2009), con valores para AE de 19.45%, para RP de 15.07%, y para DP de 8.86%. En la versión de Olivares-Faúndez y Gil-Monte (2009) los coeficientes alfa de Cronbach obtenidos fueron de .90 en la escala de AE, .79 en DP y .71 en RP.

Procedimiento

En primer lugar, se realizó un análisis de validez de contenido. Para ello, los ítems preliminares del MBI-HSS (Maslach & Jackson, 1996) fueron entregados a tres profesionales expertos en la temática para que llevaran a cabo el juicio de expertos. Para determinar el acuerdo entre jueces, se utilizó el coeficiente V de Aiken.

Con el fin de aplicar la escala resultante a la muestra consignada (n = 544), se contactó a psicólogos y psiquiatras de todo el territorio argentino. Por medio de redes sociales, se les invitó a que participen contestando el cuestionario en versión online. Sumado a esto, se aplicó el test en versión papel a psicólogos y psiquiatras de diversos establecimientos de salud mental, previa obtención del consentimiento informado por parte de las instituciones.

El análisis de datos se realizó mediante el paquete estadístico SPSS 20 y el software MPLUS 7. En primer lugar, se analizó la calidad de la base evaluando casos perdidos, casos atípicos univariados y multivariados, y el cumplimiento de los supuestos necesarios para el análisis multivariante. Se calculó la media, desviación estándar, distribución de frecuencia, asimetría y curtosis. Como criterio para evaluar los índices de asimetría y curtosis se consideró como excelente valores entre ± 1.00 y como adecuados, valores inferiores a ± 2.00 (George & Mallery, 2016). Se identificaron los casos atípicos univariados mediante el cálculo de puntuaciones Z para cada variable (puntuaciones Z > ± 3.29 fueron considerados atípicos) y multivariados mediante la prueba de distancia de Mahalanobis (p < .001).

Posteriormente, para evaluar la estructura interna de la escala se realizó un análisis factorial confirmatorio (AFC). El ajuste del modelo se analizó utilizando un procedimiento de estimación directo por medio del método de estimación de máxima verosimilitud robusto, y se evaluaron como indicadores el estadístico chi-cuadrado (χ2), el índice de ajuste comparativo (CFI), el índice de bondad de ajuste (GFI), el índice de Tucker-Lewis (TLI), el error cuadrático medio de aproximación (RMSEA) y el residuo cuadrático medio estandarizado (SRMR).

Se consideraron como ajuste aceptable a excelentes los valores entre .90 y .95 o superiores para el CFI y TLI; mientras que en el caso del RMSEA y SRMR se esperan valores entre .05 y .08 (Kline, 2005; Yu & Muthén, 2002). También se analizó la significación de los parámetros estimados.

Finalmente, la consistencia interna del instrumento se calculó utilizando el coeficiente de confiabilidad compuesta (FC). Se consideraron aceptables valores superiores a .70 (Cooper & Schindler, 2006).

Resultados

Se realizó un análisis de las observaciones y sugerencias sobre los ítems y se llevaron a cabo modificaciones en la redacción de los reactivos 3, 4, 7, 16, 18, 20, 21 y 22, de acuerdo a las recomendaciones de los expertos. Las modificaciones se realizaron con el fin de emplear un vocabulario más acorde a nuestra población, y solo se cambió la redacción, cuidando que el sentido y el contenido de los mismos no se modifiquen. Para determinar el acuerdo entre jueces se utilizó el coeficiente V de Aiken, mediante el cual se observó, con un nivel de confianza de 90%, que todos los ítems obtuvieron un valor V mayor que .80. Sus intervalos de confianza están por encima del mínimo establecido para fases iniciales de la construcción de ítems (.50), lo que indica que todos los jueces están de acuerdo acerca de la buena calidad de los ítems reformulados.

Antes de llevar a cabo el análisis factorial se evaluó la calidad de la base y se consideraron determinados criterios para valorar su viabilidad. En primer lugar, el análisis de casos perdidos dio como resultado que ningún ítem presentó más del .5% de valores perdidos y ningún caso presentó más del 3% de valores perdidos, cumpliendo con los puntos de corte establecidos por Tabachnick y Fidell (2013). Por otro lado, se constató la aleatoriedad de los mismos mediante la prueba de Little (1988) con resultados no significativos, por lo que se procedió a imputar los datos faltantes mediante el método EM (Expectation Maximization), siendo cualquier medida de imputación aceptable por el porcentaje bajo de casos perdidos. Posteriormente, mediante el cálculo de puntuaciones estándar se identificaron 34 casos atípicos univariados y 33 casos atípicos multivariados, de los cuales 21 también eran atípicos univariados, por lo que se decidió eliminar los mismos de la base. Los 12 restantes se conservaron teniendo en cuenta que sus valores de influencia fueron menores a 1. La base quedó compuesta por 523 casos, de los cuales 81.6% (n = 427) eran mujeres y 18.4% (n = 96) eran hombres (M edad = 37.68, DE = 10.11).

Respecto a la asimetría y curtosis, se encontraron 4 ítems con valores superiores a 1.6 en asimetría y 7 ítems con valores que también superaron ese punto de corte en curtosis. Esta ausencia de normalidad se comprobó a su vez en las representaciones gráficas. Ante esto, se determinó emplear el método de estimación de máxima verosimilitud robusto en la ejecución del AFC, ya que los métodos robustos se adecuan a las necesidades de las variables ordinales, por lo que no necesitan supuestos de distribución y tienden a proveer estimaciones menos sesgadas de los verdaderos valores de los parámetros (Ferrando & Lorenzo-Seva, 2013).

Teniendo en cuenta estos criterios, se procedió a la realización del AFC. El modelo inicial, coincidente con el de los autores Maslach y Jackson (1996), obtuvo un coeficiente chi-cuadrado significativo (χ2 = 662.49; sig. = .000). Los resultados mostraron índices de ajuste que si bien no alcanzaron los valores establecidos, son cercanos (CFI = .87, TLI = .86, RMSEA = .06 y SRMR = .07). Los coeficientes de regresión estandarizados obtenidos fueron de .55 a .86 para el factor 1 (AE), de .30 a .79 para el factor 2 (DP), y de .35 a .64 para el factor 3 (RP).

Tomando en consideración los resultados obtenidos, se procedió a la re-especificación del modelo. Tal como sugieren Maslach y su equipo (Maslach et al., 1986), se determinó no considerar el ítem 12 en el análisis ya que, del mismo modo que en el estudio original, alcanzó cargas factoriales relevantes en los tres factores. Tras su eliminación, el ajuste del modelo mejoró satisfactoriamente (Tabla 1), ya que si bien se obtuvo un coeficiente chicuadrado significativo (χ2 = 477.91; sig. = .000), este disminuyó y los valores de los restantes índices de ajuste fueron excelentes (CFI = .91, TLI = .90, RMSEA = .05, SRMR = .06). Los pesos de regresión estandarizados fueron significativos (ver Tabla 2).

 

Teniendo en cuenta los modelos alternativos que en los últimos años se han puesto a prueba, se decidió contrastar el modelo re-especificado obtenido con otros modelos propuestos siguiendo a Mészáros et al. (2014). Como puede observarse en la Tabla 3, todos los modelos presentaron diferencias significativas en el χ2 con respecto al modelo re-especificado de tres factores propuesto. Con respecto a los índices de ajuste, el modelo bifactorial es el único modelo que tiene índices de ajuste satisfactorios similares a los obtenidos por el modelo re-especificado de tres factores, no obstante, se decidió realizar el resto de los análisis con el modelo propuesto en este trabajo tomando como criterio la concordancia con los fundamentos conceptuales de tres factores de Maslach et al. (1986).

Para observar si la estructura trifactorial difiere según el sexo se realizó un análisis de invariancia para el modelo configural, el modelo métrico y el modelo escalar. Los tres modelos obtuvieron índices de ajuste satisfactorios (Tabla 4). Las diferencias de χ2 entre el modelo de base (configural) y el modelo métrico fueron significativas. Dado que la prueba de chicuadrado es sensible al tamaño de la muestra, basado en el criterio de Chen (2007) se indica que en el modelo métrico no hubo alteraciones significativas en el ajuste, ya que no hubo descenso mayor a .10 del CFI ni incremento mayor a .015 en el RMSEA. Por otro lado, las diferencias con el modelo escalar fueron no significativas, por lo que se determina que la escala es invariante para ambos sexos.

Finalmente, se analizó la consistencia interna de la escala mediante el cálculo de la fiabilidad compuesta, obteniendo valores considerados muy buenos por la literatura (Cooper & Schindler, 2006) tanto para el factor 1 (ω = .90), como para el factor 2 (ω = .70) y para el factor 3 (ω = .75), evidenciando la consistencia interna de cada escala. En cuanto a las relaciones entre las dimensiones, todas ellas resultaron significativas (Tabla 5). La correlación más alta se estableció entre AE y DP (r = .499, p < .01). De forma concordante con lo esperado, dichos factores se correlacionaron negativamente con la dimensión RP.

Discusión

El Burnout constituye en la actualidad un fenómeno en expansión en el ámbito laboral. En Argentina las condiciones de vida de la población, los recursos sanitarios disponibles, la pérdida del valor social de las profesiones de la salud, son algunas de las variables que condicionan el trabajo profesional, a la vez que contribuyen a crear vulnerabilidad y predisponen a los profesionales a diferentes formas de estrés. Sumado a esto, las escasas ofertas de empleo y la gran cantidad de profesionales dedicados a la salud mental en el país, contribuyen a que los requerimientos competitivos sean cada vez mayores, aumentando aún más el riesgo de padecer estrés.

Para Maslach (Juárez, 2014) el BO no solamente afecta a las personas, sino que existe un gran impacto en el ambiente en el cual trabajan. En este sentido, los espacios laborales se enfrentan a pérdidas económicas como consecuencia del ausentismo de sus trabajadores, y de la disminución en la calidad del desempeño y del trato hacia los clientes. Por ello, resulta prioritaria la obtención de evidencia científica sobre la temática basada en investigaciones y poblaciones locales como un primer paso hacia la implementación de medidas preventivas y asistenciales.

Por lo expuesto, el objetivo del presente trabajo fue realizar la adaptación del MBI-HSS a una muestra de psicólogos y psiquiatras argentinos. Para ello se hicieron estudios de validación del MBI-HSS que incluyeron estudios de evidencia basada en el contenido mediante juicio de expertos, de estructura interna a través del análisis factorial confirmatorio (AFC), y de análisis de consistencia interna.

En primer lugar, se analizó su estructura interna mediante AFC. Los resultados del modelo inicial mostraron índices de ajuste que, si bien son cercanos, no alcanzan los valores establecidos como adecuados, por lo que se procedió a la re-especificación del modelo. Atendiendo a los índices de modificación, se determinó eliminar el ítem 12 («Me siento con mucha vitalidad en mi trabajo»), a partir de lo cual el ajuste del modelo mejoró satisfactoriamente, alcanzando índices de ajuste considerados excelentes por la literatura y confirmándose la estructura trifactorial. En consonancia con estos resultados, Maslach y Jackson (1996) sugieren que, para evitar problemas a la hora de reproducir la estructura trifactorial, no se consideren los ítems 12 y 16 en los estudios factoriales confirmatorios que se resuelven mediante modelos de ecuaciones estructurales. En la misma línea, Gil-Monte (2005) menciona que una de las debilidades del MBI es la ambigüedad factorial de algunos ítems, ya que alcanzan cargas factoriales relevantes en más de un factor. Al respecto, el ítem 12 es uno de los reactivos que presenta problemas de este orden en múltiples estudios (Berjot, Altintas, Grebot, & Lesage, 2017; Matejiæ, Milenoviæ, Kisiæ Tepavèeviæ, Simiæ, Pekmezoviæ, & Worley, 2015).

Posteriormente, se evaluó la fiabilidad compuesta de la escala, considerada superadora de otras medidas de consistencia interna, ya que permite tener en cuenta todos los constructos implicados en la escala (Cooper & Schindler, 2006). Los coeficientes obtenidos fueron muy satisfactorios (.90 para el factor AE, .70 para el factor DP y .75 para RP) dando cuenta de la confiabilidad de la escala. Si bien la subescala de DP –coincidiendo con numerosos estudios (Gil-Monte & Peiró, 1999; Meda-Lara et al., 2008; Olivares-Faúndez et al., 2014)– presenta el coeficiente más bajo, la misma muestra valores superiores en comparación con otras investigaciones, al igual que las otras subescalas (Aranda-Beltrán, Pando-Moreno, & Salazar-Estrada, 2016; Gil-Monte & Peiró, 1999). Esto podría deberse al hecho de que estos estudios han utilizado el coeficiente alfa de Cronbach. Al respecto, diversos autores (Elosua-Oliden & Zumbo, 2008; Campo-Arias & Oviedo, 2008) consideran que, a pesar de su uso generalizado en ciencias sociales, su aplicación podría no ser correcta cuando la naturaleza de la escala de respuesta es ordinal, pues una de las asunciones del coeficiente de Cronbach es la naturaleza continua de las variables. Como consecuencia, estudios de simulación han demostrado que la utilización de este coeficiente como medida de consistencia interna sobre escalas de respuesta Likert con menos de cinco categorías de respuesta produce un decremento espurio de su magnitud; magnitud que se estabiliza a partir de escalas con seis categorías de respuesta (Gelin, Beasley, & Zumbo, 2003; Lozano, García-Cueto, & Muñiz, 2008). Por otro lado, al analizar los resultados del análisis de correlación, se observó que las correlaciones entre las subescalas del MBI resultaron significativas en todos los casos. Al igual que en estudios previos (Jesse, Abouljoud, & Eshelman, 2015; Kroll, Macaulay, & Jesse, 2016; Vaamonde, 2015), la correlación más intensa se establece entre AE y DP, aunque se mantenga en niveles moderados. En este sentido, el análisis de las relaciones entre las variables mediante AFC parece apoyar el modelo original definido en un inicio ya que se corresponden con las propuestas en el manual del inventario.

En este punto, el presente trabajo se constituye como un aporte a la versión del instrumento validada a nivel nacional en profesionales de la salud (Neira, 2004), debido a que la misma no cuenta con estudios confirmatorios de la estructura interna y presenta algunas limitaciones metodológicas. Así, los estudios realizados por Neira (2004) solo incluyen análisis factorial exploratorio (AFE) y no aportan información sobre la varianza explicada por cada factor y la varianza de la prueba total, sumado a que no utilizaron procedimientos de selección de factores recomendados por la literatura psicométrica (Análisis Paralelo de Horn, HPA). De este modo, los resultados del presente estudio constituyen un apoyo empírico a la validez estructural del MBI, consistente en tres factores.

No obstante, se contrastó la estructura obtenida con modelos unifactoriales, bifactoriales y de dos factores, hallándose que la propuesta bifactorial es la única que tiene índices de ajuste satisfactorios similares a los obtenidos por el modelo re-especificado de tres factores, coincidente con lo hallado por Mészáros et al. (2014). A pesar de ello, se optó por este último para ser consistentes con la estructura teórica de los autores originales. Además, se recomienda que el nuevo factor general propuesto en el modelo bifactorial, sea explicado y corroborado en futuras investigaciones (Tsubakita & Shimazaki, 2016) teniendo en cuenta el buen ajuste del mismo.

A pesar de haberse evidenciado propiedades psicométricas adecuadas, se sugiere revisar el ítem 12 en estudios posteriores dado que se encuentra evidencia para su eliminación. Así también, se sugiere ampliar el estudio realizando análisis que permitan obtener más evidencia de sus propiedades, entre ellos, estudios de evidencia convergente y discriminante, estabilidad, análisis de detección de cambios ante una intervención y otros análisis de grupos contrastados.

En lo que respecta a las limitaciones, es importante señalar que la muestra utilizada quedó conformada en su mayor parte por mujeres y psicólogos de las provincias de Buenos Aires y Córdoba, por lo que la generalización de los resultados está circunscripta a grupos similares a los del estudio. A su vez, la mayoría de los participantes contestó el cuestionario vía online a partir de su difusión en las redes sociales. A través de este medio, se produce incertidumbre sobre la identidad de quién responde, además de que permite hacer simultáneamente otras tareas que pueden incidir en pérdidas de calidad en la respuesta. Sumado a esto, desaparece la ayuda de la encuesta presencial, lo que podría llevar a respuestas desacertadas por dificultades en la interpretación de los ítems.

Para finalizar, la aplicación de este instrumento permitiría ahondar en el estudio del BO y su relación con otros constructos que pudieran resultar relevantes, tales como habilidades interpersonales o estrategias de regulación emocional, y otras variables sociodemográficas tales como estado civil o cantidad de hijos. Asimismo, permitiría indagar la relación con el engagement, como un opuesto positivo del BO, tal como recomienda Christina Maslach (Juárez, 2014) como meta de futuras investigaciones.

A partir de los análisis realizados, se puede concluir que los resultados a nivel general son satisfactorios, ya que las propiedades psicométricas evidenciadas son similares a las obtenidas en los estudios originales (Maslach & Jackson, 1981). En este sentido los resultados obtenidos revelan que, de forma semejante a lo que sucede con la versión original, este cuestionario se puede considerar una escala fiable y válida para la evaluación del Burnout en psicólogos y psiquiatras argentinos y para su uso en ámbitos de investigación.

Conflicto de intereses

No existen conflictos de intereses en el desarrollo de la presente investigación.

Responsabilidad ética

De acuerdo a lo establecido por las normativas éticas que regulan el ejercicio profesional (Código de Ética de la Federación de Psicólogos de la República Argentina, 1999), todos los participantes de la muestra firmaron un consentimiento informado, el cual brindaba datos de la naturaleza, medios y objetivos de la investigación. Se procuró la protección de la confidencialidad de la información personal e institucional, asegurando el anonimato de las personas e instituciones involucradas en la muestra.

Contribución de autoría

MAG: diseño del estudio, recolección de datos, análisis estadístico, discusión y revisión final del manuscrito.

SBG: diseño del estudio, recolección de datos, análisis estadístico, discusión y revisión final del manuscrito.

VEM: análisis estadístico y revisión final del manuscrito.

FOO: elección del tema y revisión final del manuscrito.

 

Referencias

Aldrete-Rodríguez, M. G., Navarro-Meza, C., González- Baltazar, R., Contreras-Estrada, M. I., & Pérez- Aldrete, J. (2015). Factores psicosociales y síndrome de burnout en personal de enfermería de una unidad de tercer nivel de atención a la salud. Ciencia & trabajo, 17(52), 32-36. doi: 10.4067/S0718-24492015000100007

Aranda-Beltrán, C., Pando-Moreno, M., & Salazar- Estrada, J. G. (2016). Confiabilidad y validación de la escala Maslach Burnout Inventory (Hss) en trabajadores del occidente de México. Revista Salud Uninorte, 32(2), 218-227. doi: 10.14482/sun.32.2.8828

Benevides-Pereira, A., Moreno-Jiménez, B., Garrosa- Hernández, E., & González-Gutiérrez, J. L. (2002). La evaluación específica del síndrome de Burnout en psicólogos: el «inventario de Burnout de psicólogos». Clínica y Salud, 13(3), 257-283. Recuperado de https://journals.copmadrid.org/clysa/art/36660e59856b4de58a219bcf4e27eba3

Berjot, S., Altintas, E., Grebot, E., & Lesage, F. X., (2017). Burnout risk profiles among French psychologists. Burnout Research, 7, 10-20. doi: 10.1016/j.burn.2017.10.001

Campo-Arias, A., & Oviedo, H. C. (2008). Propiedades Psicométricas de una Escala: la Consistencia Interna. Revista de Salud Pública, 10(5), 831-839. doi: 10.15 90/S0124-00642008000500015

Chao, S. F., McCallion, P., & Nickle, T. (2011). Factorial validity and consistency of the Maslach Burnout Inventory among staff working with persons with intellectual disability and dementia. Journal of Intellectual Disability Research, 55(5), 529-536. doi: 10.1111/j.1365-2788.2011.01413.x

Chen, F. F. (2007). Sensitivity of Goodness of Fit Indexes to Lack of Measurement Invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504. doi: 10.1080/10705510701301834

Cooper, D. R., & Schindler, P. S. (2006). Business research methods (Vol. 9). New York: McGraw-Hill Irwin.

Dare, C. (1997). The experience of being a psychotherapist. In V. P. Varma (Ed.), Stress in Psychotherapists. New York: Routledge.

Densten, I. L. (2001). Re-thinking burnout. Journal of Organizational Behavior, 22(8), 833-847. doi: 10.1002/job.115

Díaz-Romero, R. M., Lartigue-Becerra, T., & Acosta- Velasco, M. E. (2001). Síndrome de Burnout. Desgaste emocional en cirujanos dentistas. Revista de la Asociación Dental Mexicana, 58(2), 63-67. Recuperado de http://www.medigraphic.com/pdfs/adm/od-2001/od012d.pdf

Elosua-Oliden, P., & Zumbo, B. D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901. Recuperado de http://www.psicothema.com/pdf/3572.pdf

Ferrando, P. J., & Lorenzo-Seva, U. (2013). Unrestricted item factor analysis and some relations with Item Response Theory. Technical Report. Department of Psychology, Universitat Rovira i Virgili, Tarragona. Recuperado de http://psico.fcep.urv.es/utilitats/factor/documentation/technicalreport.pdf

García-García, J. M., Herrero-Remuzgo, S., & León- Fuentes, J. (2007). Validez factorial del Maslach Burnout Inventory (MBI) en una muestra de trabajadores del Hospital Psiquiátrico Penitenciario de Sevilla. Apuntes de Psicología, 25(2), 157-174. Recuperado de http://copao.cop.es/files/contenidos/VOL25_2_4.pdf

García-Izquierdo, M., Sáez-Navarro, M. C., & Llor- Esteban, B. (2000). Burnout, satisfacción laboral y bienestar en personal sanitario de salud mental. Revista de Psicología del Trabajo y de las Organizaciones, 16(2), 215-228. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=620276

Gelin, M. N., Beasley, T. M., & Zumbo, B. D. (2003). What is the impact on scale reliability and exploratory factor analysis of a Pearson correlation matrix when some respondents are not able to follow the rating scale? Accountability for Educational Quality: Shared Responsibility. Simposio llevado a cabo en la reunión anual de American Educational Research Association (AERA), Chicago. Recuperado de http://facul.educ.ubc.ca/zumbo/aera/papers/GelinBeasleyZumbo_7Apr.pdf

George, D., & Mallery, P. (2016). IBM SPSS Statistics 23 Step by Step: A Simple Guide and Reference. New York: Routledge.

Gil-Monte, P. R., & Peiró, M. J. (1999). Perspectivas teóricas y modelos interpretativos para el estudio del síndrome de quemarse por el trabajo. Anales de Psicología, 15(2), 261-268. Recuperado de http://www.um.es/analesps/v15/v15_2pdf/12v98_05Llag2.PDF

Gil-Monte, P. R. (2003). El Síndrome de Quemarse por el trabajo (Síndrome de Burnout) en profesionales de enfermería. Interaçao Psy, 1(1), 19-33. Recuperado de http://www.bvsde.ops-oms.org/bvsacd/cd49/artigo3.pdf

Gil-Monte, P. R. (2005). El síndrome de quemarse por el trabajo (burnout): una enfermedad laboral en la sociedad del bienestar. Madrid: Pirámide.

Halbesleben, J. R., & Buckley, M. R. (2004). Burnout in Organizational Life. Journal of Management, 30(6), 859-879. doi: 10.1016/j.jm.2004.06.004

Isaac-Otero, B. G., García-Grajeda, G., Bosch-Canto, V., Méndez-Venegas, J., & Mercedes-Luque, C. M. (2013). Burnout en psicólogos de la salud: características laborales relacionadas. Psicología y Salud, 23(2), 217-226. doi: 10.25009/pys.v23i2.503

Jesse, M. T., Abouljoud, M., & Eshelman, A. (2015). Determinants of Burnout Among Transplant Surgeons: A National Survey in the United States. American Journal of Transplantation, 15(3), 772-778. doi: 10.1111/ajt.13056

Jones, J. W. (1980). A Measure of Staff Burnout among Health Professionals. Paper presented at the annual meeting of the American Psychological Association, Montreal.

Juárez, A. (2014). Entrevista con Christina Maslach: reflexiones sobre el síndrome de Burnout. Liberabit, 20(2), 199-208. Recuperado de http://revistaliberabit.com/es/revistas/RLE_20_2_entrevista-con-christina-maslachreflexiones-sobre-elsindrome-de-burnout.pdf

Kalliath, T. J., O’Driscoll, M. P., Gillespie, D. F., & Bluedorn, A. C. (2000). A test of the Maslach Burnout Inventory in three samples of healthcare professionals. Work & Stress, 14(1), 35-50. doi:10.1080/026783700417212

Kline, T. (2005). Psychological Testing: A Practical Approach to Design and Evaluation. Thousand Oaks, CA: SAGE Publications, Inc. doi: 10.4135/9781483385693

Kroll, H. R., Macaulay, T., & Jesse, M. (2016). A Preliminary Survey Examining Predictors of Burnout in Pain Medicine Physicians in the United States. Pain Physician, 19(5), E689-696.

Little, R. J. A. (1988). A Test of Missing Completely at Random for Multivariate Data with Missing Values. Journal of the American Statistical Association, 83(404), 1198-1202. doi: 10.1080/ 01621459.1988.10478722

Lozano, L. M., García-Cueto, E., & Muñiz, J. (2008). Effect of the Number of Response Categories on the Reliability and Validity of Rating Scales. Methodology, 4(2), 73-79. doi: 10.1027/1614- 2241.4.2.73

Manso-Pinto, J. F. (2006). Estructura Factorial del Maslach Burnout Inventory-Version Human Services Survey-en Chile. Revista Interamericana de Psicología, 40(1), 115-118. Recuperado de http://pepsic.bvsalud.org/pdf/rip/v40n1/v40n1a12.pdf

Maslach, C. (1976). Burned-out. Human behavior, 5, 16-22.

Maslach, C., & Jackson, S. E. (1981). The measurement of experienced burnout. Journal of Organizational Behavior, 2(2), 99-113. doi: 10.1002/job.4030020205

Maslach, C., & Jackson, S. (1996). Manual del Inventario Burnout de Maslach. Madrid: TEA Ediciones.

Maslach, C., Jackson, S. E., & Leiter, M. P. (1986). Maslach Burnout Inventory Manual (3a ed.). Palo Alto, CA: Consulting Psychologists Press.

Matejiæ, B., Milenoviæ, M., Kisiæ Tepavèeviæ, D., Simiæ, D., Pekmezoviæ, T., & Worley, J. A. (2015). Psychometric Properties of the Serbian Version of the Maslach Burnout Inventory-Human Services Survey: A Validation Study among Anesthesiologists from Belgrade Teaching Hospitals. The Scientific World Journal, 2015. doi: 10.1155/2015/903597

Meda-Lara, R. M., Moreno-Jiménez, B., Rodríguez- Muñoz, A., Morante-Benadero, M. E., & Ortiz- Viveros, G. R. (2008). Análisis factorial confirmatorio del MBI - HSS en una muestra de psicólogos mexicanos. Psicología y Salud, 18(1), 107-116. Recuperado de http://www.redalyc.org/pdf/291/29118112.pdf

Mészáros, V., Ádám, S., Szabó, M., Szigeti, R., & Urbán, R. (2014). The Bifactor Model of the Maslach Burnout Inventory –Human Services Survey (MBIHSS)– An Alternative Measurement Model of Burnout. Stress & Health, 30(1), 82-88. doi: 10.1002/smi.2481

Mingote-Adán, J. C. (1998). Síndrome burnout o síndrome de desgaste profesional. Formación Médica Continuada en Atención Primaria, 5(8), 493-503. Recuperado de http://www.fmc.es/es/sindromeburnout-o-sindrome-desgaste/articulo/4767/

Montero, I., & León, O. G. (2007). Guía para nombrar los estudios de investigación en Psicología. International Journal of Clinical and Health Psychology, 7(3), 847-862. Recuperado de http://www.aepc.es/ijchp/GNEIP07_es.pdf

Neira, C. (2004). Cuando se enferman los que curan. Buenos Aires: Gambacop.

Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory. New York: McGraw-Hill.

Olivares-Faúndez, V., & Gil-Monte, P. R. (2009). Análisis de las principales fortalezas y debilidades del «Maslach Burnout Inventory» (MBI). Ciencia & Trabajo, 11(3), 160-167.

Olivares-Faúndez, V., Mena-Miranda, L., Jélvez-Wilke, C., & Macía-Sepúlveda, F. (2014). Validez factorial del Maslach Burnout Inventory human services (MBI- HSS) en profesionales Chilenos. Universitas Psychologica, 13(1), 145-160. doi: 10.11144/ Javeriana.UPSY13-1.vfmb

Organización Internacional del Trabajo (2010). Riesgos emergentes y nuevos modelos de prevención en un mundo de trabajo en transformación. Suiza. Recuperado de http://www.ilo.org/wcmsp5/groups/public/—ed_protect/—protrav/—safework/documents/publication/wcms_124341.pdf

Organización Mundial de la Salud (2000). The World health report 2000: Health systems: improving performance. Ginebra. Recuperado de https://apps.who.int/iris/handle/10665/42281

Ortega-Ruiz, C., & López-Ríos, F. (2004). El burnout o síndrome de estar quemado en los profesionales sanitarios: revisión y perspectivas. International Journal of Clinical and Health Psychology, 4(1), 137-160. Recuperado de http://aepc.es/ijchp/articulos_pdf/ijchp-100.pdf

Ortiz-Viveros, G. R., & Ortega-Herrera, M. E. (2009). El síndrome de burnout en psicólogos y su relación con la sintomatología asociada al estrés. Psicología y Salud, 19(2), 207-214. Recuperado de https://www.uv.mx/psicysalud/psicysalud-23-2/23-2/ Blanca%20Gabriela%20Isaac%20Otero.pdf

Pines, A., Aronson, E., & Kafry, D. (1981). Burnout: From Tedium to Personal Growth. New York: Free Press.

Romero, W., & Bologna, E. (2013). Técnicas de muestreo. En E. Bologna (Ed.), Estadística para Psicología y Educación (pp. 269-297). Córdoba, Argentina: Editorial Brujas.

Schaufeli, W. B. (2003). Past performance and future perspectives of burnout research. Journal of Industrial Psychology, 29(4), 1-15. Recuperado de http://journals.co.za/content/psyc/29/4/EJC88982

Schaufeli, W. B., Leiter, M. P., Maslach, C. & Jackson, S. E. (1996). The Maslach Burnout Inventory: General Survey (MBI-GS). En C. Maslach, S.E. Jackson & M.P. Leiter (Eds.). Maslach Burnout Inventory Manual (3a ed.) (pp.19-26). Palo Alto, California: Consulting Psychologists Press.

Schaufeli, W. B., Bakker, A. B., Hoogduin, K., Schaap, C., & Kladler, A. (2001). On the Clinical Validity of the Maslach Burnout Inventory and the Burnout Measure. Psychology & Health, 16(5), 565-582. doi: 10.1080/08870440108405527

Tabachnick, B. G., & Fidell, L. S. (2013). Using multivariate statistics. Londres: Pearson.

Tsubakita, T., & Shimazaki, K. (2016). Constructing the Japanese version of the Maslach Burnout Inventory – Student Survey: Confirmatory factor analysis. Japan Journal of Nursing Science, 13(1), 183-188. doi: 10.1111/jjns.12082

Vaamonde, J. D. (2015). Intenciones de renunciar al trabajo: diseño y validación de una escala para su medición. VII Congreso Internacional de Investigación y Práctica Profesional en Psicología, XXII Jornadas de Investigación y XI Encuentro de Investigadores en Psicología del MERCOSUR (p. 49). Argentina: Ediciones de la Facultad de Psicología de la Universidad de Buenos Aires. Recuperado de http://www.psi.uba.ar/investigaciones/eventos_cientificos/vii_congreso_memorias/2_psi_trabajo.pdf

Worley, J. A., Vassar, M., Wheeler, D. L., & Barnes, L. L. (2008). Factor Structure of Scores from the Maslach Burnout Inventory: A Review and Meta- Analysis of 45 Exploratory and Confirmatory Factor- Analytic Studies. Educational and Psychological Measurement, 68(5), 797-823. doi: 10.1177/ 0013164408315268

Yu, C., & Muthén, B. (2002). Evaluation of Model Fit Indices for latent Variable Models with Categorical and Continuous Outcomes. Trabajo presentado en American Educational Research Association, New Orleans, Luisiana.

 


María Antonella Gilla

Universidad Nacional de Córdoba, Argentina Licenciada en Psicología, cuenta con investigaciones en síndrome de Burnout. Su línea de formación se focaliza en las terapias conductuales contextuales.

ORCID: http://orcid.org/0000-0002-1807-4046

Autor corresponsal: gillaantonella@gmail.com

Silvina Belén Giménez

Universidad Nacional de Córdoba, Argentina

Licenciada en Psicología, cuenta con investigaciones en síndrome de Burnout. Su línea de formación se focaliza en las terapias conductuales contextuales.

ORCID: http://orcid.org/0000-0001-9115-765X

sbelengimenez@gmail.com

Valeria E. Moran

Instituto de Investigaciones Psicológicas (IIPsi), Facultad de Psicología, Universidad Nacional de Córdoba - CONICET, Argentina Doctora en Psicología, cuenta con investigaciones en comportamiento interpersonal en estudiantes universitarios y ansiedad social. Su línea de formación se focaliza en la construcción y adaptación de instrumentos de medición.

ORCID: http://orcid.org/0000-0003-3628-1636

moranvaleria@gmail.com

Fabián O. Olaz

Facultad de Psicología, Universidad Nacional de Córdoba, Argentina Doctor en Psicología. Es Peer-Reiwed ACT Trainer por la ACBS (Association for Contextual Behavioral Science). Profesor en la Facultad de Psicología, Universidad Nacional de Córdoba. Especialista en ACT y FAP con especialidad en el modelo Matrix.

ORCID: http://orcid.org/0000-0003-2713-7413

fabidelarenta@gmail.com

 

Este es un artículo Open Access bajo la licencia Creative Common (Atribución-NoComercial-CompartirIgual 4.0)

Recibido: 10 de marzo de 2019

Aceptado: 06 de noviembre de 2019