396 - 406 Validacion inicial de un instrumento.indd 396 AQUICHAN - ISSN 1657-5997 Claudia Bustamante1 Claudia Alcayaga2 J. Carola Pérez3 Solange Campos4 Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas 1 Enfermera-Matrona. Magíster en Enfermería. Profesora Asistente, Pontificia Universidad Católica de Chile, Chile. cqbustam@uc.cl 2 Enfermera-Matrona. Magíster en Psicología. Profesora Asistente Adjunta, Pontificia Universidad Católica de Chile, Chile. caalcaya@uc.cl 3 Psicóloga. Doctora en Psicología. Profesora, Universidad del Desarrollo, Chile. janetperez@udd.cl 4 Enfermera-Matrona. Magíster en Psicología. Profesora Asociada, Pontificia Universidad Católica de Chile, Chile. scamposr@uc.cl Recibido: 29 noviembre 2012 Enviado a pares: 7 de febrero de 2013 Aceptado por pares: 1 de octubre de 2013 Aprobado: 18 de octubre de 2013 AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 l 396-406 Para citar este artículo / To reference this article / Para citar este artigo Bustamante, C., Alcayaga, C., Pérez, J. C., Campos, S. (2013). Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas. Aquichan. Vol. 13, No. 3, 396-406. resUMeN Introducción: el apoyo a la toma de decisiones en salud facilita el automanejo de personas con enfermedades crónicas (EC). Ob- jetivo: validar la versión en español del DSAT-cdm: herramienta de análisis del apoyo en las decisiones para el manejo de EC, desa- rrollada por Stacey (2006). Materiales y métodos: estudio descriptivo que aplica un proceso sistemático que considera, entre otros: traducción-contratraducción, desarrollo de escenarios de simulación, entrenamiento de evaluadores, entrenamiento pacientes simulados y capacitación para participantes. Muestra: 15 profesionales y 2 jueces, obteniéndose 60 DSAT-cdm versión español aplicado (pre y pos capacitación). Resultados: el instrumento presentó confiabilidad aceptable en la aplicación entre-jueces y detectó la mejora en la calidad del apoyo a la toma de decisiones en los profesionales. Sin embargo, no se obtuvieron resultados que aportaran a la validez de criterio concurrente. Conclusiones: este estudio es la primera evaluación del DSAT-cdm en idioma español, el resultado principal indica que se detecta un cambio en el desempeño de profesionales para apoyar el proceso de toma de decisiones de sus pacientes y, a pesar estos hallazgos favorables, es necesario seguir evaluando el instrumento. PALAbrAs cLAVe Estudios de validación, toma de decisiones, enfermedades crónicas, autocuidado, capacitación, enfermería. (Fuente: DeCS, BIREME). 397 Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas l Claudia Bustamante, Claudia Alcayaga y otros. Initial Validation of an Analytical Tool to Support Decision-making on Chronic Illness Management AbstrAct Introduction: Support for decision-making in health facilitates self-management by persons with chronic illness (CI). Objective: Validate the Spanish- language version of DSAT - cdm: an analytical tool developed by Stacey (2006) to support decision-making on CI management. Materials and Methods: This descriptive study applies a systematic process that considers a number of aspects, such as translation – back-translation, simulation scenario development, training evaluators, simulated patient training and training for partici- pants. Sample: 15 professionals and two judges, obtaining 60 DSAT - cdm with the applied Spanish version (pre and post training). Results: The instrument showed acceptable reliability in application among judges and found improvement in the quality of decision-making support on the part of professionals. However, no results were obtained that contribute to concurrent criterion validity. Conclusions: This study is the first assessment of DSAT – cdm in Spanish. The main result indicates a change is detected in the performance of professionals to support the decision-making process of their patients. Yet, despite this favorable finding, further evaluation of the instrument is necessary. Key words Validation studies, decision making, chronic disease, self care, training, nursing. (Source: DeCS, BIREME). AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 l 396-406 398 AQUICHAN - ISSN 1657-5997 Validação inicial de um instrumento de análise do apoio na tomada de decisões para o manejo de doenças crônicas resUMo Introdução: o apoio na tomada de decisões em saúde facilita o automanejo de pessoas com doenças crônicas (ec em espanhol). Objetivo: validar a versão em espanhol do dsta-cdm: ferramenta de análise do apoio nas decisões para o manejo de ec, desenvolvida por Stacey (2006). Materiais e métodos: estudo descritivo que aplica um processo sistemático que considera, entre outros: tradução-con- tratradução, desenvolvimento de cenários de simulação, treinamento de avaliadores, treinamento de pacientes simulados e capacitação para participantes. Amostra: 15 profissionais e 2 juízes, com obtenção de 60 dsat-cdm versão espanhol aplicado (pré e pós capacitação). Resultados: o instrumento apresentou confiabilidade aceitável na aplicação entre juízes e detectou a melhoria na qualidade do apoio na tomada de decisões nos profissionais. Contudo, não se obtiveram resultados que contribuíssem para a validade de critério concorrente. Conclusões: este estudo é a primeira avaliação do dsat-cdm em espanhol; o resultado principal indica que se detecta uma mudança no desempenho de profissionais para apoiar o processo de tomada de decisões de seus pacientes e, apesar dessas descobertas favoráveis, é necessário continuar avaliando o instrumento. PALAVrAs-cHAVe Estudos de validação, tomada de decisões, doenças crônicas, autocuidado, capacitação, enfermagem. (Fonte: DeCS, BIREME). AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 l 396-406 399 Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas l Claudia Bustamante, Claudia Alcayaga y otros. Introducción La comunidad científica ha reconocido que el enfoque tradi- cional de atención en salud, con énfasis biomédico, no ofrece el apoyo que necesitan las personas para modificar sus conductas de salud y afrontar con éxito las enfermedades crónicas (EC) (1). Para que el paciente logre un automanejo efectivo y adquie- ra habilidades de autocuidado, los profesionales deben cambiar su foco de intervención desde una educación didáctica, hacia el acompañamiento y apoyo a los usuarios (2). Estrategias de inter- vención participativas, como la toma de decisiones compartidas entre profesionales de la salud y pacientes, han demostrado ser efectivas en mejorar el cuidado de estos últimos (3); de hecho, este enfoque ha sido promovido como un modelo ético ideal de interacción con los usuarios (4). Apoyar a las personas para que tomen mejores decisiones sobre el cuidado de la salud es una tarea de alta complejidad para los equipos de esta área (5). Este proceso involucra: iden- tificar las necesidades específicas de apoyo del usuario, ajustar las intervenciones de acuerdo con ellas y evaluar el apoyo en- tregado (6). En este contexto, la habilidad del profesional resulta crucial para el logro de mejores resultados en salud, en especial para enfrentar el desafío de encontrar una base común entre las prioridades clínicas (desde la perspectiva del profesional) y las personales (del usuario) a fin de lograr los cambios (7). Es posi- ble adquirir estas habilidades y entrenarlas; sin embargo, este proceso se dificulta, entre otros factores, por no contar con ins- trumentos válidos y confiables para medir el desempeño de los profesionales en la adquisición de esta habilidad (8). El presente estudio da cuenta del proceso inicial de validación de la versión en español del instrumento DSAT-cdm: Decision Support Analysis Tool for Chronic Disease Management, desarrollado por Stacey en el año 2006, que es un instrumento que permite valorar la cali- dad del apoyo en la toma de decisiones que entregan profesiona- les de la salud en intervenciones con personas con EC. El DSAT-cdm es un instrumento observacional que evalúa el apoyo a la toma de decisiones y las habilidades comunicacionales de los profesionales de la salud, en el contexto de intervenciones para personas con EC. Fue desarrollado y publicado originalmente por Pierrette Guimond (9, 10). Posteriormente, Stacey desarrolla el DSAT-10 y el DSAT chronic disease management (DSAT-cdm), instrumento para evaluar la calidad del apoyo en la toma de deci- siones entregado a personas con EC que estén tomando determi- naciones acerca de las prioridades para manejar su enfermedad (9), basada en su trabajo con el BC NurseLine del Ministerio de Salud de British Columbia, Canadá. El presente estudio es el primer paso para contar con una herramienta en español que permita evaluar la adquisición de la habilidad de los profesionales para apoyar la toma de deci- siones en salud de las personas. De esta manera, se espera contribuir a que estas tomen mejores decisiones en salud e in- crementen su automanejo. Materiales y métodos Procedimientos La preparación de los materiales y la recolección de los da- tos de los participantes se realizó entre julio del 2008 y marzo del 2009. La muestra estuvo conformada por 15 profesionales de la salud. Las participantes desarrollaron 30 interacciones telefó- nicas. La duración de las llamadas tuvo una media de 6,5 minu- tos en la medición basal (DS 2.93) y 8,2 minutos en la medición final (DS 2.30). El estudio de validación consideró: a) la adaptación cultural y de lenguaje del instrumento original al idioma español, conside- rando los procesos de traducción, contra-traducción y adaptación del lenguaje (11); b) el estudio de concordancia y confiabilidad, y c) el estudio de validez. 1. Adaptación cultural y de lenguaje del instrumento: al tra- tarse de un instrumento en un idioma distinto al lenguaje materno de los usuarios, es importante considerar que la traducción tiene como objetivo lograr equivalencia tanto conceptual como de los ítemes, semántica, operacional y de medida entre la versión original y la traducida (12). Para ello una enfermera chilena bilingüe tradujo el DSAT-cdm original en inglés al idioma español. Esta versión fue analizada por tres expertas en el marco conceptual de la toma de deci- siones, una de ellas bilingüe, que verificaron la coherencia de los conceptos traducidos con el marco conceptual de re- ferencia. Esta primera versión en español fue traducida al inglés por una enfermera estudiante bilingüe de posgrado cuya lengua materna es el inglés, con el objetivo de verifi- car la concordancia entre la versión modificada y la versión original del DSAT-cdm. Esta versión del DSAT-cdm fue revi- 400 AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 AQUICHAN - ISSN 1657-5997 sada por la autora del instrumento original y por la experta y creadora del marco conceptual de la toma de decisiones (Annette O`Connor) en que se enmarca este instrumen- to, quienes verificaron que la versión traducida mantenía el sentido del instrumento original. Además, se realizaron ajustes en algunos ítemes considerando la última informa- ción del uso del DSAT-cdm en Canadá. Al finalizar este proceso se obtuvo la versión en español del instrumento que consta de 16 ítemes agrupados en 3 áreas y que considera 2 puntajes subtotales respetando el mismo formato que el original. 2. Estudio de concordancia y confiabilidad: al tratarse de un instrumento observacional fue necesario contar con eva- luadores entrenados en su aplicación y establecer el nivel de acuerdo que había entre ellos. El panel de evaluadores se conformó con tres docentes de carreras de la salud con formación y experiencia en toma de decisiones en salud. Las evaluadoras fueron convocadas a una sesión para revisión en conjunto del instrumento, en esta se acordaron los crite- rios para la calificación de cada uno de los ítemes, luego el grupo escuchó una interacción simulada enfermera-pacien- te, se aplicó el DSAT-cdm en forma individual y se realizó un análisis en conjunto de los resultados con el fin de verificar la aplicación de los criterios acordados. Para finalizar estre proceso, a cada juez se le entregaron tres audios de inte- racciones y se les solicitó aplicar el DSAT-cdm y devolver los resultados. Para la siguiente etapa del proceso se selec- cionó la dupla de evaluadores que presentaron el nivel de acuerdo más alto (kappa 0,60 , p < 0,001) y que realizaron la siguiente etapa de aplicación del instrumento. 3. Estudio de la validez: se evaluó la validez del instrumento desde dos perspectivas. En primer lugar, se estableció la capacidad del DSAT-cdm versión español de dar cuenta de las diferencias intraindividuales en el desempeño de profe- sionales, previo y posterior a una capacitación en apoyo a la toma de decisiones de personas con EC y habilidades de entrevista motivacional. Este análisis indica la sensibilidad de la prueba al cambio en la calidad del apoyo a la toma de decisiones entregado. En segundo lugar, se determinó la validez concurrente de la prueba. Para ello se establecieron correlaciones entre los punta- jes de la prueba DSAT-cdm versión español con el nivel de cono- cimientos sobre el marco conceptual de toma de decisiones y el nivel de conocimientos de respuesta empática. Para evaluar la capacidad del DSAT-cdm de detectar un cam- bio en el desempeño de profesionales con entrenamiento en apo- yo a la toma de decisiones en salud de personas con EC se realizó una capacitación de seis horas al grupo de profesionales que con- formaron la muestra, que incluyó el marco de referencia de apoyo a la toma de decisiones y el ejercicio de habilidades de entrevista motivacional en el contexto de contactos con personas con EC. Como parte de los contenidos se incluyó la revisión del DSAT-cdm y su aplicación, y se entregó material escrito de apoyo. Para medir las habilidades de toma de decisiones de los pro- fesionales se realizó una medición basal (previa a la asistencia al taller de capacitacion) y una final. En la evaluación pre y posca- pacitación cada participante tuvo un contacto telefónico con un paciente simulado. A pesar de la denominación de simulado, el factor clave para su uso es la estandarización del desempeño, entendido como un sujeto sano o un paciente que ha sido entre- nado para representar con exactitud y consistentemente un caso particular (13). Para este estudio se prepararon tres personas como pacientes simulados: una enfermera con experiencia en el manejo de EC, formación de posgrado y entrenamiento en habi- lidades de entrevista motivacional, y dos personas jubiladas, un hombre y una mujer de 66 años, ambos profesionales, portadores de EC y con controles al día en un centro de atención primaria. Los escenarios de simulación utilizados fueron adaptados del ma- terial original desarrollado por la doctora Stacey. Cada una de las interacciones entre los profesionales de la muesta y los pacien- tes simulados (pre y postaller de capacitación) fueron grabadas y codificadas para mantener el anonimato del profesional. Luego los evaluadores (binomino de jueces) aplicaron el DSAT-cdm a las grabaciones. Para la evaluación final (postaller), además de sostener un nuevo contacto telefónico con un paciente simula- do, cada participante contestó un test de conocimientos sobre contenidos del marco conceptual de la toma de decisiones y de respuesta empática. Todos los participantes aceptaron hacer parte de la investiga- ción consintiendo en sus condiciones y firmaron un acta de con- sentimiento informado. El estudio fue evaluado y aprobado por el Comité de Ética de la Escuela de Enfermería. 401 Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas l Claudia Bustamante, Claudia Alcayaga y otros. Instrumentos • DSAT-cdm: este instrumento evalúa los elementos involu- crados en la toma de decisiones en salud de una persona con EC agrupados en tres áreas: a) el estado de la toma de decisión, b) las necesidades para la toma de decisión (conocimiento, prioridades, otras personas involucradas) y c) las necesidades para implementarla, junto con algunas habilidades de la entrevista motivacional. Consta de 16 íte- mes, para cada uno de ellos el evaluador debe indicar si se encuentra o no presente durante la interacción profesional- usuario. La escala entrega un puntaje total (puntaje máximo 16 puntos) y 2 subtotales: el primero corresponde a la suma de las tres áreas (puntaje máximo 14 puntos) y el segundo subtotal corresponde a la evaluación general de la interac- ción (puntaje máximo 2 puntos). • Test de conocimentos: este instrumento fue diseñado para el presente estudio e incluye ítemes de selección simple y múltiple. Stacey aportó ocho ítemes que evalúan los as- pectos de toma de decisiones abordados durante la capa- citación (definición de toma de decisiones, conflicto para la toma de decisiones, intervención de apoyo a la toma de decisiones). Además incluye tres ítemes sobre respuesta empática aportados por Urrutia. El puntaje máximo que se puede obtener corresponde a 15 puntos. Análisis de los datos Para evaluar la concordancia en cada uno de los ítemes del instrumento se utilizó kappa, y la medición de la confiabilidad en cada una de las mediciones (pre y pos) se realizó con el Indice de Correlación Intra-Clase (ICC). Para determinar la capacidad del DSAT-cdm de detectar el cambio en el desempeño de los profesio- nales para apoyar la toma de decisiones —entrenados frente a no entrenados— se utilizó una prueba de diferencia de medianas para muestras relacionadas (test de Wilcoxon). Adicionalmente, se establecieron correlaciones entre la prueba de conocimientos sobre toma de decisiones y respuesta empática y los puntajes DSAT-cdm posintervención a través de la prueba Rho de Spear- man, utilizando el software estadístico SPSS versión 15. Resultados Se reclutaron 17 profesionales de la salud provenientes de pro- gramas de posgrado (postítulo y magíster) de una Escuela de En- fermería que participaron en el taller de capacitación en apoyo a la toma de decisiones en salud de seis horas de duración. Quince de ellos participaron del entrenamiento y completaron la medi- ción inicial y final. La edad promedio de los participantes fue de 27 años, todas mujeres. La profesión de las participantes fue mayoritariamente enfermera (73 %), y participaron además dos nutricionistas y una odontóloga. Acuerdo y confiabilidad del DSAT-cdm versión español. Se estimó la concordancia entre-jueces ítem por ítem a través del ín- dice kappa en la medición basal y final. El nivel de acuerdo entre- jueces fue heterogéneo, con valores k = 0,22 a k = 1,0 (Tabla 1). Los ítemes en que los jueces presentaron mejor acuerdo fueron los 3, 10 y 12 en ambas mediciones (basal y final). En aquellos ítemes que presentaron mayor desacuerdo en ambas mediciones (1, 2, 6, 11, 13 y 14) se solicitó a los evaluadores realizar una con- ciliación de sus diferencias en los siguientes ítemes: Estado de la toma de decisión: • Escucha, entiende o valora la incertidumbre. • Escucha entiende o valora la percepción acerca de la etapa de manejo. Necesidades para la toma de decisiones: • Interviene en las prioridades. Necesidades para la implementación: • Identifica los obstáculos. • Estimula la verbalización. • Utiliza la escucha activa. El objetivo de la conciliación de los observadores fue con- tar con puntajes de las escalas del instrumento para evaluar su confiabilidad. La confiabilidad de la escala total (16 ítemes) en la medición basal fue de un ICC de 0,926 (IC 95 %: 0,779-0,975, p < 0,001). Adicionalmente, en la sub-escala que corresponde a la evaluación de los estados de la toma de decisión, necesidades para la toma de decisiones y necesidades para la implementación (14 ítemes) el ICC fue de 0,936 (IC 95 %: 0,808-0,978, p < 0,001) y en la eva- 402 AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 AQUICHAN - ISSN 1657-5997 luación general de la interacción (2 ítemes) este alcanza un valor de 0,741 (IC 95 %: 0,228-0,913, p < 0,01). En la medición final la confiabilidad fue de ICC 0,968 para la escala total (16 ítemes, IC 95 %: 0,905-0,939, p < 0,01), de 0,974 (14 ítemes, IC 95 %: 0,921-0,991, p < 0,001) y 0,803 (2 ítemes, IC 95 %: 0,413-0,934, p < 0,01) en cada una de las respectivas subescalas. Sensibilidad al cambio del DSAT-cdm versión español pre y poscapacitación. El puntaje promedio obtenido de la calidad del apoyo a la toma de decisiones en la medición basal fue de 4,13 puntos (DS 2.13). En la medición final, el puntaje promedio de la calidad del apoyo a la toma de decisiones fue 9,2 puntos (DS 3,2). Para contrastar las diferencias en las medianas de la calidad del apoyo a la toma de decisiones, entre las mediciones pre y posentrenamiento, se utilizó la prueba de rangos signados de Wil- coxon. Los resultados indicaron que se presenta una diferencia estadísticamente significativa (Z = -3.409, p < 0,001) en dichas medianas entre ambos momentos, siendo el nivel medio de la ca- lidad del apoyo a la toma de decisiones mayor en el momento posintervención. Esto indica que la prueba es capaz de dar cuenta de cambio en el nivel de apoyo a la toma de decisiones en EC de los participantes pre y postaller de capacitación. De esta manera se confirma la hipótesis referida a que el DSAT-cdm versión en español es capaz de detectar la mejora en la calidad del apoyo a la toma de decisiones entregado por profesio- nales de la salud que participan de un programa de capacitación. Respecto al desempeño de las participantes en cada uno los ítemes (Tabla 2), los resultados indican que hubo variación entre la medición basal y final, es decir, pre y poscapacitación. La dife- rencia de mayor magnitud se presentó en los ítemes de “forta- lecimiento de la autoeficacia”, “valoración de las prioridades” e “intervención en las prioridades”, “valoración de la motivación” y “utilización apropiada del tiempo”. En el único ítem en que dis- minuyó el desempeño fue en la “valoración de otras personas in- volucradas en el manejo” de la patología. Se observó que en la medición basal las intervenciones de apoyo se concentraron más en el área estado de la toma de decisión, específicamente en la dimensión de valoración de las necesidades para la toma de deci- sión, a excepción del “conocimiento de la enfermedad” en que las profesionales también realizaron intervención (específicamente de entrega de información). Relación del DSAT-cdm versión español con prueba conoci- mientos en toma de decisiones. El promedio de puntaje en la eva- luación del conocimiento de toma de decisiones fue 8,06 (DS 1,4) de un máximo posible de 11 puntos. El promedio en el puntaje de evaluación de conocimiento de respuesta empática fue 2,8 (DS 1,6) de un máximo posible de 4 puntos. Las correlaciones entre la prueba de conocimientos y el pun- taje DSAT-cdm indican que el desempeño de los profesionales en la interacción con un paciente se relaciona en forma estadística- mente significativa con el nivel de conocimientos de respuesta empática (rsp = 0,534, p 0,041). Es decir, en los profesionales que presentan mayor grado de apoyo a la toma de decisiones se aso- cia a un mayor nivel de conocimientos en la respuesta empática. En cambio, no se presentó una correlación significativa entre el apoyo a la toma de decisiones y el nivel de conocimientos de la misma (rsp = 0,063, p 0,823). Discusión Esta primera versión en idioma español del DSAT-cdm se ob- tiene a partir de un proceso riguroso de traducción, contratraduc- ción (back translation) y adaptación de su contenido, velando por mantener su coherencia con el instrumento original (14). El principal resultado del estudio indica que el instrumento fue capaz de detectar los cambios en las habilidades de apoyo a la toma de decisiones por parte de profesionales de la salud, que fueron capacitados o entrenados para desarrollar dicha habilidad. En la medición basal, las intervenciones de apoyo de los pro- fesionales se concentraron más en el área estado de la toma de decisión y específicamente en el ítem de valoración de las necesi- dades para la toma de decisión, a excepción del “conocimiento de la enfermedad” en que las profesionales, además de valoración, también realizaron entrega de información. Resultados similares se obtuvieron con el DSAT y el DSAT-10 (9, 10). Guimond et al. (10) señalan que este resultado se relaciona con la formación tradicional de los profesionales de la salud, en un paradigma de comunicación interpersonal en el que prevalece la entrega de infor- mación, por tanto, en escenarios de evaluación los profesionales (especialmente previo a participar del taller de capacitación) tien- den a replicar el modelo de práctica con el que están familiarizados y con el que se sienten confortables. Adicionalmente, en este tipo de interacción, desde la perspectiva de los usuarios, los profesio- 403 Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas l Claudia Bustamante, Claudia Alcayaga y otros. Ítem DSAT-cdm versión español Medición inicial Medición final Nº Nombre del ítem Coeficien- te kappa Error típico p Coeficien- te kappa Error típico p 1 Estado de la toma de decisión: Incertidumbre 0,022 0,026 0,685 0,091 0,091 0,398 2 Estado de la toma de decisión: Percepción etapa de manejo 0,062 0,208 0,756 -0,125 0,112 0,464 3 Necesidades para la toma de decisión: Conocimiento/escucha 0,602 0,204 0,019 0,865 0,129 0,001 4 Necesidades para la toma de decisión: Conocimiento/interviene 0,602 0,204 0,019 -0,053 0,249 0,833 5 Necesidades para la toma de decisión: Prioridades/escucha -0,154 0,76 0,551 0,651 0,221 0,011 6 Necesidades para la toma de decisión: Prioridades/interviene -0,071 0,050 0,782 0,455 0,224 0,067 7 Necesidades para la toma de decisión: Otras personas involucradas/escucha * 10,0 0,000 0,000 8 Necesidades para la toma de decisión: Otras personas involucradas/interviene * 0,762 0,223 0,002 9 Necesidades para la implementación: Motivación 0,634 0,329 0,008 0,444 0,236 0,085 10 Necesidades para la implementación: Autoeficacia 1.0 0,000 0,000 1.0 0,000 0,000 11 Necesidades para la implementación: Obstáculos/escucha 0,167 0,257 0,519 0,455 0,224 0,067 12 Necesidades para la implementación: Obstáculos/interviene 0,526 0,237 0,039 0,471 0,232 0,032 13 Necesidades para la implementación: Verbalización 0,000 0,224 1.0 -0,119 0,102 0,533 14 Necesidades para la implementación: Escucha activa -0,125 0,112 0,464 0,118 0,115 0,333 15 Evaluación general de la interacción: Diálogo * 0,857 0,137 0,001 16 Evaluación general de la interacción: Tiempo 0,483 0,190 0,029 * Tabla 2. Media de los puntajes por ítem en las mediciones basal y final Tabla 1. Acuerdo entre jueces por ítem en las mediciones basal y final * No pudo ser estimado por la proporción de ceros en los datos. Se repite el porcentaje de acuerdo. Ítem Puntaje basal Puntaje final Diferencia Final-Inicial Nº Nombre del ítem Media DS Media DS z p 1 Estado de la toma de decisión: Incertidumbre 0,07 0,26 0,63 0,35 -0,298 0,003 2 Estado de la toma de decisión: Percepción etapa de manejo 0,6 0,47 0,73 0,46 -0,97 0,33 3 Necesidades para la toma de decisión: Conocimiento/escucha 0,5 0,46 0,57 0,50 -0,359 0,72 4 Necesidades para la toma de decisión: Conocimiento/interviene 0,5 0,46 0,53 0,35 -0,302 0,76 5 Necesidades para la toma de decisión: Prioridades/escucha 0,2 0,37 0,73 0,42 -,2.805 0,005 6 Necesidades para la toma de decisión: Prioridades/interviene 0,0 0 0,53 0,52 -,2.828 0,005 7 Necesidades para la toma de decisión: Otras personas involucradas/escucha 0,1 0,21 0,33 0,49 -1.734 0,083 8 Necesidades para la toma de decisión: Otras personas involucradas/interviene 0,03 0,13 0,17 0,36 -1.300 0,194 9 Necesidades para la implementación: Motivación 0,1 0,28 0,60 0,43 -2.425 0,015 10 Necesidades para la implementación: Autoeficacia 0,27 0,46 0,80 0,41 -2.530 0,011 11 Necesidades para la implementación: Obstáculos/escucha 0,27 0,46 0,33 0,49 -0,447 0,655 12 Necesidades para la implementación: Obstáculos/interviene 0,30 0,41 0,23 0,37 -0,520 0,603 13 Necesidades para la implementación: Verbalización 0,33 0,49 0,73 0,45 -1.732 0,083 14 Necesidades para la implementación: Escucha activa 0,27 0,46 0,73 0,46 -2.646 0,008 15 Evaluación general de la interacción: Diálogo 0,20 0,25 0,63 0,48 -2.425 0,015 16 Evaluación general de la interacción: Tiempo 0,40 0,43 0,90 0,21 -2.743 0,006 404 AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 AQUICHAN - ISSN 1657-5997 nales no ofrecen oportunidades para participar en el proceso de toma de decisiones, aun cuando ellos quisieran hacerlo en forma activa (15). En la medición poscapacitación las participantes mejoraron sus puntajes en el área de necesidades para la implementación, ello habría sido facilitado por la aplicación de algunas microha- bilidades de la entrevista motivacional (motivación, autoeficacia, escucha activa), ejercitadas durante la capacitación. Miller y Ro- llnick (16) describen, como una de las características del apren- dizaje de la entrevista motivacional, que siempre se produce una retroalimentación inmediata a los profesionales en capacitación respecto a cómo incorporan las habilidades. El instrumento no solo fue capaz de detectar cambios en las habilidades, sino que se relacionó positivamente con conocimien- tos en la respuesta empática, pero no así con los conocimientos teóricos involucrados en el proceso de toma de decisiones. Esto podría estar relacionado con el conocimiento previo de los profesionales de la salud con el concepto de empatía. Tradi- cionalmente, alrededor de este concepto se ha centrado la en- señanza de habilidades de comunicación (17), es un constructo común en la cultura de la formación profesional de las participan- tes. Por otra parte, el marco conceptual de la toma de decisiones en salud es menos conocido; de hecho, solo cinco personas del grupo reconocieron haber tenido formación previa al respecto. La empatía, además, es reconocida por los propios usuarios como un facilitador de su participación en el proceso de toma de deci- siones en salud (15). Los resultados de la correlación entre el nivel de conocimien- tos y el desempeño en el DSAT-cdm versión español deben ser mirados con la limitación de que las pruebas de conocimiento ver- balizado describen el “cómo” se ejecutaría la actividad, lo que no permite asegurar que la persona evaluada sea capaz de ejecutar lo que relata (18). Si bien el nivel de conocimientos sobre toma de decisiones de las participantes es adecuado, esto no se asoció con la incorporación de la conducta en la intervención. Dado que se trata de una herramienta de uso observacional, el acuerdo entre jueces resulta esencial para evaluar la confiabili- dad del DSAT-cdm, la que se considera como adecuada. El acuerdo entre jueces por ítemes fue notoriamente mayor en las llamadas de la medición final frente a la medición basal, resultados que son concordantes con lo reportado en el estudio del DSAT-10 de Stacey et al. Los ítemes que presentaron más di- ficultad de acuerdo con el ICC están relacionados con evaluación de habilidades comunicacionales generales. La dificultad para el acuerdo entre los jueces en la medición precapacitación puede deberse a que durante esta observación el criterio de evaluación no estuvo explícitamente presente, por esto los evaluadores tuvieron dificultad en identificarlo, lo que genera desacuerdo entre ellos. En la experiencia de Stacey et al. también se observó este comportamiento en los evaluadores (9). Resulta importante destacar que si bien hubo bajo acuerdo entre jueces, no se presentó “no acuerdo” entre ellos. Por otra parte, dadas las características del instrumento, en que los jueces solo pueden evaluar como presente o no cada ítem evaluado, es decir, solo dos alternativas de respuesta, sumado a la baja presencia de la característica evaluada en la medición basal (o alta prevalencia en la medición final), es que se obtienen bajos valores kappa (19). Finalmente, es importante resaltar que los profesionales de la salud deben ser formados en las habilidades que les permitan apoyar a los pacientes y sus familias en la toma de decisiones en salud, lo que puede ser fomentado a través de intervenciones dirigidas específicamente a enfermeras, pero también debe estar incorporado en las instituciones donde se forman y en las cuales se desempeñan estos profesionales (20). Las limitaciones del estudio para interpretar estos resultados son: • Las características de la muestra. Se trata de un grupo se- lecto, altamente motivado, que logra la adquisición de habi- lidades a partir de una intervención única. • La complejidad de la aplicación del instrumento de acuerdo con la opinión de los jueces y conforme a la variabilidad de los índices kappa. Luego de terminadas sus evaluaciones, los jueces consideraron que las principales dificultades en la aplicación del DSAT-cdm versión español fueron poder dis- tinguir cuándo una intervención es intencional o planificada o solo aparece en el diálogo de forma incidental, lo cual fue más notorio en la medición basal. Otro aspecto complejo fue evaluar solo la presencia o ausencia de un apoyo, sin consi- derar su nivel de calidad. Para mejorar el instrumento se propone profundizar la espe- cificación de los criterios por aplicar por los jueces, para la asig- 405 Validación inicial de un instrumento de análisis del apoyo a la toma de decisiones para el manejo de enfermedades crónicas l Claudia Bustamante, Claudia Alcayaga y otros. nación de cada uno de los puntajes (valor 0, valor 1). Además, con el objetivo de favorecer la reproducibilidad del instrumento, se debería considerar en el entrenamiento de los evaluadores una metodología más intensiva que la utilizada en el presente estudio, reforzando especialmente las definiciones de cada ítem para que sean aún más específicos y observables, además de considerar que los evaluadores puedan comparar su desempeño con evalua- ciones de expertos o estándar de oro. Además, es necesario establecer su validez concurrente, para lo cual se requiere contar con instrumentos validados a fin de evaluar entrevista motivacional, los que al momento del estudio no estaban disponibles. El principal resultado de este estudio indica que esta versión del DSAT-cdm, tiene la capacidad de detectar un cambio en el desempeño de profesionales para apoyar el proceso de toma de decisiones de sus pacientes. Conclusiones Este estudio es la primera evaluación del DSAT-cdm en idio- ma español, y por tanto su primera aplicación por jueces en pro- fesionales chilenas para evaluar intervenciones telefónicas con pacientes con EC. Los resultados obtenidos permiten confirmar dos de las tres hipótesis planteadas por el estudio como indicadores de vali- dación: el DSAT-cdm versión en español presentó confiabilidad adecuada (ICC) y detectó la mejora en la calidad del apoyo a la toma de decisiones entregado por profesionales de la salud que participaron de un programa de capacitación. Por otra parte, los resultados respecto de la validez de criterio concurrente no son concluyentes. Dados estos resultados, se considera que este estudio co- rresponde a un proceso inicial de validación del DSAT-cdm ver- sión en español, y que se debería continuar buscando evidencia respecto de la validez de constructo y la validez concurrente que complementen los resultados obtenidos, incorporando las suge- rencias que han surgido de este análisis. Para una futura versión del DSAT-cdm versión en español se sugiere incorporar indicadores que den cuenta de grados en la aplicación de habilidades de apoyo a la toma de decisiones, pues la sola presencia o ausencia de la habilidad no refleja necesaria- mente la calidad del apoyo. Además, se enfatiza en la importancia de un entrenamiento similar para los jueces que lo aplicarán. Consideraciones finales y agradecimientos: el presente estu- dio fue realizado como Tesis para optar al grado de Magíster en Enfermería. Especiales agradecimientos a Ilta Lange y Mila Urru- tia, profesoras titulares de la Pontificia Universidad Católica de Chile, por su contribución al desarrollo de esta investigación. Se contó además con la asesoría experta de la doctora Dawn Stacey de la University of Ottawa. Referencias 1. Téllez A. Atención primaria: factor clave en la reforma al sistema de salud. Santiago: Pontificia Universidad Católica Vicerrectoría de Comunicaciones y Asuntos Públicos; 2006. 2. Wagner EH, Austin BT, Davis C, Hindmarsh M, Schaefer J, Bonomi A. Improving Chronic Illness Care: Translating Evi- dence Into Action. Health Aff. 2001;20(6):64-78. 3. Marshall M, Bibby J. Supporting patients to make the best decisions. BMJ [Internet] 2011 Apr [cited 2012 Oct 15]; 342: d2117. Disponible en: http://www.bmj.com/content/342/bmj.d2117 4. Saba GW, Wong ST, Schillinger D, Fernández A, Somkin CP, Wilson CC, Grumbach K. Shared decision making and the experience of partnership in primary care. Ann Fam Med. 2006;4(1):54-62. 5. Glanz K, Rimer KB, Viswanath K. Health Behavior and Health Education: Theory, Research, and Practice. 4 ed. San Fran- cisco: Wiley; 2008. 6. O´Connor AM, Jacobsen MJ, editores. Conflicto decisional: valorando y apoyando a las usuarias que tienen dificultad para tomar decisiones que afectan su salud. Santiago: Pontificia Universidad Católica de Chile; 2004. 406 AÑO 13 - VOL. 13 Nº 3 - CHÍA, COLOMBIA - DICIEMBRE 2013 AQUICHAN - ISSN 1657-5997 7. O`Connor AM, Legaré F, Stacey D. Risk communication in practice: the contribution of decision aids. BMJ. 2008;327(7417):736-40. 8. González-Ortega Y. Instrumento de cuidado de comportamiento profesional: validez y confiabilidad. Aquichan. 2008;8(2):170-182. 9. Stacey D, Taljaard M, Drake ER, O`Connor AM. Audit and feedback using the brief Decision Support Analysis Tool (DSAT-10) to evaluate nurse-standarized patient encounters. Patient Educ Couns. 2008;73(3):519-25. 10. Guimond P, Bunn H, O`Connor AM, Jacobsen MJ, Tait VK, Drake ER, et al. Validation of a tool to assess health practitioner`s decision support and communication skills. Patient Educ Couns. 2003;50(3):235-45. 11. Guillermin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32. 12. Streiner DL, Norman GR. Basic Concepts. En Streiner DL, Norman GR, Health measurement scales: a practical guide to their development and use. 4 ed. Oxford: Oxford University Press; 2008. 13. Beullens J, Rethans JJ, Goedhuys J, Buntinx F. The use of standardized patients in research in general practice. Family Practice. 1996;14(1):58-62. 14. Sánchez R, Echeverri J. Validación de escalas de medición en salud. Rev Salud Pública. 2004;6(3):1-14. 15. Ruiz R, Peralta L, Pérula LA, Olloqui J, Carrión T, Sobrino A, et al. Opiniones y percepciones de los pacientes sobre su participación en la toma de decisiones en las consultas de medicina familiar. Aten Primaria. 2012;44(1):5-10. 16. Miller WR, Rollnick S. Motivational interviewing: Preparing people for change. 2 ed. New York: The Guilford Press; 2002. 17. Walker R, Moore P, Cazenave A. Entrenamiento en habilidades de comunicación a través del análisis del diálogo médi- co-paciente en forma de guión escrito. Camillianum. 2001;(2):321-329. 18. Ahumada P. Principios y procedimientos de evaluación educacional. Valparaíso: Ediciones Universitarias de Valparaíso; 1983. 19. Gwet K. Handbook of Inter-Rater Reliability: The Definitive Guide to Measuring the Extent of Agreement Among Multi- ple Raters. 3 ed. LLC: Advanced Analytics; 2012. 20. Stacey D, Murray MA, Légaré F, Sandy D, Menard P, O`Connor A. Decision coaching to support shared decision making: a framework, evidence, and implications for nursing practice, education, and policy. Worldviews Evid Based Nurs. 2008;5(1):25-35.