1 Chardsongeicyca Maria Correia da Silva Melo1 Antonio Jorge Ferreira Delgado Filho2 Emanuela Rozeno de Oliveira3 Andreza Amanda de Araújo4 Heloíza Gabrielly de Oliveira Cavalcanti5 Chardsonclesia Maria Correia da Silva Melo6 Magaly Bushatsky7 Luiz Miguel Picelli Sanches8 Mariana Boulitreau Siqueira Campos Barros9 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus 1 https://orcid.org/0000-0001-5878-7641. Universidade Federal de Pernambuco, Centro Acadêmico de Vitória, Brasil. chardsongeicyca.melo@ufpe.br 2 https://orcid.org/0000-0002-6935-4857. Universidade Federal de Pernambuco, Centro de Informática, Brasil. 3 https://orcid.org/0000-0002-7341-9983. Prefeitura da cidade do Recife (Secretaria de Saúde), Brasil. 4 https://orcid.org/0000-0003-4590-9229. Universidade Federal de Pernambuco, Centro Acadêmico de Vitória, Brasil. 5 https://orcid.org/0000-0002-9674-4017. Universidade de Pernambuco, Departamento de Enfermagem, Brasil. 6 https://orcid.org/0000-0002-5245-1554. Universidade Federal de Pernambuco, Departamento de Ciências Médicas, Brasil. 7 https://orcid.org/0000-0002-0792-6469. Universidade de Pernambuco, Faculdade de Enfermagem Nossa Senhora das Graças, Brasil. 8 https://orcid.org/0000-0001-8660-5606. Universidade Federal de Pernambuco, Centro Acadêmico de Vitória, Brasil. 9 https://orcid.org/0000-0002-3576-2369. Departamento de Enfermagem, Universidade Federal de Pernambuco, Brasil. Recebido: 31/01/2020 Submetido: 28/02/2020 Aceito por pares: 15/04/2020 Aceito: 27/04/2020 DOI: 10.5294/aqui.2020.20.2.6 Para citar este artículo / To reference this article / Para citar este artigo Melo CMCS, Delgado Filho AJF, Oliveira ER, Aráujo AA, Cavalcanti HGO, Melo CMCS, Bushatsky M, Sanches LMP, Barros MBSC. Development and Assessment of an Application for Primary Care for Users with Diabetes Mellitus. Aquichan. 2020;20(2):e2026. DOI: https://doi.org/10.5294/aqui.2020.20.2.6 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 Temática: promoção e prevenção. Contribuição para a disciplina: em paralelo ao progresso do conhecimento em saúde, ressalta-se o caráter inédito deste estudo como inovador na introdução da tecnologia móvel a partir de uma tecnologia leve-dura que contribui para consolidar e for- talecer a enfermagem na atenção primária à saúde, constituindo-se como instrumento de mudanças, sobretudo, na integralidade do cuidado. Mesmo diante da abrangência do protocolo no âmbito estadual, caso de Pernambuco, Brasil, os resultados do estudo propulsam para uma capilarização a outras regiões do Brasil, por fomentar a sistematização da assistência de enfermagem e consolidar as práticas de cuidados primários da enfermagem. Ademais, a produção tecnológica aumentará o escopo para o em- basamento de teorias na área da enfermagem e da tecnologia da informação. https://orcid.org/0000-0001-5878-7641 mailto:chardsongeicyca.melo@ufpe.br https://orcid.org/0000-0002-6935-4857 https://orcid.org/0000-0002-7341-9983 https://orcid.org/0000-0003-4590-9229 https://orcid.org/0000-0002-9674-4017 https://orcid.org/0000-0002-5245-1554 https://orcid.org/0000-0002-0792-6469 https://orcid.org/0000-0001-8660-5606 https://orcid.org/0000-0002-3576-2369 https://orcid.org/0000-0001-5878-7641 https://orcid.org/0000-0002-6935-4857 https://orcid.org/0000-0002-7341-9983 https://orcid.org/0000-0003-4590-9229 https://orcid.org/0000-0002-9674-4017 https://orcid.org/0000-0002-5245-1554 https://orcid.org/0000-0002-0792-6469 https://orcid.org/0000-0001-8660-5606 https://orcid.org/0000-0002-3576-2369 2 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 RESUMO Objetivo: desenvolver um aplicativo sobre cuidados primários de enfermagem aos usuários com diabetes mellitus e avaliar sua usabilidade à luz da Teoria Unificada de Aceitação e Uso de Tecnologia. Materiais e métodos: trata-se de um estudo metodológico, que utilizou uma abordagem quantitativa e de delineamento transversal, a partir do método Design Instrucional Sistemático. O produto foi validado quanto à usabilidade por 11 enfermeiros especialistas, por meio do questionário System Usability Scale, fundamentado pela Teoria Unificada de Aceitação e Uso de Tecnologia 2 de Venkatesh, Thong e Xu. Resultados: o aplicativo foi desenvolvido por meio de frameworks abertos e sem custo, baseado no conteúdo atualizado do Protocolo de Enfermagem na Atenção Primária sobre Diabetes Mellitus, acrescido da Classificação Internacional das Práticas de Enfermagem na Saúde Coletiva. Na avaliação da usabilidade, o aplicativo alcançou um score de 90 pontos, sendo classificado numa escala de melhor alcançável, com dimensões que alicerçam os constructos teóricos. Conclusões: a tecnologia denominada “Diabetes em foco” apresenta-se promissora para melhorar e avançar o conhecimento teórico-prático, além do acesso rápido e facilitado ao protocolo, do apoio oportuno à tomada de decisões e do fortalecimento da sistema- tização da assistência de enfermagem na atenção primária à saúde. PALAVRAS-CHAVE (Fonte: DeCS) Tecnologia da informação; aplicativos móveis; atenção primária à saúde; cuidados de enfermagem; diabetes mellitus. 3 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus l Chardsongeicyca Maria Correia da Silva Melo e outros Desarrollo y evaluación de una aplicación de atención primaria para usuarios con diabetes mellitus RESUMEN Objetivo: desarrollar una aplicación de atención primaria de enfermería para usuarios con diabetes mellitus y evaluar la usabilidad a la luz de la Teoría Unificada de Aceptación y Uso de la Tecnología. Materiales y métodos: estudio metodológico, que utilizó un enfoque cuantitativo y transversal, basado en el método de diseño instruccional sistemático. El producto fue validado para la usabilidad por 11 enfermeros especializadas, mediante el cuestionario de escala de usabilidad del sistema, basado en la Teoría Unificada de Aceptación y Uso de la Tecnología 2, de Venkatesh, Thong y Xu. Resultados: la aplicación se desarrolló por medio de frameworks abiertos y gratuitos, basados en el contenido actualizado del Protocolo de Enfermería en Atención Primaria sobre Diabetes Mellitus, más la Clasificación Inter- nacional de Prácticas de Enfermería en Salud Pública. Al evaluar la usabilidad, la aplicación alcanzó un puntaje de 90 puntos, clasificán- dose en una escala de la mejor calidad posible, con dimensiones que sustentan las construcciones teóricas. Conclusiones: la tecnología llamada “Diabetes em foco” es prometedora para mejorar y avanzar en el conocimiento teórico y práctico, además del acceso rápido y fácil al protocolo, el apoyo oportuno para la toma de decisiones y el fortalecimiento de la sistematización de la atención de enfermería en atención primaria a la salud. PALABRAS CLAVE (Fuente: DeCS) Tecnología de la información; aplicaciones móviles; atención primaria a la salud; cuidados de enfermería; diabetes mellitus. AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 4 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 Development and Assessment of an Application for Primary Care for Users with Diabetes Mellitus ABSTRACT Objective: To develop an application on primary nursing care for users with diabetes mellitus and to assess its usability in the light of the Unified Theory of Acceptance and Use of Technology. Materials and methods: A methodological study, which used a quantitative and cross-sectional approach, based on the Systematic Design of Instruction method. The product was validated for usability by 11 specialist nurses, using the System Usability Scale questionnaire, based on the Unified Theory of Acceptance and Use of Technology 2 by Venkatesh, Thong and Xu. Results: The application was developed through open and free frameworks, based on the updated content of the Nursing Protocol in Primary Care on Diabetes Mellitus, plus the International Classification of Nursing Practices in Public Health. In assessing usability, the application reached a score of 90 points, being classified on a scale of best achievable, with dimensions that ground the theoretical constructs. Conclusions: The technology named Diabetes em Foco (Diabetes in focus in English) is promising to improve and advance theoretical and practical knowledge, in addition to quick and easy access to the protocol, timely support for decision-making and strengthening the systematization of nursing care in primary health care. KEYWORDS (SourCe: DeCS) Information technology; mobile applications; primary health care; nursing care; diabetes mellitus. 5 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus l Chardsongeicyca Maria Correia da Silva Melo e outros Introdução O diabetes mellitus (DM) trata-se de uma afecção crônica, epidemiologicamente expressiva, caracterizado como um impor- tante problema de saúde pública de alta prevalência e incidência no âmbito global (1, 2). Atualmente, segundo a Federação Internacional de Diabetes (3), 1 de 11 adultos (463 milhões de pessoas) apresenta a doença; 1 entre 6 nascidos vivo é acometido pela diabetes gestacional e, a cada seis segundos, uma pessoa com essa afecção evolui a óbito. Para 2045, a expectativa é de 642 milhões de novos casos, sendo os países em desenvolvimento os mais atingidos. No Brasil, esti- mam-se que 14,3 milhões de pessoas possuam a doença, entre- tanto 7,15 milhões não apresentam diagnóstico prévio (3). Esses dados mostram a relevância e o acréscimo desse agravo na morbidade da população, o que indica imprescindibilidade de reorganização e qualificação do cuidado aos usuários, posto que um tratamento incorreto em decorrência de uma assistência que não considera as especificidades de sua cronicidade pode oca- sionar inúmeras complicações que, além de gerar grandes im- pactos econômicos e sociais aos serviços de saúde, estão entre as principais causas de mortalidade, incapacidade, internações hospitalares e redução da qualidade de vida (4). A inserção e expansão do conhecimento e a compreensão dos profissionais de saúde, especificamente enfermeiros da atenção primária à saúde (APS), acerca dessa doença é de extrema im- portância, visto que esse nível de atenção é caracterizado pelo Ministério da Saúde do Brasil como a principal porta de entrada aos serviços, além de ter alta resolutividade e coordenar ações de promoção, prevenção, proteção, tratamento e reabilitação em saúde. Nesse sentido, a enfermagem, cuja responsabilidade é monitorar diretamente os usuários da APS, protagoniza os cuida- dos primários à saúde em um cenário oportuno e essencial para o rastreamento e monitoramento dos principais agravos, como o DM e o estímulo ao autocuidado (5). Uma assistência adequada, que considera as especificidades da doença, oportuniza uma redução dos índices de internações e melhora a qualidade de vida da população, bem como os impactos socioeconômicos dos serviços de saúde (6). As Tecnologias de Informação e Comunicação (TICs) em saúde podem contribuir para o cuidado, a disseminação de in- formações e o aceleramento da comunicação (7-10). Com o seu advento, os dispositivos móveis, em especial, os aplicativos, ga- nharam espaços nos últimos anos, principalmente com a crescente utilização de smartphones, que, além da quebra de limitação de mobilidade, ficam ao alcance dos usuários 24 horas por dia, além de lhes possibilitarem agilidade e precisão de informações em seus trabalhos (11). Assim, neste estudo, optou-se por um apli- cativo, o qual pode ser um forte aliado para a sistematização do cuidado em enfermagem. Na área da saúde, essas tecnologias não substituem o saber- fazer profissional, mas constituem um dispositivo adicional, que facilita a melhora na tomada de decisões clínicas e o acesso à informação, assim como contribui para a implementação de con- dutas qualificadas (9,12). Inúmeros modelos teóricos são estudados para compreender a aceitação e a utilização de tecnologias, entre estes, a Teoria Unificada de Aceitação e Uso de Tecnologia (TUAUT), que emerge com o objetivo de procurar entender os constructos que envolvem a aceitação e o uso de uma ferramenta tecnológica (13-15). Proposta por Venkatesh et al. (16), a TUAUT apresenta quatro constructos: expectativa de desempenho, expectativa de esforço, influência social e condições facilitadoras, por quatro moderado- res: idade, gênero, experiência e intencionalidade para analisar a influência dos constructos no desenvolvimento da intenção comportamental para a adesão de uma tecnologia. Em seguida, Venkatesh et al. (17) propuseram e testaram a TUAUT2, que in- corporou novos fatores-chave como: motivação hedônica, valor de preço e hábito (14, 15). O uso e aceitação de tecnologias de apoio pela enfermagem, a sistematização dos cuidados primários, tal como a consolidação de uma rede assistencial, podem oportunizar aos enfermeiros da APS uma forma efetiva de atuar no rastreamento, acompanha- mento e prevenção de complicações da DM durante suas práticas diárias, além de impedir a exposição de usuários a consultas e/ ou procedimentos desnecessários. Diante do exposto, a presente pesquisa visa desenvolver um aplicativo sobre cuidados primários de enfermagem aos usuários com DM e avaliar sua usabilidade à luz da TUAUT2. 6 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 Materiais e métodos Trata-se de um estudo metodológico que, para a avaliação da usabilidade, apresenta-se em uma abordagem quantitativa e de delineamento transversal, realizado no período de janeiro de 2017 a outubro de 2018, no estado de Pernambuco, Brasil. Para alcançar os objetivos referidos, o processo de desenvol- vimento do aplicativo emergiu em um dos métodos mais difundi- dos (18): o Design Instrucional Sistemático (DIS), de Walter Dick e Lou M. Carey (19), a partir das etapas: (i) análise e levanta- mento dos requisitos para a elaboração do aplicativo; (ii) design e desenvolvimento da prototipação de telas; (iii) implementação; (iv) avaliação e usabilidade (20). Análise e levantamento dos requisitos para a elaboração do aplicativo Nesta etapa, estabeleceram-se o modo como as informações seriam exibidas, os conteúdos a serem disponibilizados e as fer- ramentas utilizadas. Este momento contou com a participação de um grupo de pesquisa composto de 1 desenvolvedor de sistemas e 8 profissionais de enfermagem, autores do estudo e especia- listas na temática, para uma melhor projeção das informações, a fim de que todos os requisitos para melhor atender os profissionais de saúde fossem dispostos de maneira simples e objetiva. Para isso, foram empregados os métodos previstos no Human Cente- red Design (HCD) Toolkit, que lista formas e ferramentas com o intuito de ser um guia para os processos de inovação e design na construção de projetos (20). O aplicativo, nomeado pelos autores como “Diabetes em foco”, apresenta uma linguagem uniforme e está fundamentado no Protocolo de Enfermagem na APS do Conselho Regional de Enfermagem do Estado de Pernambuco (COREn-PE)10, principal- mente no capítulo sobre DM, desenvolvido a partir da seleção de conteúdos atualizados contidos em diretrizes, cadernos, protoco- los e manuais sobre estratégias para os cuidados primários de enfermagem, na tentativa de oportunizar uma padronização do cuidado e possibilitar, por meio da Classificação Internacional das Práticas de Enfermagem em Saúde Coletiva (CIPESC) e da 10 Esse documento foi elaborado por um grupo de 15 enfermeiros especialistas e trabalhado- res da APS do estado de Pernambuco, selecionados em 2016 pelo órgão competente. Dispõe de 15 capítulos em forma de fluxograma. Para mais informações, consultar o site do COREn-PE: http://www.coren-pe.gov.br/novo/protocolo-de-enfermagem-na-atencao-basico Classificação Internacional da Atenção Primária (CIAP), um sistema de delineamento do cuidado. A CIPESC, como uma prática inovadora em saúde coletiva, possibilita aos enfermeiros, por meio de suas potencialidades, formular diagnósticos, intensificar suas intervenções e realizar ações de promoção, prevenção, proteção e reabilitação em saúde. Portanto, é um instrumento de grande importância para a pesqui- sa e o ensino, visto que orienta a sistematização da assistência de enfermagem na atenção básica (21). A CIAP, no contexto de cuidado, toma como foco as caracte- rísticas biopsicossociais do indivíduo, ao dispor de nomenclaturas que não substituem os diagnósticos de enfermagem, mas engloba os problemas mais frequentes da APS (22). Sinteticamente, com o intuito de auxiliar as demandas dos pro- fissionais na sua prática clínica, o aplicativo dispõe de uma breve explicação sobre o diabetes mellitus e seus tipos; os processos de rastreamento, acompanhamento e prevenção de complicações (pé diabético); acolhimento; exames; prescrição; valores glicêmi- cos; insulinoterapia; reeducação alimentar; CIAP e CIPESC. A princípio, por intermédio do planejamento para a execução do aplicativo, foi desenvolvido gratuitamente o seu logotipo (Figura 1), como forma de expor, graficamente, seu principal objetivo. Figura 1. Logotipo do aplicativo “Diabetes em foco” Fonte: https://editor.freelogodesign.org/?lang=PT Portanto, com o intuito de incluir o maior número de usuários e facilitar o acesso de informações sem restrição de tempo e es- paço, bem como atingir popularidade, optou-se pela construção de um aplicativo disponível de forma off-line e com disponibilidade para o sistema operacional Android. http://www.coren-pe.gov.br/novo/protocolo-de-enfermagem-na-atencao-basico 7 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus l Chardsongeicyca Maria Correia da Silva Melo e outros Design e desenvolvimento da prototipação de telas Nesta fase, a fim de proporcionar uma modelagem inicial, que poderia sofrer modificações durante o desenvolvimento do aplicativo, foram projetados manualmente as telas e os fluxos do aplicativo (Figura 2). Em seguida, foi escolhido o template Admin- LTE11, pois abrangia todas as necessidades do protótipo planejado pela equipe. Figura 2. Protótipo de telas do aplicativo “Diabetes em foco” Fonte: elaboração própria. Como forma de oportunizar aos usuários satisfação mediante a utilização da ferramenta, o Extreme Programming (XP) foi a engenharia de software selecionada para o desenvolvimento do aplicativo. O XP é uma metodologia ágil e de rápida execução, criado nos Estados Unidos com a finalidade de produzir sistemas de boa qualidade em menor tempo, com um incessante feedback de produção de softwares em curtas séries de lançamentos, o que permite que erros ou falhas no sistema sejam corrigidos an- tes de transcorrer para um novo passo (23). 11 Template AdminLTE: https://almsaeedstudio.com Para o desenvolvimento do aplicativo, utilizou-se dos fra- meworks Apache Cordova na versão 7.0.1 e Angular na versão 4.0; além de serem ferramentas sem custos, permitem ao desen- volvedor utilizar linguagens de programação JavaScript, HTML5 (HyperText Markup Language) e CSS3 (Cascading Style Sheets) abertas e com extenso suporte on-line disponíveis para a defini- ção de aparência, estrutura e comportamento da aplicação (24). Implementação Com o software finalizado, o aplicativo foi publicado e dispo- nibilizado de forma gratuita na Play Store12, para que seu acesso, por parte dos enfermeiros especialistas que elaboraram o proto- colo da APS do COREn-PE, fosse facilitado. A amostragem foi selecionada de forma não aleatória por cri- tério da intencionalidade, visto que a escolha de trabalhar com uma amostra intencional não probabilística é baseada na propos- ta de participação livre e espontânea, constituída por 11 enfer- meiros especialistas na temática do estudo, consoante a Norma Brasileira ABNT ISO/IEC 25062:2011, regulamentadora da ava- liação da qualidade de softwares, que recomenda uma amostra de, no mínimo, oito voluntários na pesquisa (6). O estudo também adotou os critérios propostos por Jasper (25) quanto às características de, pelo menos, dois critérios entre titulação, habilidades clínicas, experiência na temática em discus- são, conhecimento especializado, aprovação em um teste especí- fico, entre outros (24). A seleção de juízes foi realizada por meio da consulta ao currí- culo da Plataforma Lattes (Conselho Nacional de Desenvolvimento Científico e Tecnológico — CNPq), na busca por indivíduos que apresentassem os critérios supracitados nas áreas da saúde da família, da saúde pública ou coletiva, de tecnologias em saúde e de diabetes, além de serem autores do Protocolo de Enfermagem na APS do COREn-PE. A cada juiz selecionado foi encaminhada uma carta convite, por e-mail, juntamente com o link gerado pelo formulário do Goo- gle Docs para o acesso à versão da escala de usabilidade. Os en- dereços eletrônicos dos juízes foram acessados pela Plataforma Lattes (CNPq), acesso livre e público. 12 Loja virtual do Google em que se encontram disponíveis aplicativos gratuitos para o sistema Android. Aplicativo “Diabetes em foco”: https://play.google.com/store/apps/ details?id=br.com.diabetesemfoco https://play.google.com/store/apps/details?id=br.com.diabetesemfoco https://play.google.com/store/apps/details?id=br.com.diabetesemfoco 8 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 A participação destes deu-se a partir da aceitação livre e es- pontânea, de forma voluntária, pela assinatura do Termo de Con- sentimento Livre e Esclarecido, pelo preenchimento de todos os requisitos presentes no questionário de usabilidade, bem como na sessão de caracterização dos profissionais. Avaliação e usabilidade Como instrumento de avaliação da usabilidade, foi utilizado o System Usability Scale (SUS), questionário validado, simples, con- fiável, de fácil administração, disponível em português do Brasil e desenvolvido por John Brooke (1986) a partir de dez afirmativas com opções de resposta numa escala tipo Likert, que varia de um a cinco: 1 — discordo totalmente; 2 — discordo parcialmente; 3 — neutro; 4 — concordo parcialmente e 5 — concordo totalmente (26-29).Para o cálculo da pontuação SUS, das questões ímpares (1, 3, 5, 7 e 9), redigidas positivamente quanto aos aspectos do aplicativo, subtrai-se um ponto da escala marcada pelo usuário, entretanto, para as questões pares (2, 4, 6, 8 e 10), redigidas negativamente, a pontuação é de cinco menos a posição da escala marcada pelo usuário. Em seguida, somam-se as pontuações indi- vidualmente das dez afirmativas de cada participante e multiplica- -se o resultado por 2,5 para obter o total da escala de usabilidade do sistema (SUS Score), ou seja, o índice de satisfação que varia de 0 a 100 pontos (26, 27). Os sistemas com SUS Score entre 0 e 25 pontos é classificado como pior alcançável; de 26 a 39, ruim; de 40 a 52, aceitável; de 53 a 74, bom; de 75 a 85, excelente; de 86 a 100 considera-se como o melhor alcançável (30). De acordo com Tenório et al. (31), por meio da utilização do SUS, também é possível analisar as cinco principais caracterís- ticas para a usabilidade indicadas por Nielsen J. (32): avaliar a facilidade de conhecimento do sistema — o qual está contido nos quesitos 3, 4, 7 e 10 do SUS; verificar a eficiência do sistema — por meio das questões 5, 6 e 8; identificar inconsistências — com base na questão 6; avaliar a facilidade de memorização — ava- liada por meio da questão 2; verificar a satisfação do usuário — pontuada pelas questões 1, 4 e 9 do SUS. O teste de usabilidade é uma etapa primordial para o pro- cessamento de pontos essenciais na indicação de qualidade de softwares, visto que a singularização da satisfação do usuário também se torna imprescindível para um bom resultado do produto. Portanto, para pontuar as características de usabilidade indivi- duais, as respostas obtidas foram multiplicadas por 25, no intuito de congregar o intervalo de valores possíveis de 0 a 100. Por meio de uma análise descritiva, estudaram-se as médias dos escores das questões de cada participante, e os resultados foram dispostos em tabelas no Microsoft Office Excel 2016 para uma melhor compreensão das informações contidas na pesquisa. A análise do SUS foi embasada pela TUAUT2, uma teoria de médio alcance e preditiva, que contextualiza as mudanças de um fenômeno, como eles acontecem e vão além da explicação e pre- visão de conceitos (33). A avaliação da usabilidade pela TUAUT2 nas intervenções de enfermagem revela-se promissora para a crescente produção tecnológica nesta ciência; um aporte para que as futuras pesqui- sas possam explicar o impacto da utilização real de uma tecno- logia nos âmbitos educacionais, assistenciais e gerenciais, além de identificar o nível de satisfação dos enfermeiros quanto a ati- tudes, emoções e sentimentos engendrados por essas mudanças nas suas atividades diárias (7). O projeto foi encaminhado ao Comitê de Ética em Pesquisa do Centro de Ciências da Saúde da Universidade Federal de Pernam- buco e aprovado com o Certificado de Apresentação para Aprecia- ção Ética (CAAE) 80662617.4.0000.5208, conforme os preceitos éticos da Resolução 466 de 12 de dezembro de 2012, do Conselho Nacional de Saúde do Brasil, em relação à pesquisa com seres humanos (34). Resultados e discussão O aplicativo “Diabetes em foco” ocupa 53 Megabytes de ar- mazenamento, foi elaborado a partir da prototipação manual de aproximadamente 60 telas (Figura 2), fornece aos enfermeiros uma ferramenta de auxílio para os processos de rastreamento, acompanhamento e prevenção de complicações (pé diabético) em usuários com DM no âmbito da atenção básica. Atualmente, verifica-se uma difusão de tecnologias e aplicati- vos que cooperam na organização e sistematização da assistência à saúde, porém, em sua maioria, poucos se relacionam com a prática clínica. O aplicativo “Diabetes em foco”, assim como o apli- cativo “Cuidar tech” (exames dos pés) (6), auxilia o enfermeiro, 9 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus l Chardsongeicyca Maria Correia da Silva Melo e outros por meio da coleta de dados, na avaliação e classificação do risco de pé diabético nos serviços de atenção à saúde em geral. Além disso, inclui informações que são oportunas para a otimização do cuidado e um processo contínuo de capacitação-atualização para identificar achados clínicos e propostas de intervenções necessá- rias imediatas para o enfrentamento da problemática. Além de apresentar uma tela principal, na qual é possível acessar os principais temas abordados no protocolo, o aplicativo “Diabetes em foco” apresenta um menu lateral que facilita a na- vegação do usuário enquanto utiliza a aplicação, pois ele pode al- terar de temática facilmente. Também dispõe de recursos extras, como vídeos, imagens, ícones de informações, contato e uma calculadora com a qual é possível, a partir da combinação dos va- lores do índice de massa corporal e da circunferência abdominal, avaliar o risco de DM tipo 2 e já propor condutas assistenciais específicas a fim de prevenir suas complicações (Figura 3). Ade- mais, sua interface gráfica foi projetada de forma que as opções de acesso às informações fossem claras e objetivas. Figura 3. Telas do aplicativo “Diabetes em foco” Fonte: https://play.google.com/store/apps/details?id=br.com.diabetesemfoco Na pesquisa, a amostra para a avaliação da usabilidade foi constituída por 11 enfermeiros, com uma média de idade de 36,3 anos (DP ± 6,9) e amplitude de 28 a 54 anos. Referente ao tempo de atuação na APS, a média foi de 9,1 anos (DP ± 6,5). Cabe destacar que apenas 27,2 %, ou seja, três desses participantes, já desenvolveram ou trabalharam com projetos voltados para dia- betes, bem como na área de tecnologias em saúde. Proporcionar medidas de qualificação em prol das atribuições do enfermeiro implica reconhecer seu perfil e atuação na atenção primária à saúde no Brasil, e assim desenvolver mudanças volta- das para a integralidade do cuidado, implementações de interven- ções ante os fatores de riscos, prevenção de agravos, promoção da saúde e da qualidade de vida (35). As variáveis “idade” e “experiência no uso das tecnologias” são aspectos a serem considerados a partir da TUAUT2, pois podem interferir na atitude em relação ao comportamento espe- rado, assim como explicar a aceitação da tecnologia como pre- condição para seu uso (16, 17). Embora, neste estudo, o número de profissionais que já de- senvolveram ou trabalharam com projetos voltados para a área de tecnologias em saúde seja reduzido, as TICs (36) aparecem como potenciais na educação permanente, no acesso às informa- ções para a dinamização do cuidado, na inovação e na implemen- tação de ações para a qualificação das atividades de profissionais que têm contato direto com pessoas com DM (37). Com o objetivo de certificar-se da usabilidade do aplicativo, além da qualidade e do índice de satisfação dos usuários finais, pela análise estatística das respostas obtidas mediante a aplica- ção do questionário SUS, observou-se que o valor total referente à média de todos os scores foi de 90, moda e mediana de 92,5 e um desvio-padrão de ± 10,1, com amplitude de 65 a 100. Assim, como forma de categorizar o valor médio de usabilidade resultante da distribuição entre os participantes, 1 dos respon- dentes (9,09 %) classificou como “bom”; 2 (18,2 %), “excelente” e 8 dos participantes (72,7 %), como “melhor alcançável” (Tabela 1). Portanto, o aplicativo “Diabetes em foco”, dentro dos parâmetros estabelecidos, alcançou o grau máximo em termos de usabilidade, visto que os maiores percentuais se encontram entre 86 e 100 da escala de categorização. https://play.google.com/store/apps/details?id=br.com.diabetesemfoco 10 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 Tabela 1. Escala de categorização e classificação da usabilidade do aplicativo “Diabetes em foco”, por enfermeiros da APS que colaboraram na construção do Protocolo de Enfermagem do COREn-PE. Pernambuco, Brasil, 2018 Escala de categorização Frequência Classificação da usabilidadeN % 0-25 - - Pior alcançável 26-39 - - Ruim 40-52 - - Aceitável 53-74 1 9,09 Bom 75-85 2 18,2 Excelente 86-100 8 72,7 Melhor alcançável Fonte: elaboração própria. Esse resultado condiz com os achados na avaliação do apli- cativo “Oncoaudit”, elaborado como consulta de medicamentos quimioterápicos para o auxílio na auditoria em enfermagem de contas hospitalares. Esse aplicativo, por meio da utilização do SUS, obteve um valor médio de score de 90 (DP ± 5), classificado dentro da escala de usabilidade como “melhor alcançável”. Por- tanto, é considerado, pelos enfermeiros, um dispositivo de fácil utilização, útil, completo e possuidor de informações bastante im- portantes para a prática (29). Para a avaliação da usabilidade de um website sobre exercí- cios respiratórios no pós-operatório (38), o valor médio de score foi de 85,5 (DP ± 6,6). Portanto, assim como o aplicativo “Dia- betes em foco”, apresenta um grau de usabilidade numa escala “melhor alcançável”. Diante desses achados, verifica-se que os benefícios da implementação do SUS, embora seja utilizado em pequenos ta- manhos de amostras e para a avaliação de diferentes tipos de ferramentas tecnológicas, tornam-no um instrumento confiável, pois, além de ser simples, gratuito e de fácil administração, dis- põe de resultados compreensíveis, bem como apresenta um nú- mero reduzido de questões, o que pode aumentar a aderência dos participantes na pesquisa (27, 28). A usabilidade é entendida como um conjunto de qualidade de medida de como uma ferramenta tecnológica pode ser usada por usuários específicos, para o alcance de objetivos que facilitem a aprendizagem, para sua eficiência, identificação de inconsistên- cias, facilidade de memorização e satisfação do usuário (32). Ressalta-se que, além da relevância de desenvolver recursos tecnológicos para diversos contextos, avaliar sua usabilidade, no que se refere a ter ferramentas com boa aceitação e utilidade, antes de disponibilizá-los para os usuários finais, também é uma etapa fundamental para o alcance de bons resultados (39). Diante do valor médio de usabilidade pontuado pela conver- são dos intervalos de valores possíveis de 0 a 100, como forma de quantificar e ratificar os componentes de qualidade indicados por Nielsen J. (32), os achados do estudo revelam uma amplitude de 87,75 a 90,75 (Tabela 2). O aplicativo apresentou-se como um recurso tecnológico de elevada facilidade de aprendizagem e ge- rou satisfação. No entanto, embora a rapidez na execução das tarefas, a facilidade de memorização e as inconsistências tenham apresentado valor abaixo da média geral de usabilidade, o aplica- tivo alcançou uma classificação de melhor alcançável. Tabela 2. Característica de usabilidade do aplicativo “Diabetes em foco” avaliado pelo SUS. Pernambuco, Brasil, 2018 Característica da usabilidade Média Significado Facilidade de aprendizagem 90,75 Sistema de fácil utilização quando utilizado pela primeira vez. Eficiência 87,75 Rapidez na execução das tarefas estabelecidas. Inconsistências 88,50 Ausência de erros. Facilidade de memorização 88,50 Sistema de fácil execução mesmo após um longo período sem utilizá-lo. Satisfação 90,75 Design agradável. Fonte: elaboração própria. 11 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus l Chardsongeicyca Maria Correia da Silva Melo e outros Um ambiente virtual de aprendizagem (27), que corroborou em parte com os achados da presente pesquisa, foi criado com o objetivo de avaliar a qualidade do sistema fornecido pela em- presa Ouro Moderno, com a média do SUS Score de 70, 76,05 de aprendizagem, 76,45 de eficiência, 76,13 correspondentes à me- morização, 74,68 referente à inconsistência e 77,85 à satisfação. No entanto, os participantes relataram dificuldades na utilização desse sistema e falhas técnicas relacionadas a configurações de hardware e de rede. Diante dessa avaliação desfavorável, realiza- ram atualizações e criaram um manual de ajuda sobre a utilização da plataforma, para sanar dúvidas e auxiliar na redução da neces- sidade de suporte técnico on-line (27). A análise das dimensões do SUS fundamenta o comportamento, aceitação e utilização de tecnologias conforme a TUAUT2. A partir da expectativa de desempenho, que demonstra como a aplicabi- lidade de uma tecnologia proporcionará benefícios na realização de determinadas atividades, observa-se a excelente avaliação desse constructo teórico a partir das características de usabili- dade “eficiência” (87,75) e “inconsistências” (88,5). A expectativa de esforço, definida como a facilidade da usabilidade das tecno- logias, pôde ser representada pela “facilidade de aprendizagem” (90,75) e pela “facilidade de memorização” (88,5). As condições facilitadoras, os recursos e apoio disponíveis para determinar o uso da tecnologia e a motivação hedônica, que enfatizam a utili- dade, o prazer que o uso de uma tecnologia pode proporcionar, foram representadas pela característica de usabilidade “satisfa- ção” (90,75). Vale salientar que a utilização do questionário SUS não possibilitou a fundamentação pelos constructos da influência social, preço/custo de consumo e hábito (16, 17). Referente ao somatório de cada afirmativa que varia de 36 a 42 pontos (Tabela 3), o aplicativo “Diabetes em foco” alcançou melhores resultados, em que os maiores percentuais se encon- tram nas questões ímpares, o que resulta outro ponto positivo. Entre as afirmativas redigidas positivamente, que indicam as- pectos relevantes no software desenvolvido, estão: “1 — Eu acho que gostaria de utilizar este sistema frequentemente”, “3 — Eu achei o sistema fácil para usar”, “5 — Eu achei que as diversas funções neste sistema foram bem integradas”, “7 — Eu imagino que a maioria das pessoas aprenderão a usar esse sistema rapidamente” e “9 — Eu me senti muito confiante usando esse sistema”. Tabela 3. Resultados referentes à usabilidade do aplicativo “Diabetes em foco” conforme as questões do SUS. Pernambuco, Brasil, 2018 Questões Somatório SUS 1 41 2 39 3 40 4 39 5 41 6 39 7 42 8 36 9 40 10 39 Fonte: elaboração própria. Usuários de aplicativos para smartphones com fins de geren- ciamento de diabetes tipo 1 demonstraram insatisfação geral com a tecnologia atualmente disponível, apesar do interesse pelo uso de ferramentas para diabetes na perspectiva do paciente. Para que seja totalmente aproveitada, a tecnologia existente deve ser adaptada para melhor atender às necessidades dessa população de pacientes, assim como inovar no compartilhamento de dados, entre os usuários e os profissionais da saúde (40, 41). Além das atribuições de valores, foi disponibilizado aos ava- liadores um questionário para proporem sugestões e comentá- rios a respeito da aplicação. Então, quando indagados sobre o que acharam do aplicativo, se gostariam de sugerir, acrescentar ou retirar algo, referiram que o aplicativo “Diabetes em foco” é uma ferramenta excelente, de fácil manuseio, didático, perfeito, prá- tico, com conteúdo muito bem embasado e atualizado, objetivo, ágil, resolutivo, funcional, informativo, de extrema importância na aplicabilidade, bem como um recurso que facilitará e apoiará as condutas de enfermagem no âmbito da atenção básica. 12 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 Entretanto, os enfermeiros também propuseram pontos de melhorias, como: atualização de alguns parâmetros de rastreio e acréscimo de informações sobre diabetes gestacional; como projetos futuros, disponibilização do aplicativo para o sistema operacional iOS. Esses pontos, exceto o último, foram revistos e atualizados em novas versões do aplicativo, o que contribuiu para uma melhor usabilidade e aperfeiçoamento da ferramenta. Todos esses feedbacks são de grande valia, pois, além de satisfazer os pesquisadores, permitem a organização, comple- mentação, atualização das informações, bem como ajudam a identificar fragilidades e oportunidades de melhorias a fim de tor- nar o aplicativo apto para o uso. Conclusões O aplicativo “Diabetes em foco”, sobre os cuidados primários de enfermagem aos usuários com DM baseado no protocolo de enfermagem na APS do COREn-PE, foi avaliado com grau máximo de usabilidade numa escala de melhor alcançável, com melhores percentuais nos componentes de facilidade de aprendizagem e satisfação, e pontos de melhorias diante da eficiência, facilidade de memorização e inconsistências. Diante da crescente utilização das TICs em diversas áreas como a saúde, os resultados deste estudo contribuíram para am- pliar os conhecimentos sobre a importância do desenvolvimento, avaliação e embasamento teórico de ferramentas tecnológicas que alinhem o conhecimento teórico-prático, além de minimizarem as dificuldades e carências dos enfermeiros em relação à prática clínica e lhes facilitarem o acesso ao protocolo de enfermagem. Como limitação no estudo, pode-se destacar a resistência de alguns profissionais na utilização das TICs no seu processo de trabalho, assim como a disponibilidade do aplicativo apenas para o sistema operacional Android. Pretende-se, neste cenário, promover uma interoperabilidade do aplicativo, adaptando essa ferramenta para operar com outros sistemas, a fim de oportunizar a troca de informações e a tomada de decisões com maior embasamento científico. Projeta-se, tam- bém, a sensibilização dos enfermeiros para o uso do aplicativo na assistência, com o intuito de uma maior qualificação na sistemati- zação da assistência de enfermagem para os cuidados primários à saúde das pessoas com DM. A análise crítica pela TUAUT2 oportunizou perspectivas de ampliação em sua utilização no âmbito da enfermagem, por assim proporcionar contribuições para a prática, a pesquisa, a educação e a gestão nos diferentes níveis de atuação do enfermeiro, além do desenvolvimento de novos conhecimentos e reflexões sobre o uso e aceitação das tecnologias de saúde. Conflito de interesses: nenhum declarado. Referências 1. Diretrizes da Sociedade Brasileira de Diabetes. Rio de Janeiro: Sociedade Brasileira de Diabetes; 2017-2018. 2. Organização Mundial de Saúde. Doenças transmissíveis e não transmissíveis. Geneva: OMS-OPAS; 2017. 3. Federação Internacional de Diabetes. Atlas de Diabetes da IDF. 9. ed. Bruxelas, Bélgica; 2019. Disponível em: http://www.diabetesatlas.org 4. Santos AL, Teston EF, Latorre MRDO, Mathias TAF, Marcon SS. Tendência de hospitalizações por Diabetes mellitus: implicações para o cuidado em saúde. Acta Paul Enferm, 2015;28(5):401-7. DOI: http://dx.doi.org/10.1590/1982- 0194201500068 5. Departamento de Atenção Básica. Estratégias para o cuidado da pessoa com doença crônica: Diabetes Mellitus. Caderno de Atenção Básica n. 36. Brasília-DF: Ministério da Saúde; 2013. Disponível em: https://bvsms.saude.gov.br/bvs/publi- cacoes/estrategias_cuidado_pessoa_diabetes_mellitus_cab36.pdf http://www.diabetesatlas.org http://dx.doi.org/10.1590/1982-0194201500068 http://dx.doi.org/10.1590/1982-0194201500068 https://bvsms.saude.gov.br/bvs/publicacoes/estrategias_cuidado_pessoa_diabetes_mellitus_cab36.pdf https://bvsms.saude.gov.br/bvs/publicacoes/estrategias_cuidado_pessoa_diabetes_mellitus_cab36.pdf 13 Desenvolvimento e avaliação de um aplicativo para os cuidados primários aos usuários com diabetes mellitus l Chardsongeicyca Maria Correia da Silva Melo e outros 6. Vêscovi SDJB, Primo CC, Anna HCS, Bringuete MEDO, Rohr RV, Prado TN et al. Aplicativo móvel para avaliação dos pés de pessoas com diabetes mellitus. Acta Paul. Enferm, 2017;30(6):607-13. DOI: http://dx.doi.org/10.1590/1982- 0194201700087 7. Maillet E, Mathieu L, Sicotte C. Modeling factors explaining the acceptance, actual use and satisfaction of nurses using an Electronic Patient Record in acute care settings: An extension of the UTAUT. Inter J Medical Informatics. 2015;84(1):36- 47. DOI: http://dx.doi.org/10.1016/j.ijmedinf.2014.09.004 8. Torres AAL, Bezerra JAA, Abbad GS. Uso de tecnologias de informação e comunicação no ensino na saúde: revisão sistemática 2010-2015. Rev Eletrônica Gestão & Saúde. 2015;6(2):1883-9. DOI: http://doi.org/10.18673/gs.v6i2.22507 9. Lopes JE, Heimann C. Uso das tecnologias da informação e comunicação nas ações médicas à distância: um caminho promissor a ser investido na saúde pública. Journal of Health Informatics, 2016;8(1):26-30. Disponível em: http:// www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/364 10. Marin HF, Peres HHC.O Ensino de Informática em Saúde e o Curriculum de Enfermagem. J Health Informatics. 2015;7(4). Disponível em: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/449/248 11. Tibes CMDS, Dias JD, Zem-Mascarenhas SH. Mobile applications developed for the health sector in Brazil: An integrative literature review. REME: Revista Mineira de Enfermagem, 2014;18(2):471-86. DOI: http://www.dx.doi.org/10.5935/1415- 2762.20140035 12. Santos ADFD, Sobrinho DF, Araújo LL, Procópio CDSD, Lopes EAS, Lima AMDLD et al. Incorporação de tecnologias de informação e comunicação e qualidade na atenção básica em saúde no Brasil. Caderno de Saúde Pública, 2017;33(5):1- 14. DOI: http://dx.doi.org/10.1590/0102-311x00172815 13. Kim J, Hyeoun-AeP. Development of a Health Information Technology Acceptance Model Using Consumers’ Health Be- havior Intention. J. Med Internet Research. 2012;14(5):1-14. DOI: https://doi.org/10.2196/jmir.2143 14. Venkatesh V, Thong JYL, Xu X. Unified theory of acceptance and use of technology: A synthesis and the road ahead. J Assoc Inform Systems. 2016;17(5):328-76. Disponível em: http://hdl.handle.net/10397/61599 15. Gonzales I et al. Teoria Unificada de Aceitação e Uso da Tecnologia: revisão do UTAUT como estrutura conceitual em eventos científicos brasileiros. 17ª Conferência da Associação Portuguesa de Sistemas de Informação. 2017 jun, 6-7. Guimarães, Portugal. DOI: http://dx.doi.org/10.18803/capsi.v17.305-320 16. Venkatesh V, Morris MG, Davis GB, Davis FD. User acceptance of information technology: toward a unified view. MIS Quarterly. 2003;27(3):425-78. Disponível em: http://www.venkatesh.com/wp-content/uploads/2015/11/2003(3)_ MISQ_Venkatesh_etal.pdf 17. Venkatesh V, Thong JYL, Xu X. Consumer acceptance and use of information technology: Extending the unified theory of acceptance and use of technology. MIS Quarterly. 2012;36(1):157-78. DOI: https://doi.org/10.2307/41410412 18. Barra DCC, Paim SMS, Dal Sasso GTM, Colla GW. Métodos para desenvolvimento de aplicativos móveis em saúde: revisão integrativa da literatura. Texto contexto enferm. 2017;26(4):1-12. DOI: https://doi.org/10.1590/0104- 07072017002260017 19. Dick W, Carey L, Carey JO. The systematic design of instruction. New York (US): Pearson; 2014. 20. Innovation Design Engineering Organization — IDEO. Human Centered Design Toolkit. IDEO; 2011. 21. Nichiata LYI, Padoveze MC, Ciosak SI, Gryschek ALFPL, Costa AA, Takahashi RF et al. Classificação Internacional das Práticas de Enfermagem em Saúde Coletiva — CIPESC®: instrumento pedagógico de investigação epidemiológica. Rev. Esc. Enferm. Usp. 2012;3(48):766-71. DOI: http://dx.doi.org/10.1590/S0080-62342012000300032 22. Landsberg GAP, Savassi LCM, Sousa AB, Freitas JMR, Nascimento JLS, Azagra R. Análise de demanda em Medicina de Fa- mília no Brasil utilizando a Classificação Internacional de Atenção Primária. Ciência e Saúde coletiva. 2012;17(11):3025- 36. Disponível em: http://www.scielo.br/pdf/csc/v17n11/v17n11a18.pdf 23. Soares MDS. Metodologias ágeis Extreme Programming e Scrum para o desenvolvimento de software. Revista Eletrônica de Sistemas de Informação; 2004 [acesso em 20 de junho de 2018]. Disponível em: http://atenas.cpd.ufv.br/dpi/XP/ artigo06.pdf http://dx.doi.org/10.1590/1982-0194201700087 http://dx.doi.org/10.1590/1982-0194201700087 http://doi.org/10.18673/gs.v6i2.22507 http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/364 http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/364 http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/449/248 http://www.dx.doi.org/10.5935/1415-2762.20140035 http://www.dx.doi.org/10.5935/1415-2762.20140035 http://dx.doi.org/10.1590/0102-311x00172815 https://doi.org/10.2196/jmir.2143 http://hdl.handle.net/10397/61599 http://dx.doi.org/10.18803/capsi.v17.305-320 http://www.venkatesh.com/wp-content/uploads/2015/11/2003(3)_MISQ_Venkatesh_etal.pdf http://www.venkatesh.com/wp-content/uploads/2015/11/2003(3)_MISQ_Venkatesh_etal.pdf https://doi.org/10.2307/41410412 https://doi.org/10.1590/0104-07072017002260017 https://doi.org/10.1590/0104-07072017002260017 http://dx.doi.org/10.1590/S0080-62342012000300032 http://www.scielo.br/pdf/csc/v17n11/v17n11a18.pdf http://atenas.cpd.ufv.br/dpi/XP/artigo06.pdf http://atenas.cpd.ufv.br/dpi/XP/artigo06.pdf 14 AÑO 20 - VOL. 20 Nº 2 - CHÍA, COLOMBIA - ABRIL-JUNIO 2020 l e2026 AQUICHAN - ISSN 1657-5997 - eISSN 2027-5374 24. Camden RK. Apache Cordova in Action. Shelter Island, editor. Estados Unidos. Manning Publications Company; 2015. 25. Jasper MA. Expert: A discussion of the implications of the concept as used in nursing. J. Adv Nurs. 1994;20(4):769-79. 26. Brooke J. SUS — A quick and dirty usability scale. Redhatch Consulting Ltd. 1986 [acesso em 22 de agosto de 2018];1-7. Disponível em: https://hell.meiert.org/core/pdf/sus.pdf 27. Boucinha RM, Tarouco lMR. Avaliação de ambiente virtual de aprendizagem com o uso do SUS — System Usability Scale. RENOTE — Novas Tecnologias na Educação. 2013;11(3):1-10. DOI: https://doi.org/10.22456/1679-1916.44479 28. Nascimento MD. Manual — System Usability Scale (SUS). Fortaleza; 2013. Disponível em: https://pt.slideshare.net/ devaner/manual-usability 29. Grossi LM, Pisa IT, Marin HF. Oncoaudit: desenvolvimento e avaliação de aplicativo para enfermeiros auditores. Acta Paul. Enfermagem. 2014;27(2):179-85. DOI: http://dx.doi.org/10.1590/1982-0194201400031 30. Bangor A, Kortum P, Miller J. Determining what individual SUS Scores mean: Adding an adjective rating scale. Jour- nal Usab. Stud. 2009;4(3):114-23. Disponível em: https://pdfs.semanticscholar.org/3399/f83ff6149dc65b52600f52e- d372be5a6aa86.pdf?_ga=2.7942068.744099555.1577414554-73469440.1567020681 31. Tenório JM, Sdepanian VL, Pisa IT, Marin HF. Desenvolvimento e avaliação de um protocolo eletrônico para atendimento e monitoramento do paciente com doença celíaca. Revista de Informática Teórica e Aplicada, 2011;17(2):210-20. Dis- ponível em: https://seer.ufrgs.br/rita/article/download/rita_v17_n2_p210/11210 32. Nielsen J. Usability 101: Introduction to Usability; 2003. Disponível em: http://www.ingenieriasimple.com/usabilidad/ IntroToUsability.pdf 33. McEwcn M, Evell’n MW. Bases teóricas de enfermagem. 4. ed. Porto Alegre: Artmed; 2016. 34. Resolução 466/2012. Diretrizes e Normas Regulamentadora de Pesquisas envolvendo seres humanos. Brasília, DF: Conselho Nacional de Saúde; 2012. 35. Ferreira SRS, Périco LAD, Dias VRFG. The complexity of the work of nurses in Primary Health Care. Revista Brasileira de Enfermagem, 2018;71(1):704-9. DOI: http://dx.doi.org/10.1590/0034-7167-2017-0471 36. Mota DN, Torres RAM, Guimarães JMX, Marinho MNASB, Araújo AF. Tecnologia da Informação e Comunicação: influência no trabalho da estratégia Saúde da Família. Journal of Health Informatics, 2018;10(2):44-9. Disponível em: http://www. jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/563 37. Duffy S, Svenson J, Chavez A, Kelly M, Wise P. Empowering community health with mobile technology to treat diabetes. Ann Fam Med. 2019;17(2):176. DOI: https://doi.org/10.1370/afm.2361 38. Santos FDRP, Nunes SFL, Pascoal LM, Neto PML, Viana RP. Avaliação de um website sobre exercícios respiratórios no pós-operatório. Congresso Brasileiro de Informática em Saúde; 2016; Goiânia, Brasil: Sociedade Brasileira de Informá- tica em Saúde; 2016. pp. 139-45. Disponível em: https://www.sbis.org.br/biblioteca_virtual/cbis/Anais_CBIS_2016_Ar- tigos_Completos.pdf 39. Martins AI, Queirós A, Rocha NP, Santos BS. Avaliação de usabilidade: uma revisão sistemática da literatura. Revis- ta Ibérica de Sistemas e Tecnologias de Informação, 2013;31-43. Disponível em: http://www.scielo.mec.pt/scielo. php?script=sci_abstract&pid=S1646-98952013000100004 40. Lithgow K, Edwards A, Rabi D. Uso de aplicativo para smartphone para gerenciamento de diabetes: avaliando as pers- pectivas do paciente. JMIR Diabetes. 2017;2(1). DOI: https://doi.org/10.2196/diabetes.6643 41. Bonn SE, Alexandrou C, Hjörleifsdottir SK et al. Tecnologia de aplicativos para aumentar a atividade física entre pacien- tes com diabetes tipo 2 — o estudo DiaCert, um estudo controlado randomizado. BMC Public Health. 2018;18:119. DOI: https://doi.org/10.1186/s12889-018-5026-4 https://hell.meiert.org/core/pdf/sus.pdf https://doi.org/10.22456/1679-1916.44479 https://pt.slideshare.net/devaner/manual-usability https://pt.slideshare.net/devaner/manual-usability http://dx.doi.org/10.1590/1982-0194201400031 https://pdfs.semanticscholar.org/3399/f83ff6149dc65b52600f52ed372be5a6aa86.pdf?_ga=2.7942068.744099555.1577414554-73469440.1567020681 https://pdfs.semanticscholar.org/3399/f83ff6149dc65b52600f52ed372be5a6aa86.pdf?_ga=2.7942068.744099555.1577414554-73469440.1567020681 https://seer.ufrgs.br/rita/article/download/rita_v17_n2_p210/11210 http://www.ingenieriasimple.com/usabilidad/IntroToUsability.pdf http://www.ingenieriasimple.com/usabilidad/IntroToUsability.pdf http://dx.doi.org/10.1590/0034-7167-2017-0471 http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/563 http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/563 https://doi.org/10.1370/afm.2361 https://www.sbis.org.br/biblioteca_virtual/cbis/Anais_CBIS_2016_Artigos_Completos.pdf https://www.sbis.org.br/biblioteca_virtual/cbis/Anais_CBIS_2016_Artigos_Completos.pdf http://www.scielo.mec.pt/scielo.php?script=sci_abstract&pid=S1646-98952013000100004 http://www.scielo.mec.pt/scielo.php?script=sci_abstract&pid=S1646-98952013000100004 https://doi.org/10.2196/diabetes.6643 https://doi.org/10.1186/s12889-018-5026-4