O monitoramento e a avaliação têm potencial para modificar uma intervenção? Como podem ser úteis? Que componentes da intervenção podem influenciar?
Registre suas impressões no bloco de anotações.
Neste tema, analisamos os principais usos e propósitos da avaliação, os conflitos de interesse entre os atores nela envolvidos e as estratégias de disseminação dos achados. Antes, porém, vamos recordar algumas noções sobre monitoramento e avaliação em saúde.
Com base em suas impressões e em outras leituras, que tal analisar a síntese sobre monitoramento e avaliação apresentada a seguir?
Implica num processo reflexivo sobre intervenções (políticas, programas e projetos), com o objetivo de caracterizar o valor agregado, considerando a relevância e a pertinência das ações. Segundo Rescher (1969) e Scriven (apud Shadish Jr., Cook e Leviton, 1991), avaliações reúnem uma teoria sobre o avaliando (objeto da avaliação) e uma teoria sobre o processo de valoração. As avaliações são diretamente influenciadas pelo contexto no qual estão inseridas e permeadas por um constante processo de negociação entre os principais envolvidos na intervenção e na avaliação (stakeholders).
Conforme Hartz (2000), monitoramento é a “análise continuada dos sistemas de informação, acompanhando procedimentos, produtos e situações de saúde”.
O acompanhamento visa identificar os ajustes necessários no curso da intervenção, tais como promover a melhor alocação de recursos, o equacionamento de custos, a captura de possibilidades de inovações, a promoção e a incorporação de aprendizados institucionais, entre outros.
Produzir avaliações úteis, capazes de provocar mudanças no curso da intervenção, ou apoiar a tomada de decisões mais oportunas e adequadas, é um dos principais desafios para os avaliadores. Nesse sentido, o seu desenho e a sua abordagem precisam responder às perguntas de interesse dos stakeholders e de outros atores envolvidos (ABREU et al., 2017; FELISBERTO, 2006; HARTZ; SANTOS; MATIDA, 2008).
O foco da avaliação deve se dirigir aos diferentes tipos de uso dos seus achados, bem como às diferentes expectativas dos stakeholders, que abrangem desde a utilização das recomendações produzidas para a realização de ajustes nas intervenções até a legitimação de decisões que serão tomadas, ou sobre propostas já estruturadas.
Avaliações podem, ainda, produzir conhecimentos para subsidiar escolhas mais bem fundamentadas, além de promover mudanças internas nas organizações, ou na cultura institucional, durante sua realização (PATTON, 2008).
De acordo com os interesses dos stakeholders, os usos da avaliação podem variar, com enfoque predominante na produção e translação do conhecimento, ou no desenvolvimento e aprimoramento da intervenção, ou ainda na prestação de contas, como representado no diagrama a seguir.
A compreensão dos usos da avaliação tem sido expandida para além de habilidades utilitaristas e de concepções restritas. Hoje, abrange diferentes domínios de influência (HARTZ; SANTOS; MATIDA, 2008).
Para exemplificar, apresentamos alguns usos possíveis para a avaliação de programas e políticas.
Avaliações não são processos solitários. Contam com a participação de instituições, financiadores, entidades públicas, equipes profissionais interdisciplinares, entre outros.
Qualquer prática avaliativa se desenvolve em uma arena, onde diferentes atores interagem, se apoiam ou disputam ideias e projetos (SILVA; GASPARINI; ALQUEZAR; GONGRA; RIBEIRO, 2017; FITZPATRICK; SANDERS; WORTHEN, 2004).
Os principais interessados na avaliação podem ser planejadores, financiadores, gestores, implementadores da intervenção, técnicos, sociedade civil, entre outros.
A identificação das partes interessadas inclui a observação de diferentes aspectos:
Para caracterizar os interessados na avaliação, algumas questões precisam ser analisadas:
O Quadro 1 permite uma análise das diferentes expectativas de uso da avaliação, em função dos atores envolvidos. Ele pode ser adaptado para diferentes avaliações e contextos.
Quadro 1 – Verificação dos públicos das avaliações
Qual a importância dos stakeholders na definição da pergunta avaliativa?
Imagine que foi estabelecido um grupo de trabalho com a participação de diferentes atores sociais, para definir a pergunta que uma avaliação deve responder sobre determinada intervenção. A intervenção proposta é uma campanha do Ministério da Saúde (MS) para prevenção de ISTs e Aids, com o uso de preservativos.
Analise essa intervenção considerando os seguintes atores: gestores, profissionais da saúde, usuários dos serviços de saúde e representantes religiosos. Reflita sobre os interesses de cada representação social em relação ao objeto da avaliação e quais perguntas esses atores gostariam que a avaliação respondesse. Considere também os potenciais usos da avaliação que cada um desses atores poderia fazer.
Preencha a matriz e registre em seu bloco de anotações suas reflexões.
Baixe aqui o arquivo da matriz para preenchê-la.
Como foi a sua análise? Você acha que todos os atores perceberam a intervenção sob a mesma perspectiva? Você notou possíveis resistências à intervenção? Alguns atores têm seus olhares mais relacionados à logística e ao financiamento da campanha?
A análise atenta e cuidadosa de todos os atores envolvidos e suas diferentes percepções é fundamental para aumentar a probabilidade de uso da avaliação, bem como sua confiabilidade.
O papel dos interessados na avaliação tem efeito direto nos usos e influências de seus achados. Quanto maior o número e a diversidade de atores envolvidos, mais complexa e dispendiosa a avaliação. Com isso, maiores as incertezas de sua condução, em função dos arranjos e consensos a serem estabelecidos. Além disso, o avaliador não pode ignorar determinadas perspectivas, identificando-as e definindo como serão atendidas.
Esse conjunto de pontos de vista permite a criação de consenso e o direcionamento da avaliação. Discutir quem vai usar os achados da avaliação é uma etapa essencial para esclarecer a sua finalidade.
Selecionamos alguns exemplos de intervenções com diferentes níveis de complexidade, para você analisar e refletir sobre a influência que os stakeholders podem exercer sobre elas.
O uso de uma avaliação depende dos seguintes fatores:
De nada adianta uma avaliação que está fadada a não ser utilizada!
Portanto, no momento do planejamento de uma avaliação, a identificação dos usos potenciais e dos fatores intervenientes é tão importante quanto a qualidade técnica e os procedimentos éticos envolvidos.
Perceba a relevância de considerar as convergências e divergências de prioridades que existem entre os principais interessados na avaliação. Isso significa que, para potencializar os usos da avaliação, os conflitos e interesses dos atores devem ser previamente conhecidos, caracterizados e ponderados.
Cabe ressaltar que o mapeamento e a análise dos stakeholders são componentes críticos para garantir o fluxo da implementação do processo avaliativo. Por isso, a análise deve ser sempre acompanhada de um plano de comunicação e de um fluxo de decisões claro e pactuado.
Avaliações não buscam julgar pessoas ou responsabilizá-las individualmente. Avaliações se atêm à produção de conhecimento, ao apoio à tomada de decisão na gestão e à prestação de contas institucional.
De forma complementar, as avaliações e os sistemas de monitoramento são dispositivos importantes e não devem ser estigmatizados como instrumentos de contabilização e punição.
Para que os estudos de avaliação, de maneira geral, tenham confiabilidade, é necessário que um conjunto de parâmetros éticos e critérios de qualidade sejam observados. É verdade que todo estudo avaliativo terá algum nível de tendenciosidade; no entanto, revisões constantes das ferramentas utilizadas e das decisões tomadas podem garantir maior credibilidade aos achados.
A qualidade das avaliações é definida por meio de critérios estabelecidos por organizações internacionais e nacionais, como os elencados no Quadro 3.
Práticas e usos do monitoramento e da avaliação
Em um cenário no qual a busca pela qualidade, efetividade e eficiência é cada vez mais intensa, práticas que promovam a correção de inadequações, ou o redirecionamento de ações que beneficiem as intervenções, também se tornam cada vez mais importantes.
De acordo com a literatura, o uso de uma avaliação está em sua capacidade de modificar intervenções e influenciar na construção do conhecimento, na produção ou em mudanças de percepções (HARTZ; SANTOS; MATIDA, 2008).
As práticas de monitoramento e avaliação têm por objetivo responder se a condução das atividades foi realizada da melhor maneira possível, se os objetivos traçados foram alcançados, ou se as ações em andamento precisam ser redirecionadas (ABREU et al., 2017).
Para saber mais sobre os princípios e diretrizes da avaliação, você pode consultar:
Para saber mais sobre os usos de avaliações em saúde, você pode consultar:
Disseminar as lições aprendidas é muito importante para ampliar o uso dos achados da avaliação. Mas esse momento não se refere apenas à divulgação dos achados.
O processo de disseminação diz respeito ao comprometimento ético de uma avaliação, de circular e discutir seus resultados com o público-alvo da intervenção. É um trabalho coletivo que envolve a articulação com parceiros e executores da intervenção, a definição de um plano de ação que incorpore as recomendações e a produção de materiais de divulgação, incluindo um plano ativo de circulação das informações, em formato impresso e/ou em mídias sociais.
A disseminação do conhecimento e dos resultados produzidos pela avaliação deve alcançar diferentes interlocutores, por meio de linguagem acessível e adequada a cada público, resguardadas sua diversidade e sensibilidade cultural.
Para qualificar esse processo e alcançar variados públicos, diferentes meios e técnicas podem ser empregados na disseminação de resultados. A forma mais comum é por meio de relatórios escritos. Contudo, dependendo do público para o qual a avaliação se destina, outros recursos podem ser mobilizados.
Veja alguns exemplos de recursos para a divulgação dos achados da avaliação:
Rodas de conversa – método que permite um espaço de diálogo e aproximação, com abertura para a discussão dos conteúdos.
Vídeos e podcasts – recursos digitais, atrativos e de fácil distribuição, com grande alcance, mas pouca interação.
Seminários e eventos científicos – reuniões de profundidade sobre um tema; permitem a apresentação e atualização de conteúdos.
Infográficos – peças visuais que comportam textos, imagens e gráficos; interessantes para apresentar informações complexas de forma facilitada.
Do estudo sobre propósitos e usos de M&A, o que já incorporamos ou devemos ainda considerar em nossas práticas avaliativas? Por que é importante o trabalho integrado e cooperativo de todos os envolvidos?
Pensando em questões dessa natureza, ressaltamos, primeiramente, que avaliações devem responder a interesses de vários grupos em relação a uma dada intervenção. Por isso, é importante que a equipe de avaliadores identifique esses grupos, seus interesses e conflitos e dê voz e visibilidade a todos. Além disso, avaliações devem obedecer aos padrões de qualidade e seguir as recomendações sobre as boas práticas profissionais no campo.
Outra questão imprescindível é que os achados das avaliações devem ser sempre divulgados. Para tal, a equipe avaliadora deve estar atenta à forma mais adequada para divulgá-los, considerando o contexto da intervenção e os demandantes. E não é só isso! Os achados devem ser validados com os atores envolvidos e desdobrados em ações relevantes para a intervenção.
