O que é modelizar?

O que você entende por modelização de uma intervenção?

Utilize seu bloco de anotações para construir sua definição.​

No Tema 2 vimos que intervenções são sistemas organizados de ações que visam a resolução de problemas, o atendimento a necessidades ou demandas. Sistemas podem ser compreendidos como unidades funcionais compostas por elementos organizados e hierarquizados em relação à função prevista. Ressalte-se que essas relações são processos de trabalho em constante transformação no tempo e no espaço, situados em um contexto e mediados pelo monitoramento, como prática reflexiva.​

Neste tema, iremos apresentar a modelização de uma intervenção, um passo importante para o entendimento da intervenção que será monitorada e/ou avaliada.

Segundo Bunge (2006), o modelo é uma representação de um objeto, suas relações, seus movimentos referenciados a uma construção conceitual inicialmente intuitiva, à qual se agregam propriedades passíveis de serem abordadas racionalmente por uma teoria, e confrontadas a fatos e evidências.

Modelizar a intervenção implica descrevê-la por meio de uma representação visual e sistemática, na qual se apresentam as relações entre ela e seus efeitos. Significa abrir a caixa-preta — ou seja, explicitar a racionalidade do seu funcionamento (teoria de funcionamento) ­— e possibilitar o estabelecimento da relação de causa (da intervenção) com a resolução da situação-problema — ou seja, a mudança esperada (teoria de mudança, também conhecida como Theory of Change — ToC).

No modelo, também podemos incluir a interação da intervenção com os diversos atores envolvidos, em diferentes momentos de sua implementação (teoria de interação).  Assim, modelizar é construir modelos, isto é, apresentações usualmente visuais capazes de expressar teorias ou ideias sobre determinados fenômenos. Ao longo deste tema, você conhecerá essas teorias.

Assim como a abertura de uma caixa-preta, a modelização permite a explicitação do funcionamento da intervenção e o estabelecimento da relação de causa da intervenção com a resolução do problema.

Modelizar, assim, não é apenas uma técnica para representar uma ideia. É uma estratégia que encoraja a interação de representações teóricas, promove debates e acordos decisórios importantes para a implementação e reformulação de intervenções. Permite a construção de significados e valores compartilhados, documentando e facilitando o monitoramento, além de apontar desafios e apoiar a elaboração de questões avaliativas pertinentes. Viabiliza a projeção da intervenção em contexto, antecipando consequências e interações positivas ou negativas, permitindo a estimativa e prevenindo possíveis riscos para as intervenções. Veja alguns exemplos das diferentes formas de representar uma intervenção (clique na imagem para vê-la ampliada).

Figura 1 –  Exemplos de diferentes formas de representar intervenções

Breve histórico dA modelização para M&A

Para conhecer um pouco mais sobre a história da modelização em M&A, clique nas abas a seguir.

Weiss (1972a, 1972b) está entre os primeiros pesquisadores que  salientaram a necessidade de se proceder a uma reflexão sobre as teorias da intervenção e sua explicitação, via um modelo, o que constituiria a primeira etapa de uma avaliação (FUNNELL; ROGERS, 2011).

Para Chen (1990), o modelo de uma intervenção expressa o que deve ser feito para o alcance dos objetivos e efeitos esperados, tendo assim, além de um efeito descritivo, um poder analítico importante.

Em 1998, ocorreu a primeira edição do documento Logic Model Development Guide (1998), da Fundação W.K. Kellogg (2004), com a ampla disseminação da terminologia e do uso da representação visual dos modelos lógicos lineares (pipeline).

Componentes do modelo lógico-teórico

Fonte: W. K. Kellogg Foundation (2004).

Nesse tipo de modelo, privilegia-se o modo de funcionamento, pois as cadeias de eventos são organizadas segundo sua contribuição para o alcance dos efeitos de resultado e impacto, com suas metas e seus indicadores. ​

Ouça o áudio de Gisela Cardoso, pesquisadora do Laboratório de Avaliação da ENSP/Fiocruz, para entender a importância da modelização.

Transcrição do áudio

Por que é tão importante, no processo avaliativo, representarmos a intervenção por meio da modelização?

A modelização é uma pactuação da compreensão da intervenção. Pode ser uma política, um programa, um projeto, uma rede, que vamos avaliar ou monitorar. Essa representação visual e sistematizada pode acontecer de diferentes maneiras.

A maneira mais simples, ou denominada de linear, expressa a forma de funcionamento da intervenção; ou seja, a sua operacionalização, expressa por meio dos insumos ou recursos necessários para a realização das atividades que têm que ser executadas, para se alcançar os efeitos a curto, médio e longo prazos, expressos através dos produtos, resultados e impactos descritos. É também denominada de representação que expressa a teoria prescritiva, porque nela estão descritos os passos operacionais para que se alcancem os efeitos almejados.

Ao mesmo tempo, podemos expressar, representar, a nossa intervenção descrevendo a teoria de mudança, por meio da explicitação da cadeia de efeitos necessária para que as mudanças aconteçam. Nessa teoria, denominada descritiva, se explicitam as hipóteses ou os pressupostos para que se alcancem as mudanças com a intervenção selecionada.

Também podemos descrever nossa intervenção por meio da representação visual da teoria de interação, ou seja, como os atores interagem e possibilitam que as mudanças ocorram.

A modelização, portanto, é um passo fundamental para a compreensão da intervenção, seja expressa na sua lógica de funcionamento, na sua racionalidade de mudança, ou no seu modo relacional entre os atores envolvidos. É importante que ao representarmos a nossa intervenção possamos validá-la junto aos atores estratégicos, também denominados de stakeholders, que são aqueles atores diretamente envolvidos com a intervenção e, possivelmente, interessados no processo de avaliação.

Atenção

É importante sinalizar que o modelo não pode ser uma camisa de força. Ele é, antes de tudo, a representação de um modo de pensar a intervenção. Ele pode possibilitar o seu seguimento, a documentação de adaptações dinâmicas e emergentes, e, ainda, subsidiar o replanejamento da intervenção.

Em 2005, Chen classificou as teorias que sustentam uma intervenção em descritivas e prescritivas.

Teorias descritivas Teorias prescritivas

Referem-se aos pressupostos sobre mecanismos ou conexões causais que relacionam a escolha estratégica à implementação e aos seus efeitos, ou seja, a efetividade da intervenção. De forma mais frequente, os pressupostos descritivos, ou teorias descritivas, são referidos, na literatura, como modelos de mudança (DONALDSON, 2007; MAYNE, 2006, 2015; WEISS, 1998).

Referem-se aos pressupostos sobre como os componentes técnicos e estruturais de uma política ou programa devem se relacionar para que se alcance a mudança planejada. Esses pressupostos relacionam-se, por exemplo, aos elementos da intervenção necessários para que o efeito esperado ocorra, como eles devem ser organizados e quem são os atores qualificados para executá-los. Dessa forma, as teorias prescritivas, ou de modelo de ação, detalham o modo de funcionamento das intervenções, e agrupam por afinidade os componentes técnicos em eixos de ação. As teorias prescritivas propõem as boas práticas para o modo de funcionamento de procedimentos, tecnologias necessárias, e as boas práticas de gestão e governança, que se materializam na organização dos recursos orçamentários e financeiros envolvidos.

M&A na prática

Leia as situações a seguir e relacione-as com as teorias que sustentam uma intervenção, de acordo com Chen (2005).

  1. Teorias descritivas
  2. Teorias prescritivas​
O plano municipal de saúde estabelece a necessidade de realização de um seminário semestral (dois por ano) sobre inovações tecnológicas e arranjos de gestão.
2
O pré-natal com triagem de risco e acompanhamento diferenciado reduz o número de nascidos de baixo peso, as complicações de parto e puerpério, com influência na mortalidade materna e neonatal.
1
Gestantes devem realizar a caracterização de risco na 1ª consulta do pré-natal e,  se for evidenciado o alto risco, devem realizar pelo menos 10 consultas durante a gestação.
2
As iniciativas de educação permanente e capacitação customizadas contribuem para a qualificação dos profissionais e para a incorporação de boas práticas.
1
▲ Preencha todos os campos para conferir suas respostas.
Confira as suas respostas Limpar respostas
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.

É interessante sinalizar que alguns autores, como Davies (2004) e Mayne (2006), denominam, de forma genérica, todos os modelos como “modelos de processos de mudança”, em contraposição à tradicional denominação de modelos lógicos. Para esses autores, todos os modelos são lógicos. Ambos têm enfatizado as limitações dos modelos lineares e as vantagens dos modelos mais abrangentes, principalmente para capturar as teorias em intervenções complexas. Davies (2005), por exemplo, ao citar os modelos em rede para representar a teoria de mudança, remete a três abordagens: a análise de redes sociais (Social Network Analysis – SNA), a análise de sistemas adaptativos complexos (Complex Adaptative Systems – CAS) e a teoria do ator-rede (Actor Network Theory – ANT).

No Brasil, no setor saúde, as primeiras iniciativas de disseminação da modelização, particularmente no que se refere aos modelos lineares, são as publicações do então Programa Nacional de DST/AIDS (BRASIL, 2005b), Atenção Básica em Saúde (ABS), do Ministério da Saúde (BRASIL, 2005a) e uma Nota Técnica do IPEA (FERREIRA; CASSIOLATO; GONZALEZ, 2007). Mais recentemente, vários autores brasileiros têm incorporado a contribuição da ANT para a descrição dos dispositivos de M&A, como conexões interativas de mobilização e translação de conhecimento (ABREU, 2018; FIGUEIREDO et al., 2016; OLIVEIRA et al., 2017).

A partir desse breve histórico, que situou a modelização no campo teórico, podemos aprofundar um pouco mais a construção de modelos lógicos de intervenções.

Alternativas de representação visual

Apesar da existência de uma grande diversidade de alternativas de representação visual (modelização), disponíveis na literatura, aqui serão priorizados os modelos lineares simples e estagiados, conforme descritos na tipologia proposta por Davies (2004, 2005) e Funnell e Rogers (2011). Esses modelos são os mais frequentes na prática de M&A.  No caso dos modelos de rede, serão apresentadas duas versões simplificadas, como ilustração (uma discussão mais aprofundada sobre eles foge ao escopo deste material, neste momento).

  • Modelos lineares estagiados (pipeline)
  • Modelos lineares estagiados simples, paralelos e imbricados por componentes estruturais
  • Modelos lineares estagiados simples, paralelos e imbricados por cadeia de efeitos
  • Modelos lineares estagiados hierarquizados
  • Modelos em redes
  • Redes sociais
  • Sistemas adaptativos complexos

Vamos ver cada um desses modelos.

Modelos lineares estagiados (pipeline)

Os modelos lineares estagiados podem ser simples, paralelos ou imbricados. Os modelos paralelos e imbricados podem ser hierarquizados ou não.

Como vimos no Tema 2, os modelos lineares estagiados, tal como o marco lógico/abordagem lógica (logical framework) (Figura 2) ou os modelos lógicos (logical models), referem-se  àqueles que, baseados na descrição de uma cadeia produtiva de eventos, fragmentam o processo de trabalho. Têm como finalidade construir pontos de verificação para garantir a sequência de eventos necessários e suficientes ao desfecho de sucesso. A fragmentação da cadeia produtiva em etapas constitui a base do estagiamento. No marco lógico, a inclusão dos pressupostos destaca a influência de fatores do contexto na cadeia lógica.

A Figura 3 apresenta uma matriz 4x4 que descreve as metas (mudanças esperadas), seus indicadores, os meios de verificação e os pressupostos, além da influência de fatores externos no processo de mudança, sejam eles positivos ou negativos.

Observe, nas Figuras 2 e 3, os componentes que compõem o modelo lógico e o marco lógico. Você distingue alguma diferença? Alguma semelhança?

Figura 2 – Componentes do modelo lógico-teórico

Fonte: W. K. Kellogg Foundation (2004).

Figura 3 – Avanços do projeto baseados nos seus resultados esperados

Fonte: OPAS (2016, p.17).

O marco lógico/abordagem lógica, tal como definido anteriormente, parte de pressupostos que articulam ações a objetivos e metas (Figura 3). No entanto, essa forma de representar não deixa clara a relação entre o pressuposto e o modo de funcionamento necessário para que os objetivos e metas sejam alcançados. O modelo lógico linear estagiado revisita os componentes da intervenção, deixando-os mais evidentes pela representação adotada (Figura 2). O pressuposto representa a condição necessária para que a sequência de eventos aconteça. Como vimos na Figura 2, o  modelo lógico envolve o estagiamento em cinco componentes (recursos/insumos, atividades, produtos, resultados e impacto).

Observe-se que os estágios são categorias cognitivas e, como tal, podem variar, gerando múltiplas denominações e terminologias. Em políticas, programas e projetos de financiamento público são usualmente customizadas. Em saúde, uma opção é alinhá-las àquelas recomendadas pelo PPA, PNS e PAS. É importante frisar que as terminologias devem ser padronizadas de forma a organizar, operacionalmente, as intervenções modeladas.

Em nossa prática cotidiana, lidamos com dois tipos de estagiamento: os modelos lineares estagiados por componentes estruturais, que se referem à arquitetura operacional da intervenção (teoria de funcionamento), e os modelos lineares estagiados por cadeia de efeitos (teoria de mudança).

Modelos lineares estagiados simples, paralelos e imbricados por componentes estruturais

Vantagens e limitações dos modelos lineares estagiados

Vantagens Limitações
  • São de grande utilidade para o planejamento, especialmente para se criar uma visão compartilhada do que se pretende fazer, ou daquilo que se está executando em intervenções bem descritas e de reconhecida eficácia, eficiência e efetividade .
  • São de fácil compreensão e têm sido recomendados para apreciação ex ante de políticas e programas, supondo-os estáveis e com pouco espaço para negociações orçamentárias e de financiamento (BRASIL, 2018).
  • Têm pouca potência explicativa, pois são insuficientes para responder às necessidades ditadas pela gestão adaptativa e inovadora, já que não valorizam a interação com o contexto.
  • Destaca-se que a utilização dos efeitos de resultado e impacto associados diretamente às metas e aos indicadores pode esvaziá-los do significado referente. Em outras palavras, a associação direta de indicadores ao mero alcance de metas como desfecho de sucesso dificulta a relação destas com os significados de eficácia, efetividade e eficiência.
Fonte: Santos (2020).

Modelos lineares estagiados simples, paralelos e imbricados por cadeia de efeitos

Os modelos lineares podem ser estagiados por cadeias de efeitos que correspondam, de forma geral, à teoria de mudança. Como observado, essas cadeias podem ocorrer de forma independente (paralelas) ou estar associadas (imbricadas). No caso da independência, os modelos são classificados como lineares estagiados paralelos. Quando associados, recebem a denominação de modelos lineares estagiados imbricados.

Cadeia de efeitos

Funnell e Rogers (2011) utilizam uma  metáfora interessante para discutir a cadeia de efeitos. Para elas, pode-se pensar a cadeia de efeitos como uma escada em que, ao atingir cada degrau, não se tem a garantia de ascender ao próximo. Um esforço ou mecanismo adicional é requerido para o alcance do degrau seguinte.  Ao mesmo tempo, intercorrências contrárias podem nos fazer descer, em vez de subir degraus, ou mesmo cair da escada. A metáfora, segundo as autoras, evidencia que a cadeia de efeitos “se-então” não funciona linearmente em todas as circunstâncias (FUNNELL; ROGERS, 2011, p. 117).

Na Figura 4, observe a sucessão de efeitos (E1, E2 etc.)

Figura 4 – Teoria de mudança de Mayne

Fonte: Mayne (2015, tradução nossa).

Modelos lineares estagiados imbricados aplicados à avaliação

Como visto no Tema 2, avaliações são intervenções; portanto, podem ser modelizadas da mesma forma que outras intervenções. O modelo da teoria de mudança, proposto por Mayne (2006), vem sendo adaptado para descrever a teoria de mudança em processos avaliativos, conforme a Figura 4.

Vale enfatizar que na adaptação do modelo para descrever avaliações (intervenções avaliativas) são representadas as três teorias, em três  cadeias de efeitos diferenciadas e imbricadas:

  • a racionalidade causal do processo avaliativo (propósito e foco);
  • o modo de funcionamento para assegurar a legitimidade, a​ precisão e a validade dos achados da avaliação (evidências cientificamente construídas);
  • o modo relacional entre avaliadores, stakeholders e usuários da avaliação (a abordagem que estabelece as relações entre os atores envolvidos).

Figura 5 – Modelo integrado da avaliação de desempenho do programa de controle de tuberculose

Fonte: Santos, Abreu e Cardoso (2018 apud ABREU, 2018, p. 97).​
Leitura complementar

Para saber mais sobre a aplicação do modelo de Mayne (2006), indicamos a leitura de uma adaptação recente desse modelo em processos avaliativos que enfatiza a utilização dos achados da avaliação:

Modelos lineares estagiados hierarquizados

Nos modelos hierarquizados, os efeitos são dispostos em sequência lógica: cadeia de resultados (outcome chain), cadeia de impacto (impact chain) e modelo de mudança (change model). Guardam relações causais entre si e são organizados indo do menor para o maior valor agregado: contribuição ou atribuição acumulada. Considerando-se o ciclo de intervenção, são também organizados por sequenciamento temporal, isto é, em antecedente e consequente.

Vários pressupostos organizam a cadeia de efeito, como, por exemplo, custo estimado contrastado a recursos disponíveis, ou, ainda, por quantidade e complexidade de tecnologia incorporada.  A sequência causal é representada verbalmente pelas palavras se e então (do inglês if, then), marcando a condição necessária e suficiente para que o efeito consequente aconteça.  Por exemplo: se (if) a oferta de consultas médicas aumenta, então (then) espera-se que a população as utilize. Se (if) a oferta é de qualidade e utilizada pela população, então (then) espera-se que a resolutividade da intervenção (consulta médica) aumente.  Para que as atividades preencham critérios específicos de qualidade, ações de qualificação serão necessárias. Para representá-las no modelo, será necessário elaborar uma cadeia de efeitos específicos, embora  imbricada às cadeias iniciais. Dessa forma, modelos lineares estagiados podem ser classificados em paralelos e imbricados.

Explorando efeitos inesperados em modelos lineares simples e hierarquizados 

Tanto o modelo que descreve o funcionamento como o que descreve a cadeia de efeitos podem ser abordados pela análise reversa.

Nessa análise, aplica-se o sentido inverso descrito pelo modelo, isto é, no caso do modo de funcionamento, parte-se do efeito observado para as atividades e os recursos ou insumos. No caso do modelo da cadeia de efeitos, parte-se da mudança finalística para os efeitos intermediários ou iniciais.

A análise reversa enfatiza a influência dos contextos organizacional e sociodemográfico, que podem gerar eventos inesperados. Apesar da sua utilidade, para alguns avaliadores a abordagem reversa não espelha a complexidade da maioria das ações em saúde (PATTON, 2011b; ROGERS, 2011).

Leia, a seguir, uma síntese dos modelos vistos até o momento.

Abordagem lógica Modelo lógico Modelos estagiados por cadeia de efeitos

A abordagem lógica ou marco lógico (logical framework), segundo Davies (2004), inclui três estágios ou componentes para apreciação:

  • estratégias elencadas por seus objetivos; 
  • produtos, entendidos como qualquer tipo de entrega ou efeito; e
  • pressupostos que expressam a racionalidade causal subjacente.

A matriz lógica é o principal instrumento utilizado na aplicação da metodologia do marco lógico.

Esses modelos se referem às teorias prescritivas da intervenção. Descrevem seus componentes técnicos e estruturais, isto é, as condições (recursos e atividades) que lhes assegurem um desfecho de sucesso.

Os modelos representam como os elementos estão organizados, em que magnitude e com que qualidade devem ser executados, e quem são os atores mais bem qualificados para executá-los. Os modelos lógicos sempre nos remetem às teorias da intervenção e a uma sequência de antecedência e consequência entre seus estágios ou etapas, sugerindo a explicitação de uma lógica de associação.

Eles tendem a excluir a análise da influência do contexto na progressão lógica entre o trabalho prescrito e os efeitos descritos. Essa é a principal crítica a eles.

Os modelos baseados na teoria de mudança da intervenção (ToC) explicitam hipóteses (pressupostos) sobre as conexões entre os efeitos intermediários, que levariam à mudança final esperada.

A ToC expressa conteúdos generativos de causação, articulando as conexões entre os efeitos sucessivos de uma intervenção e o contexto, potencializando a apreciação de mudanças, não apenas no objeto da intervenção, mas também em outras condições.

Nesse modelo, os efeitos são dispostos graficamente, em sequência lógica (cadeia de resultados ou de impacto), guardando relações causais entre si e organizados hierarquicamente, de modo a viabilizar a estimativa do valor agregado.

Fonte: Elaborado por Santos (2020).


Os efeitos devem ser organizados e hierarquizados por sequenciamento temporal (antecedente e consequente). Nos modelos de cadeias, elas devem ser hierarquizadas por relevância técnico-política, custos, densidade de incorporação imbricada tecnológica e/ou seu caráter inovador.

Observe que os modelos de cadeias imbricadas impulsionaram a construção de representações de intervenções em rede, assunto que veremos a seguir.

Modelos em rede

Como discutido no Tema 2, intervenções em saúde são sistemas complexos que acontecem em ambientes também complexos. Um sistema complexo é caracterizado por um grande número de elementos que interagem e são interdependentes, em que não há um controle central fixo e unidirecional. Ambientes complexos para intervenções sociais e inovações são aqueles em que não se tem certeza sobre o que se deve fazer para resolver os problemas, e os principais interessados estão em conflito ou divergência sobre a forma de proceder. Realidade muito frequente para o profissional da saúde.

Como já apresentado, Davies (2004, 2005) identifica três linhas na aplicação das abordagens em rede aos estudos avaliativos. Para o autor, a diferença mais importante entre a análise de redes sociais (SNA - Social network analysis) e a análise de sistemas adaptativos complexos (CAS - Complex adaptative system) é o foco. ​

Análise de redes sociais ​(SNA)
O foco está nas conexões que se estabelecem entre os atores em uma dada estrutura e são exploradas qualitativa e quantitativamente.
Análise de sistemas adaptativos complexos (CAS)
Modelos dinâmicos, interativos, em que estudos de simulação dos sistemas complexos são realizados. Exploram os loops de feedback interno em cada componente do sistema, caracterizando efeitos de atraso, facilitação ou interrupção que essas interações possam ocasionar no sistema como um todo.

Veja um exemplo de representação de looping causal sobre o uso de recursos financeiros para a análise de sistemas adaptativos complexos (CAS). Seus subsistemas dinâmicos estão em constante retroalimentação.

Figura 6 – Diagrama de looping causal do uso dos recursos financeiros

Fonte: Williams e Hummelbrunner (2011, p. 39, tradução nossa).

Apesar de os serviços de saúde do Brasil estarem organizados em redes de atenção, são raros os estudos que os avaliam aplicando as abordagens de análises de redes. Em outros países, a aplicação dessas abordagens em estudos avaliativos vem sendo bastante promissora. Esse é um dos desafios do M&A para o SUS.

Em 2005, foi publicado um número especial da New Directions for Evaluation (SOCIAL..., 2005), sobre as várias aplicações da análise de redes em avaliação de programas. Ele discute as bases da abordagem de redes, distinguindo-as das demais, e os usos da SNA em avaliação. Apresenta uma breve caracterização do que sejam relações interativas, como explorá-las por meio de matrizes e representá-las espacialmente, além de diversos exemplos de aplicação em estudos avaliativos.

M&A na prática

Para sistematizar o estudo sobre a construção de modelos lógicos de intervenções, leia o artigo Construção e validação participativa do modelo lógico do Programa Saúde na Escola e responda:

Que tipo de modelo foi utilizado pelo autor? Descreva as principais características e registre em seu bloco de anotações.

Os passos da modelização​

Ao longo do nosso estudo, discutimos e buscamos respostas para várias perguntas: o que é modelizar?  Quais as alternativas de representação visual de uma intervenção e quais são suas finalidades? Como selecioná-las? Mas, ao respondê-las, outras questões surgiram e o desafio continua.

Agora, juntos e com base em nossa vivência, vamos pensar e buscar respostas à pergunta: que passos devemos seguir para modelizar uma intervenção?

M&A na prática

Você já teve a experiência de modelizar uma intervenção?

Quais foram os passos seguidos? Ela foi elaborada de forma individual ou em grupo? Que tipo de representação foi possível obter?

Registre suas ideias no bloco de anotações.

Para modelizar, precisamos nos organizar. E, para isso, uma das alternativas é utilizar os passos a seguir:

  • Passo 1: Definir quem deve ser envolvido na modelização (os atores)
  • Passo 2: Priorizar o que modelizar
  • Passo 3: Caracterizar o nível de complexidade da política, programa ou projeto a ser modelizado
  • Passo 4: Detalhar ou desenvolver as teorias da intervenção (a teoria de mudança e a de funcionamento), quando pertinente
  • Passo 5: Escolher e elaborar a representação visual
  • Passo 6: Elaborar o descritivo do modelo
  • Passo 7: Estabelecer mecanismos e periodicidade de validação e revisões do modelo desenvolvido
  • Passo 8: Estabelecer o plano de medidas

Vamos conhecer melhor esses 8 passos?

Passo 1: Definir quem deve ser envolvido na modelização (os atores)

Na modelização, é fundamental definir todos os atores envolvidos.  Ela pode ser construída individualmente; mas, como requer múltiplos conhecimentos e habilidades, é uma tarefa de equipe. ​A priorização do problema e da intervenção abrange tanto conhecimento técnico quanto decisão política; portanto, os profissionais envolvidos devem estar atentos aos canais de comunicação e às linhas de decisão institucionais.

Quanto aos modelos, podem demandar conhecimentos técnicos específicos, referentes aos problemas e às intervenções; assim, ter consultores de referência pode ser uma boa opção. Além disso, por serem representações, requererem a negociação de acordos para a  sua validação; logo, contar com profissionais dessa área específica é uma opção recomendável.

Passo 2: Priorizar o que modelizar

A priorização em saúde está relacionada à escolha de problemas a serem resolvidos e às estratégias para resolvê-los (TEIXEIRA; VILAS BOAS; JESUS, 2010). Entretanto, muito pouco é produzido em relação a como se priorizar o que deverá ser monitorado, em uma dada estratégia ou intervenção. A priorização permite uma exploração focalizada sobre as teorias de mudança de intervenções selecionadas, de forma a clarear suas interações, capturar significados importantes de sua implementação contextualizada e abrir possibilidades de construir processos de valoração transparentes e inclusivos.

O processo de priorização para o monitoramento e a avaliação, como vimos no tema anterior, se inicia com a seleção da intervenção que será modelizada. E continua com as escolhas dos domínios funcionais e componentes da intervenção, que deverão receber acompanhamento sistemático hierarquizado. Em um crescente de complexidade, intervenções requerem considerar diferentes interesses, identificação de controvérsias, hierarquização de valores agregados e níveis de responsabilização e accountability.

A priorização do que modelizar para monitorar e avaliar é fundamental, uma vez que viabiliza a emergência de atores relevantes, seus interesses e de mecanismos de participação/colaboração fundamentais para que sejam feitos os acordos de valoração e se estabeleçam os pactos de transparência. Favorece a identificação das lideranças condutoras do processo de implementação e a institucionalização (papéis, funções e responsabilidades no sistema). Além disso, caracteriza os usuários potenciais e audiências diferenciadas (órgão de controle, pesquisadores, beneficiários), elementos críticos para a implementação, prestação de contas e eventuais replanejamentos.

​No que diz respeito ao 1º e 2º passos – definição dos atores envolvidos e priorização do que modelizar –, o processo de modelização pode ser feito por consultoria externa, com bastante frequência, de forma isolada ou colaborativa, entre a equipe de avaliação e seus demandantes.

Há vantagens importantes quando realizado em conjunto, com a equipe que conhece a intervenção, pois permite trazer à tona as diversas expectativas e sentidos valorados pelos atores envolvidos (CARDOSO et al., 2019; OLIVEIRA et al., 2017). Isso possibilita acordos negociados, que facilitarão tanto a construção de um modelo mental pactuado como a sua implementação, bem como a elaboração do plano de medidas e de parametrização de seus efeitos.

A negociação pode ser aprimorada, se o alinhamento de valores for apoiado em fontes de informações legítimas de experiência tácita, conhecimento especializado e literatura pertinente.

Leitura complementar

Para saber mais sobre inclusão e interação dos atores no processo de priorização de problemas e estratégias de intervenção e na modelização, leia:

  • CARDOSO, G. C. P.; OLIVEIRA, Egléubia Andrade de ; CASANOVA, A. ; TOLEDO, P. P. S. ; SANTOS, E. M. Participação dos atores na avaliação do Projeto QualiSUS-Rede: reflexões sobre uma experiência de abordagem colaborativa. Saúde em Debate, Rio de Janeiro, v. 43, p. 54-68, 2019.
  • SANTOS, E. M.; OLIVEIRA, OLIVEIRA, E. A.; CARDOSO, G. C. P.; CAVALCANTI, M. L. T.; COSTA, A. J. L.; CAMARA, V. Avaliações inclusivas: uma reflexão sobre possibilidades e implicações de abordagens participativas para a prática em avaliação. Revista Salud Ambiental, Madrid, v. 18, p. 172-181, 2018.

Passo 3: Caracterizar o nível de complexidade da política, do programa ou projeto a ser modelizado

A caracterização do nível de complexidade da política, do programa ou projeto a ser modelizado determina se é um sistema simples, complicado ou complexo. Trata-se de uma consideração importante quando se planeja, executa e dissemina os achados de avaliações.

É de grande importância que a equipe envolvida proceda a uma apreciação da complexidade da intervenção a ser modelizada para se ter uma noção das tarefas e do esforço necessário ao trabalho (ROGERS, 2011). Ela pode ser feita de várias maneiras, tal como vimos no Tema 2, por meio da abordagem de Westley, Zimmerman e Patton (2006), que descreve algumas características a serem consideradas na análise e suas implicações para o desenho de uma avaliação.

Atenção

Relembrando: As intervenções e seus efeitos

No Tema 2, vimos que nas intervenções simples os efeitos podem ser antecipados e monitorados. Nas complicadas, os efeitos inesperados costumam acontecer diante de algumas combinações de circunstâncias. Nesses casos, a expertise é fundamental para antecipar e identificar os possíveis efeitos. Nas intervenções complexas, dificilmente é possível antecipar os efeitos inesperados. Eles são identificados na medida em que acontecem, ou mesmo retrospectivamente.

Passo 4: Detalhar ou desenvolver as teorias da intervenção (a teoria de mudança e a de funcionamento), quando pertinente

Lembre-se de que toda intervenção tem pressupostos ​que a sustentam. Conforme vimos, eles se referem a: como a intervenção contribuirá ou causará a mudança (ToC), e como a intervenção deverá funcionar para que o efeito esperado ocorra (teoria de funcionamento ou de ação). A caracterização da ToC  identifica os objetivos estratégicos da intervenção. A teoria de funcionamento se expressa nos componentes técnicos, ou seja,  nos eixos de ação.

Passo 5: Escolher e elaborar a representação visual 

Existem múltiplas formas de representar visualmente as teorias das intervenções. Todas visam descrever o que e como uma intervenção pretende atingir seus objetivos (ROGERS, 2011). Veja alguns exemplos:

  • modelo lógico
  • modelo causal
  • mapa causal
  • teoria de intervenção
  • lógica da intervenção
  • marco lógico
  • modelos estagiados
  • lógica do programa
  • cadeia de resultados
  • teoria de mudança
  • redes sociais
  • sistemas adaptativos complexos

Passo 6: Elaborar o descritivo do modelo

Essa etapa consiste em elaborar um instrutivo que oriente a leitura e interpretação do modelo, principalmente naqueles modelos com múltiplas camadas e tópicos para interpretação e análise.

Não podemos perder de vista que a modelização facilita a comunicação entre todos os envolvidos a respeito do problema e da intervenção, além de permitir apreciar a diferença entre a intervenção como fora prevista e como, de fato, está implantada. Quanto mais claras e explícitas estiverem as orientações, melhor sua compreensão e utilização como ferramenta de comunicação.

Passo 7: Estabelecer mecanismos e periodicidade de validação e revisões do modelo desenvolvido

É importante estabelecer os mecanismos de revisão e de validação do modelo desenvolvido, bem como definir com que periodicidade ocorrerão.

Atenção para as variações que ocorrem nas intervenções, em resposta às mudanças de contexto, seja ele organizacional, político, econômico, epidemiológico ou social.

Passo 8: Estabelecer o plano de medidas

O plano de medidas é parte do plano de monitoramento institucional, que inclui a definição do que será monitorado, as responsabilidades pela atividade de monitoramento, a periodicidade de sua execução e os mecanismos que garantam o uso dos achados.

Ele abrange a definição das fontes de dados e de informações, os procedimentos que garantem a qualidade e legitimidade dos dados produzidos, o conjunto de indicadores a ser utilizado e a ficha de indicadores, incluindo os parâmetros para a sua interpretação.

É muito importante que as definições sejam institucionais e que respondam aos efeitos esperados dos objetivos estratégicos e dos eixos de ações técnicas da intervenção (teoria de mudança e teoria de funcionamento), de forma que não se torne um inventário extenso de indicadores, de pouca qualidade e uso.

M&A na prática

Releia o artigo Construção e validação participativa do modelo lógico do Programa Saúde na Escola, com foco nos passos da modelização. Explore criticamente o texto. Os autores seguiram os passos recomendados? Aponte sugestões para aperfeiçoar o modelo utilizado no estudo.

Registre em seu bloco de anotações.

considerações finais

Neste tema, foram apresentados diversos modelos para descrever intervenções. Antes de recomendar qualquer um, a ideia-chave é que cada avaliação comece com a compreensão do objeto a ser avaliado, com a base metodológica disponível, e prossiga a partir daí.

A equipe de avaliação deve desafiar a si própria não apenas a fazer a melhor escolha, mas a se propor uma jornada de mobilização para um constante aprendizado teórico e metodológico, embebido na prática avaliativa. Também deve considerar, sempre, a possibilidade de engajar, no processo, participantes com diferentes níveis de experiência e vivência.

O processo de modelização cria as bases para o estabelecimento de metas, objetivos estratégicos e indicadores, que compõem o plano de medidas do modelo, itens que serão abordados no próximo tema!