Uma avaliação de impacto oferece informações sobre os impactos produzidos por uma intervenção, sejam eles positivos, negativos, diretos ou indiretos. Feita de forma apropriada pode aprimorar e desenvolver a efetividade de um projeto.
O crescente interesse pela avaliação de impacto têm levantado diversas dúvidas sobre o processo.
Antes de entrar no tema de avaliação, trazemos aqui uma introdução do que são iniciativas de impacto socioambiental:
“As iniciativas de impacto socioambiental possuem como finalidade a resolução de um problema que aflige a sociedade ou uma comunidade. Além do desafio de se tornar parte da solução para determinado problema, essas iniciativas são constantemente desafiadas a comprovar o impacto que geram nos contextos em que atuam.”
(Paulo Cruz Filho, 2018. Empreendedorismo Social e Inovação Social no Contexto Brasileiro)
O que é avaliação de impacto?
A avaliação de impacto mede as mudanças ocorridas em uma comunidade, população ou território a partir de determinadas intervenções.
Essas intervenções podem ser pequenos ou grandes projetos, conjuntos de atividades ou políticas públicas.
Segundo a Organisation for Economic Co-operation and Development – Development Assistance Committee uma definição técnica de impacto é:
“efeitos de longo prazo positivos e negativos, primários e secundários produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, intencional ou não”.
(OCDE-DAC 2010)
Isso quer dizer que, uma avaliação de impacto vai além de medir e descrever os impactos causados, ela tenta entender qual foi o papel da intervenção nesses resultados, sejam eles intencionais ou não.
Por que avaliar o impacto?
Uma avaliação de impacto pode ter várias finalidades, tudo depende do seu propósito e quem são os stakeholders envolvidos. Algumas razões comuns para avaliação são:
Accountability / “Prestação de contas”
- Demonstração, divulgação e transparência do trabalho realizado.
- Prestação de contas: como são aplicados os recursos obtidos e quais os “resultado” obtidos?
- Escutar e informar a comunidade de como um projeto a está beneficiando.
- Comunicação e diálogo com doadores, investidores, parceiros, poder público (editais), sociedade, clientes, cidadãos.
Ferramenta de Gestão
- Profissionais do setor social:
- Colaboradores cada vez mais especialistas e rigorosos.
- Presença crescente de auditores e avaliadores.
- Ferramenta de gestão e de tomada de decisão estratégica.
- Desenvolvimento de novas oportunidades:
- Obtenção de investidores potenciais.
- Estabelecimento de parcerias.
- Aprender como replicar um projeto piloto.
- Aprender como adaptar uma intervenção de sucesso a outro contexto.
Avaliação de Desempenho
- Avaliação da performance dos programas e do desempenho interno e externo da organização.
- Melhoria dos produtos e serviços prestados.
- Decidir se um projeto deve ser continuado ou ampliado.
Quando avaliar o impacto?
Uma avaliação de impacto só deve ser feita quando sua utilidade for claramente definida e deve ser levada em consideração o momento da intervenção a ser estudada. É importante, porém, estruturar a avaliação antes do início da iniciativa, para que haja tempo suficiente para coletar dados importantes e para que seja possível mensurar o “antes e depois”.
Deve ser considerada a relevância da avaliação para a estratégia organizacional, sua utilidade potencial e o compromisso dos stakeholders em usar suas descobertas.
Também deve ser levado em conta o momento da realização. Uma avaliação adiantada fornecerá uma imagem imprecisa dos impactos, que podem não ter tido tempo suficiente para se desenvolver. Uma avaliação tardia, pode não chegar a tempo de influenciar as decisões seguintes ao projeto.
Quem participa do processo de avaliação de impacto?
Um passo essencial para uma avaliação de impacto efetiva é a escolha de quem participará do processo. Ter clareza do objetivo de cada participação é essencial para gerenciar as expectativas e orientar a implementação.
Com uma análise inicial da participação você pode, por exemplo, garantir que as pessoas impactadas pelo projeto tenham uma voz ativa na representação dos resultados ao invés de serem representadas por indicadores de um avaliador externo.
A decisão da participação pode ser tanto pragmática quanto ética. Pragmática no sentido de buscar melhores dados e informações. Ética no sentido de dar voz a quem será afetado pelas decisões.
O início de uma avaliação participativa deve responder às seguintes questões:
- Qual o propósito da participação dos stakeholders nessa avaliação?
- Quem participa?
- Quando e por que?
Teoria da Mudança
A Teoria da Mudança é uma ferramenta de gestão de impacto mas também pode ser usada na avaliação. Ela te permite entender profundamente qual é o seu impacto imediato, qual será o resultado a médio prazo e o impacto a longo prazo. Com ela você pode realizar o planejamento da organização e entender a contribuição que está sendo feita.
A Teoria da Mudança possui 5 elementos.
- Recursos (inputs): Recursos e insumos necessários para operar o projeto, programa ou iniciativa. Podem ser financeiros, materiais, humanos,tecnológicos, etc.
- Atividades (activities): Todas as ações realizadas. Atividades (intervenções) realizadas, produtos e serviços oferecidos. Modus operandi e articulação com o público-alvo.
- Resultados imediatos (outputs): Efeitos imediatos decorrentes das atividades realizadas. Alcance tangível e imediato dos produtos/serviços oferecidos. Benefício imediato ao público-alvo (beneficiários).
- Mudanças (outcomes): Mudanças que se espera serem geradas no público-alvo e na vida dos beneficiários.
- Impacto (impact): Impacto estrutural desejado no ecossistema. Mudanças geradas na sociedade, no sistema social.
Por exemplo, como seria uma Teoria da Mudança de uma escola para crianças com deficiência?
- Recursos: Professores, salas de aula, cadeiras, mesas, ambientes e materiais didáticos.
- Atividades: Relação professor aluno, a aula.
- Resultados imediatos da ação: A criança aprendeu o que foi ensinado?
- Mudanças Aquilo que a criança aprendeu continua a ser executado? Transformou a vida dela?
- Impacto: Houve a inclusão da criança, ou seja, ela está tendo mais participação na sociedade?
A Teoria da Mudança permite elaborar cuidadosamente o alinhamento entre a finalidade da iniciativa e o impacto socioambiental desejado e realizável.
Métodos de avaliação de impacto
Ao realizar uma avaliação de impacto, podemos ter vários níveis de complexidade.
Num primeiro nível, temos uma avaliação simples de indicadores antes e depois da intervenção. Por exemplo: ao realizar um projeto com moradores de rua, analisamos indicadores de bem estar e saúde, vinculação com a família e emprego. Como o beneficiário estava antes do projeto e como ele ficou depois.
Um segundo nível de complexidade ocorre quando a metodologia já tem uma grade de indicadores já desenhada. Por exemplo: Sistema B, ODS (Objetivos de Desenvolvimento Sustentável) e GRI (Global Reporting Initiative). Nesse nível temos a vantagem de comparar indicadores entre outras organizações.
Num terceiro nível de complexidade introduzimos o conceito de uma comunidade controle. Ou seja, selecionamos duas comunidades similares e próximas, numa delas realizamos o projeto e na outra não. Ao final, comparamos indicadores e realizamos a avaliação em ambas as comunidades para entender o impacto da ação.
Por fim, o quarto nível contempla a monetização dos resultados mensurados, ou seja, consiste em transformar em valor monetário o impacto medido, seja ele um output, um outcome ou um impacto de longo prazo (ex. SROI)
Qual metodologia de impacto eu escolho?
Essa resposta depende de alguns fatores como:
- Objetivo do processo de avaliação e mensuração de impacto.
- Tamanho da organização e equipe disponível.
- Complexidade do projeto ou iniciativa.
- Nível de profundidade esperado.
Se você tem recursos e equipe para realizar a análise, ela pode iniciar no nível mais avançado. Se é sua primeira vez medindo impacto, comece do nível mais simples e avance no decorrer do desenvolvimento do projeto. O importante é começar!
Tem alguma dúvida ou precisa de uma avaliação profissional?
