INTRODUÇÃO

O Programa de Apoio às Reformas Sociais – PROARES II tem como missão melhorar as condições de vida das famílias com foco na criança, adolescentes e jovens de 06 meses a 24 anos, em situação de vulnerabilidade e risco pessoal e social. Além disso, contempla a participação social e a intersetorialidade das políticas públicas mediante o desenvolvimento e implantação de um conjunto de ações estruturais, vinculados à melhoria do atendimento, da infraestrutura, da capacidade técnica dos serviços sociais prestados, da qualificação profissional da equipe técnica de assistência social voltada para minimizar os principais riscos que afetam a infância e a juventude no Estado do Ceará, conforme Contrato de Empréstimo número 2230/OC-BR firmado entre o Banco Interamericano de Desenvolvimento – BID e o governo do Estado do Ceará, por meio da Secretaria do Trabalho e Desenvolvimento Social – STDS doravante contrato.

O contrato de empréstimo define a composição do programa em 05 (cinco) componentes: (i) Planos Participativos Municipais (PPM), prevê o aumento a cobertura e expansão a qualidade da rede de serviços sociais orientados para crianças, adolescentes e jovens em situação de risco nos municipios do Estado do Ceará; (ii) Plano Estratégico Estadual (PEE), que contempla o apoio ao planejamento e execução de programas integrais de atendimento ao adolescente em conflito com a lei e em processo de reinserção social; (iii) Fortalecimento Institucional (FI), com ações para o fortalecimento a capacidade institucional dos órgãos públicos (estaduais e municipais) e da sociedade civil participantes do Programa; (iv) Monitoramento e Avaliação (M&A), que gera e analisa informações para o monitoramento e a avaliação do Programa como: serviços para o fortalecimento do sistema de informação gerencial, monitoramento e avaliação do Programa, com atualizações periódicas do software; consultorias externas para avaliação do programa e estudos e pesquisas; da sociedade civil participantes do Programa; e (v) Administração e Auditoria, fornece apoio ao órgão executor na execução do Programa: prevê gastos de operação (UGP), contratação de auditoria independente, bem como, contratação de consultorias e aquisições de materiais de uso comum e equipamentos de informática. O objeto de estudo deste trabalho é o componente de Monitoramento e Avaliação.

Desse modo, foi desenvolvida uma metodologia de Monitoramento e Avaliação (M&A) do Proares II que se divide em dois eixos: (i) Gerenciamento dos processos em execução; e (ii) Supervisão e Monitoramento nos municípios participantes do programa.

O primeiro eixo realiza a divulgação e o acompanhamento, por intermédio do Sistema de Planejamento e Gestão do Programa (SPGP), um software o qual utiliza o conceito de fluxo de trabalho colaborativo (collaborative workflow) o qual é administrado centralmente sendo capaz de ser acessado e usado por trabalhadores de diferentes departamentos e até mesmo de locais físicos diferentes (SHARDA et al., 2014, p. 530).

O SPGP realiza as atividades inerentes ao acompanhamento da execução financeira, das atividades dos setores do Programa por meio de indicadores de eficiência, eficácia e impacto. Os indicadores de eficiência medem a produtividade, controlam e monitoraram as fases de execução dos projetos do programa identifica as dificuldades no processo de execução das fases do programa. Os de eficácia compararam as metas definidas pelo programa, àquelas que foram efetivamente alcançadas em determinado intervalo de tempo como o número de unidades de atendimento construídas, equipadas e capacitadas, número de municípios beneficiados, etc. Finalmente, os de impacto, demonstra o desempenho da ação do programa referente ao publico alvo, capta os efeitos do programa e a intenção da política, e as alterações efetivas na vida dos beneficiários e se o programa foi capaz de alterar de forma qualitativa as condições de vida dos beneficiários.

O segundo eixo refere-se supervisão dos equipamentos sociais, objeto deste estudo, dos municípios participantes do programa em funcionamento: Centro de Educação Infantil (CEI), Polos De Convivência Social, Quadras de Esporte, Bibliotecas (que não participa do processo de supervisão, pois ainda não foram implantadas) e Centro de Esportes. Os Centros de Referência da Assistência Social (CRAS), que também é um equipamento social financiado pelo Proares II, não integram este processo de supervisão por ser um programa do Ministério do Desenvolvimento Social (MDS), e que depois de concluída a sua construção passa a ser gerenciada segundo as normas do referido Ministério.

2 PROBLEMATIZAÇÃO

Quando o Governo do Estado do Ceará firmou o contrato de empréstimo 2230OC-BR, assinado em 22 de dezembro de 2009, não havia sido concretizada a implantação da Cláusula V Manutenção do Anexo Único

5.01 O propósito da manutenção é o de conservar as obras compreendidas no Programa nas condições de operação em que se encontravam no momento da conclusão das mesmas, dentro de um nível compatível com os serviços que devem prestar.

5.02   Os municípios participantes do Programa serão responsáveis pela manutenção das obras e bens do Programa no âmbito do Componente 1 (PPM) e pelo envio das informações pertinentes ao Mutuário por um período de 3 (três) anos seguintes à conclusão das obras ou aquisição dos bens para permitir a preparação do correspondente plano anual de manutenção.

5.03   O plano anual de manutenção deverá incluir: (i) os detalhes da organização responsável pela manutenção, o pessoal encarregado e o número, tipo e estado dos equipamentos destinados à manutenção; (ii) a localização, o tamanho e o estado das instalações destinadas à reparação e armazenagem, bem como das unidades de manutenção; (iii) a informação relativa aos recursos que serão investidos em manutenção durante o ano em curso e o montante dos recursos que serão incluídos no orçamento do ano seguinte; e (iv) um relatório sobre as condições da manutenção, baseado no sistema de avaliação de suficiência estabelecido pelo Mutuário.

Ainda de acordo com o Anexo Único na Cláusula IV Execução é  definido que cada município, selecionado para participar do Programa em três rodadas anuais, será coexecutor do Programa, por intermédio do instrumento jurídico adequado, no caso um convênio assinado entre a prefeitura municipal (Convenente) e a STDS (Concedente), onde em sua cláusula quinta informa as obrigações das partes

II – Compete à CONCEDENTE:

a) supervisionar, acompanhar, controlar e avaliar a execução do Plano de Trabalho, inclusive no que diz respeito à qualidade dos serviços executados; […]

c) exercer a atividade normativa e de controle e fiscalização sobre a execução deste Convênio, inclusive, se for o caso, reorientando as ações, assumindo ou transferindo a responsabilidade pela execução do mesmo, no caso de paralisação das atividades por força de qualquer fato relevante que venha a ocorrer, de modo a evitar a descontinuidade das ações pactuadas;

d) acompanhar, supervisionar, orientar, monitorar e fiscalizar as metas a serem executadas pela CONVENENTE, nos prazos estabelecidos, zelando pelo cumprimento de todas as Cláusulas aqui pactuadas, através de procedimentos que visem o Desenvolvimento Técnico do Projeto, de acordo com o estabelecido no Plano de Ação Municipal;

II – Compete à CONVENENTE:

a) Adotar todas as medidas necessárias ao bom desempenho da execução deste Convênio, zelando pelo funcionamento e manutenção do material permanente e das instalações físicas, de acordo com normas técnicas de aceitação geral, não permitindo o uso indevido dos equipamentos por pessoas estranhas e responsabilizando-se pela permanência dos mesmos no local; […]

d) sob a orientação da CONCEDENTE, gerenciar e coordenar as ações concernentes ao objeto do presente Instrumento;

e) comprovar a aplicação dos recursos financeiros de conformidade com o Plano de Trabalho; […]

j) propiciar aos técnicos credenciados pela CONCEDENTE, aos representantes do BID e aos auditores externos todos os meios e condições necessárias ao acompanhamento, supervisão, controle e fiscalização da execução deste Convênio;

Portanto, como realizar o monitoramento e a supervisão dos equipamentos sociais em funcionamento por meio de um modelo de gestão que priorize os municípios com mais debilidades e dificuldades no acompanhamento do Programa criando uma metodologia de supervisão, mais padronizada possível, de modo a gerar informações para a tomada de decisão, em nível da gerencia do componente do PPM. Uma das preocupações do componente de Monitoramento e Avaliação é de implantar um Sistema de Suporte a Decisão, que possibilite qualificar o trabalho das equipes e da gestão no que se refere ao acompanhamento e melhoria da qualidade do atendimento ao público-alvo do programa. 

3 METODOLOGIA

Foram utilizados materiais bibliográficos como livros, sítios, estudos e pesquisas que define como um Sistema de Suporte a Decisão fundamentado no conceito da Inteligência Empresarial consegue mensurar conhecimentos que auxiliam no processo de tomada de decisão por intermédio da análise das variações dos indicadores.

O estudo de caso visa de explanar as fases de desenvolvimento do Sistema de Tomada de decisão, aplicando as metodologias da Inteligência Empresarial, para um melhor funcionamento dos equipamentos sociais, bem como atender as clausulas dos Convênios Municipais e o Contrato de Empréstimo.

4 REFERENCIAL TEÓRICO

4.1 Sistema de Suporte a Decisão e a Inteligência Empresarial

Um sistema pode ser conceituado como um conjunto de elementos dinamicamente relacionados que operam sobre dados/energia/matéria (orgânica ou não) para fornecer informações objetivando o atendimento a um propósito ou resolver um problema (GOMES, CARLOS, 2012).

De acordo com Gorry e Scott-Morton (1971) um sistema de suporte a decisão é sistema da informação interativo que ajuda os tomadores de decisão na resolução de problemas utilizando dados e modelos.

Segundo Gomes e Carlos, uma decisão é o processo de colher dados atribuindo-lhe valores, após isso, buscar alternativas para solução e depois fazer a escolha entre as alternativas, atentando-se na problematização para direcionar corretamente o processo de tomada de decisão.

Ainda de acordo com os autores esse processo expressa-se como a eleição, por parte de um centro decisório (um indivíduo ou um grupo de indivíduos), da melhor possibilidade entre as possíveis, utilizando dados.

Um dado isolado, de acordo com Rezende (2010) não transmite nenhuma informação ou conhecimento. A informação é um dado tratado possuindo valor significativo. Quando a informação é “trabalhada” por um processo computacional ou por pessoas pode ser atribuído o processo de conhecimento.

A utilização desse conhecimento é utilizada por modelos de Sistemas de Tomada de Decisão os quais foram agrupados em um termo denominado Inteligência Empresarial, em inglês Business Intelligence – BI, o qual combina arquiteturas, ferramentas, banco de dados, ferramentas analíticas, aplicativos e metodologias. O seu objetivo é garantir o acesso interativo (às vezes em tempo real) aos dados gerando uma manipulação dos mesmos para fornecer subsídios aos agentes tomadores de decisão (SHARDA et al., 2014).

Um sistema de inteligência empresarial possui em sua arquitetura quatro componentes: i) Armazenamento de dados; ii) Análise dos dados; iii) Gestão do desempenho empresarial, iv) Interface de Usuário a interação desses componentes é demonstrado na Figura 1.

Figura 1 – Bases do Sistema de Inteligência Empresarial

Fonte: Businesss Intelligence and Analytics: Systems for Decision Support p 16

No primeiro componente encontramos a formulação do banco de dados, que de acordo com os autores, é uma coleção de dados especialmente construído, onde os dados são organizados de modo que eles podem ser facilmente acessados por usuários para diversas aplicações. Um banco de dados deve possuir algumas características como ser orientada por uma temática, onde contenha informações importantes para subsidiar as decisões, integrada, possuir série histórica e não ser volátil, ou seja, após o dado ser inserido os usuários não podem alterados.       

No segundo componente, a análise de dados, o banco passa pelo processo de Extração, Transformação e Carga (Extract, Transform, Load – ETL) que envolve a extração de dados de fontes externas (ler os dados de um ou mais banco), transformação dos dados (converter o dado extraído de um formulário prévio e formata-lo para que possa ser inserido no banco de dados) para atender às necessidades de negócios e a carga dos dados (importar/exportar os dados do banco em outros formatos), possibilitando uma integração dos dados.

As ferramentas de ETL permitem transportar dados entre diversas fontes, como planilhas eletrônicas, sendo extremamente importante para integração dos dados tratados dentro do banco. Todos os arquivos que serão carregados no banco deverão ser escritos com rótulo que facilita o processo de importação dos dados.

O banco de dados em tempo real expande a capacidade dos gestores em analisar os dados do cenário permitindo uma tomada de decisão mais ativa nos levando ao terceiro componente.

Na análise de dados, possuímos relatórios empresariais, denominados painéis de desempenho que visa mostrar as informações do banco de dados de maneira didática por intermédio de técnicas de design gráfico, como infográficos, ícones e cores.

Tais painéis, no ponto de vista da Inteligência Empresarial, não somente servem como relatórios e sim como um leque de processos, metodologias e aplicativos para demonstrar o desempenho empresarial transformando suas estratégias, metas e objetivos por intermédio da análise das variações dos indicadores do cenário atual e planejando resultados ajustando seus objetivos e ações em reposta a essa análise utilizando interfaces, nosso quarto componente.

A interface do usuário é a ponte entre o sistema e o usuário. Conforme afirma Cindi Howson, o software que utiliza Inteligência Empresarial  deve ter fácil uso, funcionar como o esperado e ser semelhante à outra ferramenta com a qual o usuário tenha experiência, ser intuitivo visando menos tempo e menos cliques para gerar os painéis de desempenho.

4 ESTUDO DE CASO

4.1 O desenvolvimento dos Painéis de Desempenho dos Equipamentos Sociais nos Municípios beneficiados pelo PROARES II

Ademais, para o componente de Monitoramento e Avaliação do Proares II desenvolver um sistema baseado na filosofia do BI foi necessário realizar seis passos entre a concepção e a implantação, conforme figura 2.

Figura 2 – Etapas de Desenvolvimento do Sistema de Suporte a Decisão

Fonte: Businesss Intelligence Roadmap: the complete project lifecycle for decision-support applications p. 6

Na etapa de justificativa foram levantadas as necessidades que forneceram subsídios para começar o levantamento dos indicadores, no planejamento foram desenvolvidos estratégias e planos que guiaram a metodologia do projeto, na análise empresarialfoi realizada uma analise detalhada do problema ou oportunidade visando o entendimento para a solução, no design foi concebido o produto que resolva o problema, na construção foi realizada a construção do produto num período determinado e na etapa de desenvolvimento foi implantado o produto avaliando se a solução resolve ou não o problema (MOSS, ATRE. 2004).

Etapa 01: Justificativa

De acordo com o Regulamento Operativo do Programa (ROP)

[…] A Representação do Banco no Brasil, com a assistência técnica da equipe do Programa será encarregada de supervisionar o desempenho do Programa. A equipe do Banco realizará uma missão de supervisão técnica por ano, a fim de conhecer o progresso nas atividades e de avaliar o Programa. […]

Dessa forma, entre os dias 17 a 19 de outubro de 2011 ocorreu a missão de supervisão onde o BID recomendou que fossem implantados módulos gerenciais objetivando gerar informações que subsidiam a tomada de decisão, para a gestão do programa, por meio de ações de supervisão técnica aos municípios os quais possuem unidades em funcionamento, decorrentes dos convênios municipais. O BID sugeriu o estabelecimento de um instrumento padronizado de supervisão, a definição de processo com fluxos e periodicidade, a sistematização de resultados. Outra recomendação foi que a cada visita os técnicos inserissem os dados em um sistema de suporte a tomada de decisão objetivando um acompanhamento sistemático, aos municípios que apresentam situação problema ou dificuldade para seguir a  execução do Programa.

Ademais, o banco, recomendou a contratação de uma consultoria especializada em gestão de processos para elaborar e implantar um Manual Operativo do funcionamento do PROARES que defina e incorpore fluxos internos e externos, definição de responsabilidades, produtos por área, dentre outros.

Etapa 02: Planejamento

Nessa etapa foram desenvolvidos os indicadores, levando em consideração os instrumentais, o processo de supervisão bem como, os objetivos específicos para esse processo de supervisão e monitoramento desenvolvido pela consultora selecionada pelo banco como afirma o relatório da consultoria (MARTINS, 2011).

i) garantir o cumprimento das metas propostas; ii) promover e induzir a qualidade do atendimento prestado através da qualificação do pessoal e do monitoramento das atividades oferecidas; iii) assegurar recursos municipais e estaduais para manutenção das atividades; iv) comprometer as instâncias municipais com a gestão e sustentabilidade do Programa.

Foi definido um cronograma de implantação para o processo de implementação dos instrumentais de monitoramento e avaliação que foi realizado em duas etapas distintas de dois anos, 2012 e 2013 que norteou a próxima etapa. Tal processo levou em consideração alguns problemas, conforme o relatório de consultoria (MARTINS, 2011).

i) a impossibilidade de se construir neste momento, por falta de informações básicas sistematizadas, uma linha de base que permita acompanha a evolução do Programa nos Municípios; ii) a não implementação ainda dos Manuais do Programa que contem fichas de avaliação para acompanhamento dos diferentes equipamentos sociais e que são importantes fontes de dados e geradores de informações estratégicas; iii) a dificuldade de se iniciar a capacitação dos municípios para a utilização dos manuais de imediato em função do tempo necessário para realização do processo de licitação.

Os Manuais Técnicos Operacionais e instrumentais produzidos pela equipe da UGP serviram como as referências para a construção de indicadores e dos instrumentais de monitoramento que foram divididos em eixos: cobertura, capacitação de RH, proposta pedagógica, instalações, bens, equipamentos, ambiente, alimentação, saúde, interação com a comunidade e a interação entre os Equipamentos Sociais.

Com estas referências foram construídos os riscos e os fatores de risco. Os riscos funcionam como elementos para orientar os processos de intervenção que se fizessem necessários e determinassem a urgência dos mesmos. Os fatores de risco operam como “evento sentinela”, ou seja, identificam os eixos mais vulneráveis que necessitam de um acompanhamento mais frequente e intervenções mais ágeis, esses podem ser classificados em alto onde existe uma probabilidade de irregularidades, médio onde existe uma situação de atenção e baixo onde o risco está a um nível aceitável.

Tendo como fundamento as variáveis, os indicadores e sua descrição, a classificação de risco e a forma de calculá-la, desenvolveu-se uma matriz de análise que permite auxiliar no processo de tomada de decisão.

Etapa 03: Análise Empresarial

Nessa etapa, a partir do relatório de consultoria, foi definida a metodologia do monitoramento a qual deverá ser in loco por meio de visitas semestrais da equipe do PPM, onde o mesmo deverá conferir e preencher os instrumentos de coleta de dados, objetivando estimular e reforçar a relação Prefeitura, Comitê Municipal, Coordenação Municipal e Coordenação dos Equipamentos Sociais, no sentido de promover a transição da responsabilidade sobre o equipamento e sua utilização para o Município.

A equipe da UGP terá como objeto de monitoramento e avaliação as atividades desenvolvidas pelos Equipamentos Sociais, e a atuação dos Comitês Municipais enquanto articuladores e mobilizadores dos recursos municipais;

A Coordenação Municipal é o elemento de ligação entre o Comitê Municipal, a UGP e o Equipamento Social e este papel deve ser reforçado através do envolvimento do mesmo nos processos de monitoramento das unidades e dos Comitês.

Etapa 04: Design

Nessa etapa, a partir da matriz de análise, foi possível desenvolver um resumo dos fatores de risco utilizando painéis que consolida e organiza as informações subsidiando a tomada de decisão.

A partir desse resumo foi concebida a maneira como a informação deverá ser mostrada aos Gestores sendo escolhida a representação por meio de termômetros, semáforos e velocímetros conforme a figura 3

Figura 3 – Representação Gráfica dos Indicadores de Risco

Fonte: UGP/Proares II

Nessa etapa a coordenação do componente de Monitoramento e Avaliação identificou que os instrumentos de coleta de dados deveriam ser formulários digitais diretamente preenchidos em tablets, que proporcionam baixo custo e alto rendimento, pois não requerem formulários impressos, eliminando a fase sujeita a erros na transferência de dados registrados em papel e não exigem remessas regulares à STDS. O ponto mais positivo desta alternativa diz respeito à qualidade da informação gerada para a UGP.

Etapa 05: Construção

Segundo as Bases do Sistema de Inteligência Empresarial apresentadas no referencial teórico desenvolvemos um sistema digital para ser utilizados em dispositivos eletrônicos (tablets) seguindo a ordem dos componentes conforme será demonstrado nos parágrafos consequentes

No Ambiente de Armazenamento de Dados a equipe técnica identificou todos os campos baseados nos instrumentais. Utilizando o conceito ETL o banco de dados é intercambiável entre o tablet e o sistema de análise de dados.

No Ambiente de Análise de Dados é utilizado o software IBM SPSS que gera os cálculos necessários, utilizando sínteses para estratificar os fatores de risco objetivando o uso dos gráficos formulados na etapa do design.

Na Performance e Estratégia os tomadores de decisão utilizam como interface do usuário planilhas do Microsoft Excel que comparam as séries históricas e as sínteses traduzidas em recomendações sobre os principais problemas a serem enfrentados de imediato para formular soluções otimizando um melhor funcionamento do equipamento social, conforme demonstrado.

Tabela 01 – Análise Comparativa de Desempenho dos Indicadores segundo os graus de risco, Centro de Educação Infantil, 2013

Fonte: UGP/Proares II

Etapa 06: Desenvolvimento

Após os técnicos do PPM visitarem os municípios semestralmente aplicando o formulário digital é realizada a devolutiva, conforme a média da Síntese da Situação dos Riscos dos diferentes áreas dos equipamentos sociais (CEI, Polo e Quadra) para auxiliar no processo da tomada de decisão.

Alguns municípios pós-supervisão apresentaram melhorias em seu desempenho como exemplo, o município X que em 2012 possuía o percentual de 3,23% e passou para 35,48% em 2013, mas em contrapartida o município Y que possuía o percentual de 48,61% em 2012 passa por um declínio para 2,13% em 2013.

Ao final de cada ano é realizado um seminário estadual com os  Comitês Municipais onde é apresentado as experiências exitosas dos municípios, que reduziram os fatores de risco, com a melhor classificação seguindo o ranking municipal.

 

CONSIDERAÇÕES FINAIS

No Painel de Desempenho dos Equipamentos Sociais nos Municípios beneficiados pelo PROARES IIidentificamos o uso de planilhas eletrônicas como interface do usuário não o tornando um sistema de tomada de decisão online, pois como foi demonstrado no estudo de caso o banco de dados representado em tempo real expande a capacidade dos gestores em analisar os dados de diversos cenários permitindo uma tomada de decisão eficaz e eficiente, porém o mesmo é uma eficiente ferramenta de BI, pois permite a comparação dos graus de risco, por eixo de indicadores, entre os municípios participantes do programa e por sua série histórica e a classificação dos melhores desempenhos.

Portanto, o uso do Painel de Desempenho dos Equipamentos Sociais nos Municípios beneficiados pelo PROARES II, atende as cláusulas do Anexo Único do Contrato de Empréstimo que garante um período de supervisão de 3 (três) anos seguintes à conclusão das obras ou aquisição dos bens, bem como os convênios municipais.

Além disso, a supervisão permite a formulação e avaliação de políticas públicas municipais em favor dos agentes tomadores de decisão permitindo uma institucionalização do processo de planejamento dos equipamentos sociais em âmbito local, levando os gestores municipais a adotarem uma postura mais crítica e reflexiva sobre as práticas atuais de administração dos equipamentos sociais promovendo sua melhor gestão propiciando uma melhor qualidade nos serviços prestados aos beneficiários do programa.

ABSTRACT

The purpose of this article is to demonstrate the strategy of supervision as an instrument of the Decision Support System called Social Amenities Performance Dashboard in the municipalities benefited by the Program of Support for Social Reforms – PROARES II. The same is based on the set of so-called Business Intelligence tools which helps in making decisions about the operation of social facilities, enabling corrective actions, using business reports that demonstrate the synthesis of indicators such as physical structure and quality of school meals, by the situation of risk, medium high and low. The work identified through the literature and the case study that the system subsidizes the municipal managers identify opportunities for improvements to the Social Equipment enabling better service to the target audience of the program.

Keywords: Business Intelligence. Monitoring. Evaluation. Decision Support System – DSS.

REFERÊNCIAS

Banco Interamericano de Desenvolvimento, Programa de Apoio às Reformas Sociais. Ajuda Memória da missão supervisão BR-L1053. Fortaleza, 2011

CEARÁ, Programa de Apoio às Reformas Sociais. Manual Técnico-Operacional: Programa de Apoio àsReformas Sociais. Disponível em <http://www.proares.ce.gov.br>. Acesso em 01 de Julho de 2013.

_____________. BID e STDS capacitam representantes de 27 municípios para supervisão das obras do Proares II. Disponível em  <http://www.proares.ce.gov.br/index.php/assessoria-de-comunicacao/43867-bid-e-stds-capacitam-representantes-de-27-municipios-para-supervisao-das-obras-do-proares-ii->. Acesso em 01 de Julho de 2013.

_____________. Metodologia de Monitoramento e Avaliação do PROARES II. Fortaleza. 2012

GOMES, Luiz Flavio Autran Monteiro, Carlos Francisco Simões Gomes. Tomada de decisão gerencial: enfoque multicritério. Atlas, 2012

GORRY, George Anthony; MORTON, Michael S. Scott. A framework for management information systems. Vol. 13. Massachusetts Institute of Technology, 1971.

GRAEML, Alexandre Reis. Sistemas de informação: o alinhamento da estratégia de TI com a estratégia corporativa. Atlas, 2000.

HOWSON, Cindi. Ease of Use and Interface Appeal in Business Intelligence Tools BeyeNETWORK, 2010.

IBM, Internacional Business Machines. IBM SPSS Software. Disponível em <http://www-01.ibm.com/software/br/analytics/spss>. Acesso em 01 de Julho de 2013

JANNUZZI, Paulo de Martino. Repensando a prática de uso de indicadores sociais na formulação e avaliação de políticas públicas municipais. ___. Qualidade de vida: observatórios, experiências e metodologias. São Paulo: Anablume, Fapesp, p. 53-71, 2002.

MARTINS, Maria Inês Carsalade Consultoria Técnica Relatório Final Instrumento de Monitoramento – Equipamentos Sociais. Rio de Janeiro, 2011.

MOSS, Larissa Terpeluk; ATRE, Shaku. Business intelligence roadmap: the complete project lifecycle for decision-support applications. Addison-Wesley Professional, 2003.

MUSZINSKI, André Amaral; DE CASTRO BERTAGNOLLI, Silvia. Business Intelligence: um sistema de apoio a decisões gerenciais. Centro Universitário Ritter dos Reis (Uniritter).

NICHELE, MARCELO/; LOVATTO, SÉRGIO V.; MUGNOL, RENATO P. O uso da Tecnologia da Informação no “Business Intelligence” na Gestão de Empresas de Pequeno, Médio e Grande Porte da Região de Caxias do Sul. 2005.

PINHO SOBRINHO, Manuel. Fatores Críticos de Sucesso de Aplicações de Business Intelligence Baseadas em Sistemas ERP. Pontifícia Universidade Católica de São Paulo – PUC-SP, 2008

Programa das Nações Unidas para o Desenvolvimento, Instituto de Pesquisa Econômica Aplicada, Fundação João Pinheiro. Atlas do Desenvolvimento Humano no Brasil. Disponível em <http://www.atlasbrasil.org.br/2013/pt/> Acesso em 01 de Julho de 2013.

REZENDE, Denis Alcides. Sistemas de informações organizacionais: guia prático para projetos em cursos de administração, contabilidade e informática. Atlas, 2010

SHARDA, Ramesh, et al. Businesss Intelligence and Analytics: Systems for Decision Support-(Required). Prentice Hall, 2014.

TURBAN, Efraim et al. Business Intelligence: um enfoque gerencial para a inteligência do negócio. Grupo A, 2009.

VAITSMAN, Jeni; RODRIGUES, Roberto WS; PAES-SOUSA, Rômulo. O sistema de avaliação e monitoramento das políticas e programas sociais: a experiência do Ministério do Desenvolvimento Social e Combate à Fome do Brasil; Evaluation and monitoring system of policies and social programs: the experience of the Ministry of Social Development and Fight against Hunger in Brazil. Policy papers, v. 17, 2006.