 |
|
 |
| |
Base: BI Módulo 3 - Ferramentas de BI, plataformas e perfis de usuários
Postado em 19/01/2005 por admin |
|
 |
|
 |
| |
- Ferramentas, plataformas e perfis
- O transacional e o analítico
- Soluções de front end
- Respondendo às necessidades
- Opções para todos os gostos
- EIS
- DSS
- Metadados
- Ferramentas de back end
- Garimpagem dos dados
- Soluções de BI disponíveis no mercado
Ferramentas de BI, plataformas e perfis de usuários
As primeiras ferramentas de Business Intelligence surgiram por volta dos anos 70 e se caracterizavam por usar intensa e exaustiva programação, o que exigia altos custos de implementação. Com a evolução tecnológica e o conseqüente surgimento dos bancos de dados relacionais, dos personal computers, das interfaces gráficas, e da consolidação do modelo cliente/servidor, os fornecedores de soluções começaram a colocar no mercado produtos realmente direcionados para os analistas de negócios, bem mais amigáveis e acessíveis para os gerentes e diretores das diferentes áreas da corporação.
Com isso, a "família" BI cresceu e multiplicou-se. Hoje, a variedade de produtos que se acomodam sob o imenso guarda-chuva batizado de Business Intelligence é muito grande e continua em constante evolução. No atual leque de ofertas, encontram-se desde pacotes configuráveis, até ferramentas isoladas e inclusive soluções que permitem às empresas se aventurarem no desenvolvimento de um sistema totalmente caseiro. O que esses sistemas têm em comum é a característica de facilitar a transformação dos dados em informações de forma a auxiliar os diversos níveis de uma empresa na tomada de decisões.
No rol das ferramentas de BI figuram desde simples planilhas eletrônicas, geradores de queries (consultas) e relatórios, sistemas de apoio à decisão (DSS - Decision Support Systems), EIS (Executive Information System), ferramentas OLAP (Online Analytical Processing) - e suas derivadas como ROLAP, MOLAP, HOLAP e DOLAP - , até soluções mais sofisticadas, como as ferramentas de back end (retaguarda) - as ETL (Extract, Transform and Load - extração, transformação e limpeza/carga), metadados e Data Mining. Qual delas utilizar, dependerá basicamente da necessidade específica de cada empresa e da sua capacidade de investimento. O que os arquitetos de BI das corporações devem ter em mente é adotar ferramentas que permitam acessar detalhes das bases volumosas de dados, com o menor custo de propriedade e mantendo o desempenho, sem perder a integração.
Na avaliação dos consultores de mercado, não são apenas as grandes corporações que precisam e investem em soluções de BI, mas também as empresas de pequeno e médio portes que cada vez mais necessitam injetar inteligência aos negócios para não perder pontos para a concorrência e, ainda, para visualizar novas oportunidades e para ampliar sua área de atuação.
O transacional e o analítico
Nas corporações existem basicamente dois tipos de aplicações: as que sustentam o negócio, e rodam nos sistemas transacionais, também chamados de OLTP (Online Transacional Processing ), e as que analisam o negócio sob vários ângulos, dando apoio à decisão e servindo de base para novas ações. Em termos gerais, as aplicações OLTP servem para registro das transações cotidianas (conta corrente, controle de estoque, controle da produção, contabilidade, etc) e constituem os principais alimentadores das soluções analíticas, as quais possibilitam mudanças e correções de rumo na estratégia corporativa. A diferença fundamental é que as aplicações OLTP permitem atualizações constantes de dados (ou seja, as informações são modificadas diariamente), enquanto que as aplicações analíticas possibilitam, normalmente, apenas acessos de leitura (porque lidam com dados estáticos).
Como já abordamos nos módulos anteriores, é importante que exista um repositório próprio para os dados consolidados e já transformados em informação. Esse repositório pode ser um Data Warehouse ou um Data Mart, ou até mesmo um banco de dados relacional, mas que, neste caso deve ser utilizado apenas para as operações de BI. Os consultores e analistas de mercado recomendam que seja criada uma infra-estrutura tecnológica específica para o BI e separada do ambiente transacional. Isso porque, para efeito de análise, costuma-se trabalhar com grandes volumes de dados, o que requer uma capacidade computacional maior. Se fosse utilizado um só banco de dados e uma só infra-estrutura tecnológica para suportar os dois tipos de operação (transacional e analítica) poderiam ocorrer problemas como travamentos e perda de performance dos sistemas.
Algumas empresas também utilizam o ODS (Operational Data Store) que é uma base de dados com utilização previsível, parcialmente estruturada e analítica. Trata-se de uma base com histórico menor (de apenas um dia ou até 60 dias), cujas informações estão organizadas por área de negócio, servindo como base somente para os analistas de informação. É como se fosse um retrato da base obtida da extração de dados dos sistemas transacionais da empresa. Pode conter pouca ou nenhuma agregação de dados. No início de sua concepção, por volta dos anos 90, era visto como sendo um tipo de Data Warehouse. Mas é importante salientar que em nenhuma hipótese o ODS pode ser combinado com o DW em um único sistema. As técnicas de armazenamento e recuperação são totalmente diferentes, bem como a finalidade.
Apesar dessa incompatibilidade de ambientes, o ODS é uma fonte ideal para o Data Warehouse, já que armazena dados operacionais num banco corporativo centralizado e íntegro. Para isso, o ODS precisa estar intimamente ligado aos sistemas transacionais. Toda alteração de registro nos ambientes operacionais deve ser refletida no ODS. Atualmente, o ODS vem sendo utilizado como uma base de dados intermediária entre as bases de dados dos Sistemas OLTP e o Data Warehouse. Isso tem sido muito útil, pelo simples fato de que as bases de dados dos Sistemas OLTP possuem hoje os mais diversos tipos de armazenamento (Bancos de Dados relacionais, Arquivos VSAM, Planilhas etc.), o que dificulta o processo de derivação e agregação de dados diretamente destas bases. É necessário que as extrações, transformações e limpeza dos dados sejam feitas e gerem uma base comum com estes dados já limpos e pré-organizados, para depois os mesmos passarem pelo processo de derivação e agregação, e finalmente para o DW.
Soluções de front end
O amadurecimento do conceito e da tecnologia de BI possibilitou o desenvolvimento de uma série de produtos. As ferramentas de front end (frente de operação), voltadas para os usuários finais de diferentes áreas da empresa, ficaram mais amigáveis e fáceis de usar. Algumas, inclusive trazem templates (programas prontos e padronizados para uso) que incorporam as melhores práticas de determinados segmentos (financeiro, marketing, vendas, produção, etc) e de determinadas verticais de mercado (manufatura, varejo, finanças, utilities, etc) e podem ser utilizadas pelos profissionais dos setores operacionais e não apenas pelos diretores e gerentes. Essas soluções possibilitam, por exemplo, que esses profissionais tenham diferentes visões de uma informação, sem precisar do auxílio do pessoal de TI para isso, o que agiliza a geração de relatórios e as análises. Essa seria uma das razões do crescimento mundial do número de licenças de produtos de BI vendidas. Muitas fornecedoras, inclusive, já disponibilizam queries (consultas) prontas para que as empresas não precisem partir do zero para utilizá-las. Na avaliação de alguns consultores, utilizar ferramentas de BI para questões operacionais, no entanto, é subutilizar essas soluções e geralmente isso ocorre para sanar alguma deficiência no lado transacional. As ferramentas de BI, segundo defendem os consultores, devem ser empregadas para funções mais nobres e complexas, voltadas para a análise e para a tomada de decisão.
Toda a empresa pode se beneficiar com o uso das diferentes soluções de BI, mas em geral as áreas que iniciam projetos e o uso efetivo das ferramentas são as de finanças, marketing e de vendas. Não existe um modelo padrão que se adapta a toda e qualquer empresa. Cada caso é um caso. Há diversas formas de se armazenar e trabalhar as informações. Até mesmo uma simples planilha Excel pode ser considerada como uma ferramenta de BI, na medida em que permite fazer análises e comparações.
Em geral, as ferramentas mais utilizadas são as do tipo OLAP (Online Analytical Processing) que possibilitam aos usuários finais extrair os dados das bases já consolidadas e com os quais geram relatórios capazes de responder às questões gerenciais. Elas surgiram na década de 90, junto com os sistemas de apoio à decisão para permitir a extração e análise dos dados contidos nos DW e nos Data Marts.
A funcionalidade de uma ferramenta OLAP é caracterizada pela análise multi-dimensional dinâmica dos dados, apoiando o usuário final nas suas atividades. Elas permitem uma série de visões, tais como as consultas ad-hoc, que segundo define Bill Inmon, são consultas com acesso casual único e os dados são tratados segundo parâmetros nunca antes utilizados. Isso significa que o próprio usuário gera as consultas de acordo com suas necessidades de cruzamento de dados e de uma forma diferente da usual, com emprego de métodos que o levam a obter as respostas desejadas. Outra técnica possibilitada pelo OLAP é a slice-and-dice que permite analisar as informações sob diferentes prismas. O Drill Down/Up consiste em fazer uma exploração em diferentes níveis de detalhe das informações. Com essa técnica, o usuário pode "subir ou descer" dentro do detalhamento do dado, como por exemplo analisar uma informação tanto diariamente quanto anualmente, partindo da mesma base de dados. No que se refere à geração de queries (consultas) no OLAP, ela se dá de uma maneira simples, amigável e transparente para o usuário final, o qual precisa ter um conhecimento mínimo de informática para obter as informações que deseja.
Antes do desenvolvimento da tecnologia OLAP, as empresas tinham que utilizar outras ferramentas menos amigáveis para conseguir gerar relatórios. Uma delas era o Clipper, em que a dificuldade era a de procurar os dados que estavam em vários arquivos. Dessa forma, se o objetivo era construir um relatório para avaliar quais eram os clientes mais rentáveis num determinado semestre, por exemplo, eram necessários dois trabalhos: primeiro encontrar os dados e depois construir o relatório no formato desejado, o que consumia tempo. O panorama melhorou com o surgimento dos Sistemas Gerenciadores de Banco de Dados (SGBD) que foram evoluindo junto com as linguagens de programação, facilitando a vida dos analistas de sistemas. Com isso, os dados eram acessados de forma mais simples, mas os usuários comuns (gerentes, diretores, e profissionais da área de marketing, vendas, etc) ainda dependiam de um técnico de informática para poder gerar relatórios. Com o surgimento das ferramentas OLAP o cenário foi modificado, na medida em que estas permitiam o acesso fácil aos dados pelos usuários finais. A análise das informações passou a ser dinâmica, rápida e o próprio usuário podia fazer a consulta que desejasse, sem depender de um técnico ou de um analista de sistemas para isso.
Respondendo às necessidades
Cada uma das tecnologias e técnicas de BI tem seu lugar e são complementares entre si, pois dão apoio a diferentes tipos de análises. É importante lembrar que as exigências do usuário devem ditar que tipo de Data Mart ou DW a empresa deve construir. Como sempre, a tecnologia e técnicas devem estar bem fundamentadas para atenderem da melhor maneira possível essas exigências. Os Data Warehouses/Data Marts servem como fonte de dados para estas aplicações, assegurando a consistência, integração e precisão dos dados. Os sistemas transacionais não conseguem responder essas questões e, por isso, é necessária a criação de um ambiente de apoio à decisão robusto, sustentável e confiável. Caso a empresa não utilize um DW para implementar as soluções de BI, os cubos OLAP acabam sendo extraídos diretamente das bases transacionais, sem os processos de filtragem e formatação. O problema é que a mesma informação pode estar em diferentes sistemas, com formatos diferentes, o que pode levar a interpretações diversas e erradas.
Com o passar dos anos a tecnologia OLAP cresceu e multiplicou-se, originando as ferramentas ROLAP, MOLAP, HOLAP e DOLAP, as quais possibilitam diferentes formas de organizar os dados antes de apresentá-los ao usuário final. A ROLAP (Relational Online Analytical Processing) é empregada para uma análise mais exploratória dos dados, sendo bastante utilizada pela área de marketing. A arquitetura é composta por um servidor de banco de dados relacional e a engine OLAP fica num servidor dedicado, o qual armazena vários cubos de informação. Dessa forma a consulta é enviada ao servidor do banco de dados relacional e processada no mesmo, sendo visualizada no PC do usuário via browser ou através de uma licença do software. A principal vantagem dessa arquitetura é a de permitir a análise de enorme quantidade de dados.
Na arquitetura MOLAP (Multidimensional Online Analitycal Processing), o acesso aos dados ocorre diretamente no banco de dados multidimensional, sendo que o usuário trabalha e manipula os dados do cubo diretamente no servidor, trazendo grandes benefícios quanto à performance. A ferramenta permite análises mais simples e rápidas, mas também apresenta limitação de tamanho, tendo estrutura similar ao de uma planilha, com linhas e colunas. A HOLAP (Hybrid Online Analytical Processing) resultou da combinação entre as ferramentas MOLAP e ROLAP, extraindo o que há de melhor de ambas. É uma arquitetura bastante completa, mas também a mais cara de todas. E finalmente as DOLAP (Desktop Online Analytical Processing) e LOLAP (Local Online Analytical Processing) permitem o processamento na máquina cliente (que pode ser um PC comum), sem problemas de tráfego de rede e nem problemas de escalabilidade. Elas disparam uma instrução SQL (Structure Query Language - linguagem de consulta para acessar sistemas de base de dados) de uma máquina cliente qualquer (como um simples PC, por exemplo) para o servidor e recebem o microcubo de volta para ser analisado no PC. A única desvantagem é que o microcubo não pode ser muito grande.
Opções para todos os gostos
À medida em que a tecnologia da informação evolui, as ferramentas de BI vão sendo rebatizadas e reagrupadas. Soluções anteriormente denominadas EIS e DSS acabaram sendo incorporadas em outras ferramentas e, mesmo quando oferecidas em separado, recebem outras denominações das respectivas fornecedoras para ganhar um ar de modernidade. Mas para uma melhor compreensão desse grande universo, vamos conceituar algumas dessas ferramentas e suas principais características:
EIS
O EIS - Executive Information Systems - é um sistema voltado a atender as necessidades dos altos executivos de uma empresa. Através dele, são obtidas informações gerenciais de forma rápida e simples. Em geral, o EIS é modelado para ser bastante amigável, uma vez que seus usuários são pessoas ocupadas e que não tem muito tempo. As informações devem ser organizadas de forma resumida porque as decisões nesse nível administrativo não se atém a detalhes, mas ao todo. A esse executivo, por exemplo, não interessa saber quantas canetas foram usadas na empresa durante um certo período, mas sim o valor total dessas despesas de material. O EIS pode ser construído tendo como base vários sistemas transacionais, mas o ideal é que o sistema acesse um data warehouse porque a busca é facilitada na medida em que é feita numa única base de dados. As principais características desse sistema são: podem ser customizados de acordo com o estilo de cada executivo; contém recursos gráficos que permitem às informações serem apresentadas graficamente de várias formas; são fáceis de usar e requerem pouco treinamento para tal; permitem o acesso rápido e fácil a informações detalhadas. Além disso, o usuário também pode alterar o nível de detalhamento das informações utilizando, para isso, uma ferramenta OLAP. Por exemplo: partindo de um relatório que contém todas as informações sobre as vendas realizadas em 1999 em todos os escritórios da empresa instalados no estado de São Paulo, um diretor poderá analisar as vendas realizadas em cada cidade do estado.
DSS
Os Decision Support Systems, ou Sistemas de Apoio à Decisão, surgiram a partir dos sistemas transacionais existentes nas empresas. São soluções que auxiliam no processo decisório, utilizando modelos para resolver problemas não estruturados. Inicialmente é necessário definir quais dados, gerados nos sistemas transacionais, serão armazenados no Data Warehouse, para depois partir para a modelagem dimensional e a criação física do modelo, onde as especificidades do Sistema Gerenciador de Banco de Dados (SGBD) e da ferramenta OLAP escolhidos serão consideradas para otimizar as consultas futuras. O passo seguinte é carregar os dados no DW, definindo as origens dos dados (identificação dos sistemas legados onde foram gerados, o que facilita a sua localização), e depois são feitas as rotinas de extração de dados, que podem ser desenvolvidas por programadores em qualquer linguagem de programação. Concluída essa etapa, deve ser feita a checagem da consistência dos dados. Qualquer erro nos dados poderá determinar o fracasso da análise futura.
Outro elemento importante é a confecção e armazenamento dos metadados (dados de controle do DW, responsáveis pelos mapeamentos dos dados de cada etapa de implementação do DSS). As ferramentas OLAP são, então, utilizadas para visualizar e analisar os dados. Os Sistemas de Apoio à Decisão são aparentemente simples, mas exigem um profundo conhecimento técnico e de negócios para serem elaborados e utilizados com sucesso.
Metadados
Os metadados, definidos como os "dados dos dados", constituem peças fundamentais num DW. Isso porque num data warehouse, além do banco de dados, gera-se uma documentação muito maior que nos BDs tradicionais. É feito o levantamento dos relatórios a serem gerados, de onde vem os dados para alimentar o DW, os processos de extração, tratamento e rotinas de carga de dados. Tudo isso, acrescido das regras de negócios da empresa, as mudanças ocorridas ao longo do tempo e a freqüência de acesso aos dados, gera os metadados. Os metadados mantém as informações sobre "o que está onde" num DW. Eles podem surgir de vários locais durante o decorrer do projeto.
Ferramentas de back end
Mais sofisticadas e complexas, as ferramentas de back end (retaguarda) também estão evoluindo e aos poucos começam a entrar no mundo operacional. Esses sistemas, também chamados de ETL (Extração, Transformação e Limpeza) são fundamentais para preparar os dados que serão armazenados no DW. Embora atualmente já existam produtos que facilitam esse trabalho, esse ainda é um processo trabalhoso, detalhado e complexo, e que requer expertise para ser executado de forma adequada e correta.
As ferramentas de back end possibilitam cinco operações principais. A primeira delas refere-se à extração dos dados que podem estar em fontes internas (sistemas transacionais, bancos de dados, etc) ou externas (em sistemas fora da empresa). Em seguida é preciso fazer a limpeza e transformação dos dados. Nessa etapa são corrigidas algumas imperfeições contidas na base de dados transacional, com objetivo de fornecer ao usuário dados concisos, não redundantes e com qualidade, permitindo uma análise baseada nos valores mais próximos dos reais. A terceira operação refere-se ao processo de transformação do dado. Normalmente, os dados vêm de vários sistemas diferentes e por isso se faz necessário padronizar os diferentes formatos em um só. A quarta etapa diz respeito ao processo de carga do DW que em geral é feita a partir de um banco de dados temporário, no qual os dados armazenados já passaram pela limpeza e integração. E finalmente há a etapa de atualização dos dados (Refresh). Sabe-se que a todo momento são feitas alterações na base de dados transacional. Essas atualizações devem ser passadas para o DW, mas de forma organizada.
A etapa de ETL é uma das mais críticas de um projeto de DW. As ferramentas utilizadas para esse fim podem ser desenvolvidas pela própria empresa ou adquiridas dos fornecedores, dependendo do projeto. No rol de ferramentas ETL incluem-se o Data Stage (Ardent/Informix), o DTS (Microsoft), e o Sagent (da Sagent).
Garimpagem dos dados
Fazer previsões, detectar tendências futuras, visualizar novas oportunidades de negócios, são algumas das vantagens possíveis através das ferramentas de Data Mining. Essa tecnologia de "mineração dos dados" ganhou atenção com o surgimento do DW, o qual possui bases de dados bem organizadas e consolidadas. A premissa do data mining é uma argumentação ativa, ou seja, não é o usuário quem define o problema e seleciona a ferramenta para analisá-lo, mas sim as próprias ferramentas de data mining que se encarregam de pesquisar e procurar possíveis relacionamentos entre dados. Com isso, permitem diagnosticar o comportamento dos negócios, requerendo para isso a mínima participação do usuário. As ferramentas de data mining são baseadas em algoritmos que formam a construção de blocos de inteligência artificial, redes neurais, regras de indução e lógica de predicados que facilitam o trabalho dos analistas de negócios a visualizarem novas perspectivas para velhas questões. Essas ferramentas são extremamente úteis para detecção de fraudes e para previsões de comportamentos. Mas são também soluções complexas que requerem dos profissionais boa capacidade de análise e expertise.
Atualmente existem muitas soluções de BI para todos os tipos e tamanhos de empresas e de orçamentos. A Internet também veio a facilitar a utilização dessas ferramentas, possibilitando ao usuário final, através de um simples PC e browser, o acesso a consultas e análises e o compartilhamento da inteligência além dos limites da organização. Não por acaso os fornecedores de produtos de BI baseiam suas soluções em navegadores. Em termos de hardware, também a gama de opções para possibilitar o maior aproveitamento das soluções de BI é grande e variada, dependendo da necessidade da empresa e do volume de dados gerados e trafegados. Desde um simples PC, ao mais sofisticado e parrudo mainframe, possibilitam rodar as mais diferentes aplicações e soluções. O porte da infra-estrutura de hardware irá depender do tipo de banco de dados utilizado. Para lidar com grande volume de dados gerados é apropriado o uso de banco de dados multidimensionais que exigem um hardware mais parrudo para suportá-lo. Mas para empresas menores, uma solução como o SQL Server, da Microsoft, pode atender perfeitamente às necessidades. Nesse sentido, tradicionais fornecedores de banco de dados, como Oracle, Sybase, Teradata, Microsoft, entre outras, já disponibilizam produtos que trazem embutidas as ferramentas de extração e análise, oferecendo as mais variadas opções.
O que os consultores de mercado destacam é que as empresas, desde sempre, lidam com informações que são importantes para o seu negócio. O BI permite organizar melhor essas informações e disponibilizá-las para a empresa como um todo, de forma diferenciada, dependendo das necessidades de cada usuário. Qual ferramenta usar, qual banco de dados ou infra-estrutura de hardware escolher, dependerá de cada projeto, de cada escopo e de cada capacidade de investimento. O importante é ter em mente que o BI pode ser comparado a um cérebro. Cada pessoa nasce com um e ele irá se desenvolver em cada etapa da vida - infância, adolescência e fase adulta, num processo contínuo. O BI é igual. É um processo que deve ser continuado ao longo do tempo, possibilitando o melhor aproveitamento da inteligência interna e, com isso, fomentando o crescimento da corporação.
Soluções de BI disponíveis no mercado
A maioria dos principais fornecedores mundiais de ferramentas de Business Intelligence está presente no Brasil com subsidiárias próprias ou via distribuidores. Entre elas incluem-se: Cognos, Execplan, Ascential, Microstrategy, SAS Institute, IBM Brasil, Business Object, Hyperion, Extend Software, Microsoft, Platinum, e Hummingbird, entre outras. Soma-se a esse grande universo, também dos módulos de BI oferecidos pelas empresas desenvolvedoras de sistemas de gestão empresarial (ERP), entre as quais se incluem a SAP, PeopleSoft (que adquiriu recentemente a JD Edwards), Oracle, Datasul, ABC71, entre outras.
Fonte: Next Generation Center
Fontes consultadas:
- José Jorge de Souza e Silva Filho
- Sócio responsável pela prática de CRM e BI da IBM Business Consulting Services
- Sebastião Gasparino Martins
- Executivo de soluções da Stefanini Consultoria
- Artigos e conceitos de BI
- Arquivos IDG Computerworld
- Artigo "Ferramental para toda obra" - Alda Campos, jornalista especializada em TI
- www.dwbrasil.com.br
|
|
 |
 |
 |
| |
|
 |
|
| |
Classificação de notícias
Votar: 4.73
Votos: 23
|
|
 |
 |
 |
|
