Business Intelligence & Business Analytics Blog

Ferramentas open source começam a surgir proporcionando análises mais rápidas de grandes volumes de dados. Nem sempre o negócio poderá esperar decisões com espera de vários dias...

O tema Big Data está na mídia e começando a se tornar realidade. Mas curiosamente, até pela inexatidão do nome, atenta-se muito ao fator volume. A capacidade de armazenar dados cresce rapidamente, ao mesmo tempo que seu custo cai. Mas uma variável importante é a velocidade com que, rápida e eficazmente, conseguimos acessar, analisar e tomar decisões baseadas nestas informações. A variável velocidade, ou a velocidade com que o fluxo de informações navega pela organização, é um dos principais Vs dos conceitos embutidos em Big Data.

Velocidade de acesso já é realidade em alguns setores, como financeiro, onde a vantagem competitiva na compra e venda de ações mede-se em microssegundos. Mas à medida que interagimos com as empresas de forma contínua, com nossos smartphones e tablets, elas começam a identificar a importância de interagir com seus clientes durante as próprias interações. Assim, um negócio de comércio eletrônico,  como o da Amazon, propõe recomendações baseadas nos seus padrões de compra no instante em que você está ativo no site. E bancos tentam identificar uma fraude no momento em que você está utilizando um cartão de crédito, em qualquer lugar do planeta.

Mas, vocês pararam para pensar no imenso volume de dados e demanda de processamento que está por trás destas operações? Identificar um padrão de compras ou uma tentativa de fraude envolve a análise de uma montanha de dados estruturados e não estruturados.

Com maior variedade de dados disponiveis, maiores as chances dos algoritmos conseguirem identificar padrões. Em Big Data, a análise, portanto, não se restringe apenas a volumes maiores, mas a um montante mais complexo (diversidade de dados) e a uma velocidade que atenda às necessidades do negócio. Um exemplo interessante é a empresa Dataminr que vasculha cerca de 500 milhões de tuites por dia para buscar informações que mexam com o mercado antes que cheguem ao noticiário. A Dataminr categoriza e analisa cada tuite em tempo real, separando o spam, e comparando a informação com outras fontes de noticias, preços de mercado, padrões climáticos e outros dados para determinar sua importância.

Este quesito, velocidade, tem sido o alvo de inúmeras pesquisas e projetos tecnológicos. Alguns exemplos são o Druid e o Drill. O Drill é a versão open source do Dremel, do Google. Vale a pena estudar um pouco mais a tecnologia Dremel, e para isso sugiro a leitura do texto http://static.googleusercontent.com/media/research.google.com/en//pubs/archive/36632.pdf. Recomendo também olhar o Storm, usado pelo Twitter. É um sistema open source de baixa latência, com o conceito de “stream processing”. Esta modalidade de processamento é necessária quando a aplicação demanda resposta imediata ao dado que chega. Reparem como temos soluções de tecnologia de ponta em open source! Me parece que aos poucos, soluções proprietárias começam a dar lugar a soluções open source, à medida que estas amadurecem e criam um ecossistema consistente em torno de si.

Estas tecnologias complementam o onipresente Hadoop, que foi desenvolvido para operar em batch (tempo muito mais lento...) e provavelmente se consolidarão nos próximos anos. Por sua vez, distribuidores Hadoop, como a Cloudera, desenvolvem soluções que permitem fazer análises rápidas, em cima da massa de dados, sem necessidade de passar por processos batch. O Impala é um exemplo bem emblemático.

Mas temos aí um interessante fato. Ser rápido não significa ser tempo real. Na prática não existe tempo real, mas “quase tempo real”. Tempo real significa que você trata o dado no instante em que ele chega. Trata o dado no presente. Diferente de sistemas como o Drill e o Dremel que tratam dados já armazenados, embora em alta velocidade. O mesmo com o Dataminr, que trata tuites já postados. No dia a dia são poucos os casos de tempo real. Um algoritmo de recomendação como o da Amazon não precisa ser em tempo real. Ele precisa, sim, interagir com o cliente enquanto ele navega pelo site da empresa, o que pode levar alguns segundos ou minutos. Tempo real é necessário para um veículo autonômo como o carro sem motorista do Google, pois tem que tomar decisão no instante que a situação ocorre.

Planejar iniciativas de Big Data passa necessariamente em maior ou menor graus pelos vários Vs, como volume e variedade. Mas, o aspecto velocidade não pode e nem deve ser menosprezado.

Nem sempre o negócio poderá esperar decisões com espera de vários dias...Talvez precisemos analisar e decidir na hora em que o fato está acontecendo.

(*) Cezar Taurion é CEO da Litteris Consulting, autor de seis livros sobre Open Source, Inovação, Cloud Computing e Big Data

Cio.com.br

Visualização é uma das melhores formas de transmissão do conhecimento

Usando conceitos de Big Data e visualizações dinâmicas podemos tomar decisões de negócio muito mais corretas e precisas

Cezar Taurion *

À medida que trabalhamos com volumes e variedades de dados cada vez maiores, o antigo ditado “uma imagem vale mais que mil palavras” torna-se mais verdadeiro.

Um exemplo simples é usar o metrô de uma grande cidade, como Londres. O tube, como é chamado, tem 11 linhas e 270 estações. Em tese, as informações básicas são uma lista de estações em ordem alfabética e nomes das linhas. Mas tente fazer isso... Compare a lista alfabética com o mapa. Fica claríssimo que tentar ir de uma estação para outra tendo em mãos apenas uma lista alfabética é extremamente desgastante. No próprio link da Wikipedia aparece o mapa do tube. Nele fica claro como chegar de uma estação a outra, que linha pegar e mesmo saber quantas estações intermediárias existem e se será necessário trocar de linha e em qual estação fazer isso. De forma bem visível e simples. A imagem vale bem mais que mil palavras.

Este exemplo mostra quanto é importante a visualização de dados. Em uma planilha fica difícil identificarmos tendências ou fazermos correlações entre dados. Mas através de gráficos e imagens nossa percepção dos números muda. Podemos identificar com muita rapidez qual produto vende mais e qual loja é mais lucrativa.

O conceito de Big Data amplia o potencial das análises. Vamos pegar o exemplo acima, das lojas. Analisando apenas dados internos podemos identificar que lojas são mais lucrativas e que produtos vendem mais, dentro de nossa empresa. Podemos tomar ações corretivas em casos de desvios e de tendências negativas. Mas, e quando vemos uma queda nas vendas em determinada região? Sem dados externos, como situação econômica da região, nossas ações terão pouco resultado. Se soubermos da crise econômica, podemos, por exemplo, trocar o mix de produtos para baratear os preços unitários.

Portanto, o conceito de Big Data, apesar da palavra Big chamar atenção, não é apenas volume. Um imenso volume de dados, mas sem as referências que me ajudem a identificar as reais causas da queda nas vendas não será muito útil. Variedade, ou seja, acesso a outras fontes de dados, geralmente externas, possibilita ter uma visão mais ampla do contexto. Aqui de forma simplista, Big data é contexto interno + contexto externo.

Ótimo, demos um passo importante. Mas sem uma boa ferramenta de visualização esta montanha de dados não vai ser de muita serventia...

Com técnicas modernas de visualização temos condições de identificar padrões ou correlações de dados antes invisíveis. Fazendo as perguntas certas podemos identificar coisas que estão acontecendo ou que irão acontecer, se identificarmos corretamente as tendências. Não o conseguiremos olhando uma planilha... Aliás, David cita uma frase que vale a pena repetir aqui: “ visualization is a form of knowledge compression”. Uma única imagem pode comprimir em um gráfico colorido um imenso volume de dados. Portanto, apenas com visualizações é que será possível compreender volumes imensos e variados de dados.

Afinal a imensa maioria das informações que captamos como seres humanos é visual. Pesquisas mostram que a retina humana consegue transmitir 10 megabits por segundo. Em segundo vem a audição, com 1/10 desta capacidade. Nada mais natural que exploremos a potencialidade das técnicas de visualização para analisarmos e correlacionarmos dados de forma mais eficiente.

Um exemplo do potencial de exploração de bases de dados é o projeto do Google, “Google Public Data Explorer”. E vale a pena ver a apresentação de Hans Rosling, no TED 2006, sobre como uma visualização dinâmica pode mudar ideias pré-concebidas, usando dados públicos: em http://www.ted.com/talks/hans_rosling_shows_the_best_stats_you_ve_ever_seen. Isto é importante, pois muitas decisões de negócios são baseadas na intuição, muitas vezes formada por ideias pré-concebidas e enraizadas por experiências anteriores. Mas, serão realmente válidas?

Usando conceitos de Big Data e visualizações dinâmicas podemos quebrar estas ideias e tomar decisões de negócio muito mais corretas e precisas.
Na verdade, à medida que mais dados temos, mais importante torna-se a capacidade de visualizar estes dados, destilando este imenso e variado volume em informação útil.

As técnicas de visualização são hoje extremamente importantes para a geração de valor do conceito de Big Data. Afinal, Big Data não é um conceito apenas sobre dados, mas como nós podemos extrair insights e inteligência deles. Visualização é a chave mestra para isso.

(*) Cezar Taurion é CEO da Litteris

cio.com.br

Um beneficio da valorização dos dados é que ela torna mais simples a proposição de projetos que envolvam os conceitos de manuseio de informação, como Big Data

Cezar Taurion*

Hoje geramos dados a todo instante e em praticamente todas as nossas ações do dia a dia: quando fazemos compras nos supermercados, quando postamos no Facebook, quando usamos nosso smartphone, quando ativamos o GPS no carro e assim por diante. Claramente dados tem muito valor, mas ainda não conseguimos avaliar este seu valor corretamente. Alguns estudos apontam valores elevadíssimos.

Um recente estudo do Federal Reserve, nos EUA, estima que o total de dados e outros ativos intangíveis das empresas, como patentes, marcas registradas e direitos autorais podem valer mais de oito trilhões de dólares, que é um valor quase igual ao PIB somado da Alemanha, França e Itália. Estes ativos intangíveis estão se tornando parte cada vez mais importante da economia global.

As patentes, por exemplo, vêm sendo um dos principais motivadores de aquisições de empresas, como a compra da Motorola pelo Google, por mais de 11 bilhões de dólares em 2011. Outro exemplo é o valor de ações de empresas como Facebook, eBay e Google. Se subtrairmos suas dividas, vemos que elas possuem um total de 125 bilhões em ativos, mas o valor combinado de suas ações é de 660 bilhões de dólares. A diferença reflete a percepção do mercado de que os ativos mais valiosos destas empresas são seus algoritmos, patentes e um enorme volume de informações sobre usuários e clientes. Este valor não aparece nos balanços.

O desafio de valorizar dados

A partir de 2012 o Gartner começou a propor um novo modelo econômico para mensurar o valor dos dados, que ele batizou de infonomics. Infonomics é a disciplina de mensurar e avaliar a significância econômica dos dados e informações que uma empresa possui, de modo que estas informações possam ser valorizadas monetária e contabilmente. Recomendo ler um artigo sobre o assunto, publicado na Forbes:  http://www.forbes.com/sites/gartnergroup/2012/05/22/infonomics-the-practice-of-information-economics/.

É curioso observar que os dados, apesar de todos os discursos sobre seu valor competitivo, não são valorizados monetariamente e contabilmente. Por exemplo, se um data center pegar fogo, as seguradoras cobrem o prejuízo sofrido pelas instalações e pelo maquinário, de geradores a servidores. Mas não cobre o conteúdo dos dados que foram perdidos.

De maneira geral, uma empresa com boa governança de TI mantém uma política de backup eficiente e consegue recuperar todas ou quase todas os seus dados e informações. Mas caso não consiga, não obterá da seguradora a reparação pelo valor dos dados perdidos.

Vivemos hoje na sociedade a informação e informação é um produto por si mesmo, além de ser o combustível que impulsiona os negócios da maioria das empresas. A consequência deste fato é o surgimento, ao longo das ultimas décadas, de tecnologias de bancos de dados, data warehouses e, mais recentemente, o próprio conceito de Big Data.

Se analisarmos a informação vemos que ela se encaixa perfeitamente nas características de um bem econômico intangível. Entre elas:

a) Custo relativamente alto para sua criação. A produção da informação custa muito mais que as cópias geradas, que tem custo marginal.

b) Escalabilidade. Custos marginais para produzir duas ou duas centenas de cópias. Atualmente com armazenamento e cópias inteiramente digitais elimina-se também o custo de produção das cópias impressas.

c) Economias de escala em termos de produção. No caso da informação impressa, como em livros, quanto maior a edição, menores os custos individuais devido à economia de escala. Nos meios digitais, como e-books,  tais custos inexistem.

De acordo com a consultoria IDC, o uso do big data deve, ainda, reduzir os custos de clínicas e hospitais e viabilizar avanços na área de pesquisa de doenças complexas, como aids e diferentes tipos de câncer. Conheça, a seguir, cinco aplicações do big data na área de saúde:

1. Vacina contra o HIV

No Brasil, a unidade de imunologia do Instituto do Coração (Incor), em São Paulo, usa algoritmos disponíveis em bancos de dados públicos de todo o mundo para analisar padrões de mutação do vírus HIV. Esse recurso permite que os pesquisadores estudem as variações do vírus, o que é fundamental para que possam desenvolver uma vacina capaz de responder a essas mutações. “O uso do big data pode acelerar a descoberta para a cura da doença”, diz o médico Edécio Cunha, pesquisador do Incor

2. Avanços no tratamento do câncer

Enquanto os tipos de câncer mais comuns, como mama e próstata, já contam com protocolos de tratamento bem conhecidos, tipos menos comuns, como os cânceres que afetam crianças, ainda são um desafio para a medicina. A Universidade de Boston, nos Estados Unidos, usa bancos de dados espalhados pelo mundo para pesquisar e cruzar casos similares de doenças. Com isso, consegue orientar os médicos a prescrever drogas e terapias mais eficientes para cada tipo de tumor. Na prática, é como poder pesquisar, em tempo real, experiências bem-sucedidas executadas em todo o mundo para cada tipo de câncer

3. Sistemas antiepidemia

O cruzamento de dados de internações e diagnósticos de doenças registradas em hospitais de todo o mundo pode auxiliar os especialistas a detectar, logo no início, o surgimento de uma nova epidemia. Essa agilidade trazida pelo big data ajuda as autoridades sanitárias a identificar áreas onde há surtos de doenças tropicais ou infecciosas antes que elas se alastrem

4. Prevenção em tempo real

O uso de gadgets vestíveis, aqueles que monitoram a pressão arterial, o nível de glicose, a qualidade do sono e os batimentos cardíacos, por exemplo, já permite que pacientes de várias partes do mundo obtenham diagnósticos precoces de doenças como diabetes e arritmia cardíaca, agilizando o início do tratamento

5. Exames na nuvem

Uma das possibilidades do uso big data é a criação de bancos privados onde ficaria reunido o histórico médico e clínico dos pacientes. Uma vez analisados por algoritmos específicos, esses dados ajudariam o médico a acompanhar a saúde do paciente e prescrever, de forma mais detalhada e automática, a guia de exames necessários

Info

Chegou a hora de se concentrar na aplicação prática da tecnologia e suas implicações para que a TI se beneficie da explosão de dados.

Nos últimos tempos, têm aumentado as discussões em torno de Big Data. A realidade, no entanto, é que muitas empresas já lidam com essa questão há muito tempo, bem antes desse termo ter virado moda e um jargão repetido à exaustão por fornecedores. Na prática, Big Data resume um conceito de explosão de dados de uma maneira não estruturada e de forma incontrolável e a necessidade de transformar esses dados em informações que possam ser utilizadas para direcionar os negócios e as estratégias da corporação, para apoiar o processo de tomada de decisões e minimizar riscos.

Apesar do conceito já estar bastante disseminado, ele ainda não reflete a realidade de 95% das empresas na América Latina e está longe de um entendimento prático por parte dos times de TI. Por conta disso, as discussões devem fugir dos jargões de marketing para se concentrar na aplicação prática de Big Data e suas implicações para que a TI se beneficie e surfe essa onda da explosão de dados.

Dentro dessa discussão, um recente evento discutiu como as empresas têm conseguido se beneficiar, na prática, dos ambientes de mídias sociais para geração de dados e transformação dos mesmos em vantagem competitiva para o negócio. Uma das conclusões foi a de que, em vez de utilizar o tradicional ROAS (Return On Advertising Spending ou, em português, Retorno do Investimento em Propaganda), é possível medir praticamente em tempo real o impacto nas redes sociais da exposição de marca ou de uma campanha específica. O que mostra como dados não estruturados podem ser transformados em informação de qualidade.

Mas o que é informação? De acordo com o Dicionário Contemporâneo da Língua Portuguesa, informação vem do latim, da palavra informatio,onis (delinear, conceber ideia). Ou seja, significa dar forma às ideias. E, se considerarmos que a TI significa Tecnologia da Informação é fundamental que o time de TI participe de forma ativa em todo o processo de geração e coleta de dados, transformando dados em informações e, estas últimas, em ativo da empresa.

Para que o processo funcione é necessário ter uma estrutura de coleta e armazenamento de dados, mantê-los em um ambiente seguro e transformá-los em informação, dentro de um ambiente redundante e com disaster recovery (recuperação de desastres). Parece óbvio, não? Não. A prática é que poucas empresas têm uma postura ativa de monitoração de data centers, um plano adequado de recuperação de desastres e um banco de dados com performance adequada ao ambiente atual e ao crescimento dos negócios.

E existe ainda mais um ponto que precisa ser considerado pelas empresas e que requer atenção máxima: como proteger essas informações geradas. Uma estrutura eficiente de firewalls, controle de acesso e gestão da conformidade dos elementos de TI às normas da empresas - quando existem -, são parciais. As ferramentas de segurança poucas vezes são consistentes com os desafios que evoluem dia-a-dia nas organizações.

A escolha de uma solução que cubra os elementos de proteção necessários em um ambiente de TI que atua com Big Data evita sérios problemas para as organizações, como os casos recentes de vazamento de informações, vivenciados por empresas como o Target e Playstation. Nesse contexto, é importante filtrar na origem quais informações são de fato confiáveis no momento em que entram na rede corporativa e avaliar conteúdos lícitos com a profundidade devida em busca de ameaças camufladas ou enxertadas. Aí, um bom firewall se faz necessário para controlar de forma granular.

Em resumo, quando aborda Big Data, o departamento de TI deve poder cobrir todos os elementos para gestão e segurança dos dados e trazer uma abordagem orientada ao negócio, a fim de suportar as oportunidades. Na prática, quando isso não acontece, as empresas perdem oportunidades de aumentar lucro, economia e evitar, de forma proativa, armadilhas do dia-a-dia da operação.

(*) Tulio Werneck é Diretor de Marketing para América Latina da Dell Software

cio.com.br

Os benefícios do Business Intelligence que toda empresa deveria conhecer

É interessante observar as companhias e perceber que nem sempre o óbvio é difundido. São poucas que largam na frente quando o assunto é inovação e investimento tecnológico. Muitas demoram para conceber e acreditar no retorno que estas soluções podem proporcionar. 

Várias empresas que apostaram nos benefícios do Business Intelligence (BI) com certeza puderam desfrutar desse retorno afirmativo nos processos e resultados organizacionais. Mas quais são esses benefícios que todas as organizações precisam conhecer? Por que o BI deveria ser adotado pela maioria das empresas? Compensa o investimento?

Essas perguntas pairam na cabeça da alta gestão que, normalmente, são céticas a qualquer grande mudança na organização, ainda mais quando o objeto em questão tem impacto na cultura de empresa, nos processos e no modo de tomar as decisões. Decisões estas que passam a ter maior embasamento e muito mais transparência aos olhos dos analistas de negócios, gestores e conselheiros.

Os benefícios do BI vão desde a tomada de decisão de forma mais pautada, como também:

• Minimização de riscos;
• Utilização de fatos ao invés de achismos;
• Velocidade nas respostas corporativas;
• Visualização das tendências;
• Diminuição dos custos;
• Aumento dos lucros.

A tomada de decisão é mais pautada devido ao subsídio que a informação fornece aos gestores, que muitas vezes se baseiam por decisões estabelecidas através de diálogos e intuições. Isso também favorece a minimização dos riscos, pois já que a decisão tem respaldo nos acontecimentos, o risco da decisão é imensamente menor.

A utilização de fatos ao invés da subjetividade (que as vezes prevalece em uma estrutura organizacional vertical) permite manter bom senso nas decisões gerenciais. Dessa forma cria-se uma cultura de transparência entre os colaboradores, além de transmitir confiança e solidez.

As perguntas que antes duravam dias ou semanas para serem respondidas, agora duram segundos ou no máximo alguns minutos. Isto porque a estrutura do BI é arquitetada para possibilitar facilidade de uso e também proporcionar rapidez nas repostas.

Outra coisa importante do BI é a previsão dos acontecimentos futuros através das tendências apontadas pelas informações. Isso permite à empresa se antever aos acontecimentos e estar preparada para os desafios futuros de forma proativa. 

A diminuição de custos se deve ao monitoramento e gestão dos gastos. Custos com viagem, cursos, equipamentos e salário, por exemplo, são facilmente analisados e administrados pela ferramenta adequada de BI. 

Todas essas características benéficas do BI têm participação crucial no aumento das receitas da organização. Elas permitem a preparação para focar diretamente no principal objetivo na maioria das empresas, que é a geração de lucros.

Portanto é importante que as organizações não subestimem a potencialidade que uma solução de BI pode fornecer. Sem dúvidas são benefícios que no dia a dia fazem a diferença no que tange ao alcance de metas, aumento dos lucros e satisfação dos clientes. Por isso, devemos ficar atentos para não perdermos a oportunidade de impulsionar os negócios através dessa poderosa solução chamada BI.

Canaltech.com.br