O termo Big Data, utilizado para descrever grandes volumes de dados, ganha cada vez mais relevância à medida que a sociedade se depara com um aumento sem precedentes no número de informações geradas a cada dia. De acordo com a consultoria IDC, a quantidade de informação digital chegará a 2,7 zettabytes no mundo em 2012, um aumento de 48% em relação ao ano anterior.
A abordagem tradicional para Big Data se apoia na utilização de funcionalidades analíticas capazes de lidar com esse elevado volume de dados, ajudando as companhias a obter informações preciosas relacionadas à vantagem competitiva, diferenciação no relacionamento com o cliente e atuar no mercado com maior margem de acerto em suas decisões. Mas o desafio não se restringe apenas ao volume, mas na forma com a qual estas organizações se movimentam para lidar também com a variedade de formatos, a velocidade e a volatilidade dos dados.
Atualmente, cerca 15 petabytes de dados são gerados diariamente tanto em dados estruturados – àqueles provenientes de bancos de dados e sistemas de gestão empresarial, por exemplo – e os não estruturados, compostos por vídeos, comentários em redes sociais, conteúdo de blogs e dispositivos móveis. Atuar de forma estratégica em Big Data tem sido rotulado em adotar estratégias que avaliem, especialmente, os dados não estruturados e que estão fora do alcance dos sistemas convencionais de TI.
Para gerenciar esse complexo cenário são necessários bancos de dados de elevada capacidade e um rápido manuseio e tratamento analítico destas informações, em alguns casos, em tempo real. O mercado de capitais e ações, por exemplo, já atingiu a marca de mais de um milhão de transações por segundo e requer modelos de aplicações capazes de administrar, em tempo real, a distribuição de cargas de trabalho associadas a sofisticados algoritmos.
Porém, um dos maiores equívocos que identifico na abordagem do Big Data é referente às organizações que se limitam apenas a uma das vertentes, aplicando técnicas analíticas apenas aos dados estruturados, ou apenas aos dados não estruturados.
Aproveitar todo o potencial de um mundo analítico, conectado e integrado vai exigir um resgate das disciplinas tradicionais de gestão e integração de dados, atividade que conhecemos em TI como governança de dados. Estudos apontam que uma boa prática de governança de dados, aliada a funcionalidades de inteligência analítica, permitem uma maior eficiência operacional e asseguram boas decisões de negócios a partir da integração de dados e informações devidamente contextualizadas.
Ao falar de Big Data não estamos falando apenas de elevado volume de dados. As empresas que trabalham com a tecnologia de algoritmos, por exemplo, já se movimentam fortemente em busca de ‘Big Patterns’, ou grandes padrões que estão por trás do dado em si.
A tendência de procurar similaridades e sobreposição de informações já toma forma em muitos setores do meio acadêmico e empresarial para resolver diversos problemas no cruzamento de conteúdo. O exame minucioso de uma célula em nano escala, por exemplo, já tem causado o conflito de dados provenientes de diferentes disciplinas, como biologia, química e física.
Empresas que adotam tecnologias analíticas em grande escala procuram semelhanças entre um campo e outro, buscando um meio comum para a análise. O verdadeiro truque aqui é fazer essa sobreposição dos dados de maneira econômica e eficiente. Quando se trata de algoritmos, ao desenvolver uma rede de energia, por exemplo, é possível utilizar a mesma tecnologia para a criação de um sistema de abastecimento de água. Até mesmo o trânsito pode ser gerenciado a partir dos mesmos algoritmos já que, da mesma forma que a água e a eletricidade, ele só tem valor quando flui de forma eficaz.
Embora pareça muito atraente a possibilidade de tudo tornar-se interconectado, esta abordagem traz uma série de desafios. O modelo de laboratórios de pesquisa aliado ao trabalho de matemáticos e técnicos em TI tem sido importante no progresso científico e no desenvolvimento de tecnologias cada vez mais inovadoras, comprovando que muito mais importante do que o cruzamento de tecnologias e dados será, cada vez mais, promover o cruzamento de mentes.