Volume + Variedade + Veracidade + Velocidade + Valor. Entenda os 5 Vs do Big Data.

Apesar de bastante popular, ainda existem muitas dificuldades em conceituar o Big Data. Para auxiliar na compreensão, você precisa entender seus 5 V's:

Volume

Refere-se à quantidade de dados gerados por segundo. Não estamos falando de Terabytes, e sim de Zettabytes ou Brotonbytes. Estima-se que o volume produzido dobre a cada 18 meses. É impossível armazenar e analisar essa quantidade de dados em uma tecnologia de banco de dados tradicional. 


Variedade

Refere-se à variedade de fontes de onde surge essa imensa quantidade de dados. São estruturados (minoria) e não estruturados (maioria), como e-mails, midias sociais, documentos eletrônicos, apresentações, mensagens instantâneas, video, etc.

Veracidade

Refere-se à importância do filtro. Em meio ao enorme volume e variedade de informações, é preciso destacar o que é rico em conteúdo importante para a empresa. 

Velocidade

Refere-se à velocidade em que os dados são gerados e movimentados. Muitas vezes se faz necessários agir praticamente em tempo real sobre o grande volume de informações gerado por segundo: big data permite essa análise sem necessariamente armazená-las em um banco de dados.

Valor

O último V é o que torna tudo relevante: Refere-se ao fato de que de nada adianta você ter acesso ao Big Data se ele não for passível de análise e de ser aplicado no processo de tomada de decisão da empresa, gerando valor aos resultados.

 

Produzimos um fluxo contínuo de informações que podem e devem ser monitoradas e analisadas. Entender os 5 V's é apenas o passo inicial para compreender os impactos potenciais dessa tecnologia - o que é essencial para organizações que querem se manter competitivas na economia digital. 

Conheça o serviço de Análise de Big Data da e-Setorial clicando aqui
Escrever um comentário (0 Comentários)

5 previsões sobre o novo iPhone

Saberemos exatamente o que experar do próximo iPhone apenas quando a Apple fizer seu anúncio oficial. Mas o Analista de KGI (Key Goal Indicator ou Indicadores Chave de Sucesso) Ming-Chi Kuo, que já acertou no passado, compartilhou em seu blog insights que teve para a nova versão do aparelho.

Aqui estão alguns tópicos sobre o novo iPhone - que provavelmente será chamado IPhone6s ou IPhone 7:

- Kuo acredita que a Apple irá utilizar algumas lições de design do Apple Watch. O alumínio utilizado é 60% mais durável do que o IPhone 6.

- A Apple pode adotar mais opções de cores. Kuo prevê que pode haver uma opção cor-de-rosa metalizado, o que segue uma forte tendência anunciada em uma matéria no The Wall Street Journal, publicada no inicio desse ano. Além disso, a opção atual dourada pode passar por algumas mudanças e ficar um pouco mais amarelada e a cinza, mais escura.

- O próximo iPhone será ligeiramente mais largo e mais alto, cerca de 0,15 milímetros em comparação com o IPhone 6, diz Kuo. Ele também suspeita que o novo aparelho será 0,2 milímetros mais grosso.

- A Apple deverá atualizar sua câmera de 8 para 12 megapixels.

- A maior mudança sera o esperado Force Touch Display, diz Kuo. Essa é a nova tecnologia da Apple, estreada com o Apple Watch. Ao invés de apenas detectar seu toque, o display também captará o quão forte você está pressionando. Podemos esperar novidades interessantes de uso para esse novo aparelho.

A Apple deve lançar seu próximo iPhone em setembro, na mesma época em que deve ser lançado o iOS9. Esses recursos são apenas previsões por enquanto, mas Kuo é conhecido por ser muito preciso em seus palpites. Ele acertou diversos detalhes sobre o iPhone 5, 5s e 5c muito antes de terem sido lançados oficialmente.

Escrever um comentário (0 Comentários)

5 motivos por que amamos Big Data

Hoje é dia dos namorados. Nada mais justo do que escrevermos um texto homenageando nosso maior amor. Aqui vão 5 motivos por que amamos Big Data.

 

1. Alguém acendeu as luzes

Antigamente as pessoas operavam no escuro. O antigo processo de tomada de decisão envolvia muito instinto e intiuição. Agora não é mais assim. Com a análise de Big Data podemos monitorar e prever resultado para praticamente tudo que podemos imaginar. Com o  racicínio baseado em evidências, a lógica é utilizada apenas para apoiar esse processo. É como se antes trabalhassemos no escuro e alguém acendesse a luz.

2. O mundo se tornou mais eficiente

2015 é o ano da "internet das coisas" (IoT), já ouviu falar dela? Para quem não sabe, IoT é um termo utilizado para descrever um sistema de dispositivos conectados que são utilizados para capturar, gravar e transmitir uma grande quantidade de dados que descrevem operações de equipamentos no mundo físico. Diversos são os profissionais envolvidos nesse processo, não apenas os cientistas de dados, mas também engeinheiros, mecânicos designers e vários outros. Como você pode imaginar, a internet das coisas é incrivelmente útil quando estamos tentando alcançar a máxima eficiência nos recursos mecânicos e de operações. O mundo se tornou mais eficiente.

3. Ela nos da poder para manipular resultados

A análise de Big Data é como uma lanterna que ilumina qualquer sistema, processo ou operação de dados. Você quer mais visibilidade online? Tente usar as métricas analíticas para mensurar, monitorar e otimizar sua atividade na midia social. Quer aumentar a conversão para seu e-commerce? Tente monitorar o que seus visitantes estão fazendo quando entram em seu site. Quer aumentar suas vendas? Tente implementar um sistema de recomendação de produtos. Invista na ciência de dados e você poderá alcançar praticamente qualquer resultado que almeja.

4. O Big Data está salvando vidas

Organizações sem fins lucrativos estão usando a análise de Big Data para salvar vidas. Por exemplo:

- Elva’s long-standing community safety network. Esse projeto envolve o mapeamento, análise, modelagem e uma plataforma mobile de comunicação para salvar e proteger vidas dos perigos e incidentes que ocorrem com frequência na região de Shida Kartli, na Geórgia (EUA).

- QCRI’s Artificial Intelligence for Disaster Response (AIDR) program. Um dashboard no Twitter que, a partir da análise dos dados da rede, auxilia os tomadores de decisão em momentos de desastres com insights em tempo real.

5. Auxilia em nosso próprio negócio

Por fim, o Big Data aulixia também nosso próprio negócio. Existimos para ajudar empresas a tomarem decisões inteligentes, mas com o conhecimento de nossos cientistas de dados, somos capazes de ter insights também sobre a e-Setorial. Ajudamos os outros e ajudamos a nós próprios. Como não amar?

Escrever um comentário (0 Comentários)

Chega de mentiras: o Big Data nos fará mais honestos?

Cada vez mais coletamos dados sobre nossos costumes do dia a dia. Isso torna mais difícil para alguém mentir sem ser descoberto. O Big Data e as inovações analíticas são capazes de dizer se você está dizendo ou não a verdade. 

Dados de dispositívos móveis já estão sendo utilizados por empresas de seguros de automóveis, por exemplo, para rastreas hábitos de condução reais de seus clientes e hospitais estão monitorando seus pacientes. Todos os seus hábitos viraram dados, que por sua vez são armazenados e, portanto, podem ser rastreados.

Será o fim da mentira como a conhecemos?

Empresas estão ficando mais inteligentes. Por exemplo, uma companhia de seguros agora pode monitorar o preenchimento de seus formulátios online. Isso pode mostrar-lhes que algumas vezes as informações são re-digitadas. Ao enviar o formulário, o cliente mudou uma informação: ao invés de falar que o carro estava estacionado na estrada, afirmou que estava em uma garagem. Ferramentas de análise de Big Data agora são capazes de sinalizar esse tipo de fraude. 

Em um sério acidente de carro, a polícia pode recolher os telefones das partes envolvidas e checar se alguém estava falando, redigindo mensagem ou usando algum tipo de aplicativo no momento do acidente. Fulano pode até dizer que estava com as mãos no volante e os olhos na estrada, mas os sensores de seu smartphone não o deixa mentir. É apenas uma questão de tempo para  todos começarmos a usar esse tipo de dado, e cada vez menos será importante a utilização de testemunhas.

E não precisa nem ser em escalas tão grandes. Um gerente de RH pode rapidamente verificar o passado e as qualificações dos candidatos a um emprego. Pais podem rastrear seus filhos para saber se foram realmente para escola ou o quão rápido estavam dirigindo. Podem até mesmo receber uma notificação ou um e-mail quando deixam uma área geográfica pré-definida. 

Essa facilidade na manipulação de dados pode ser até mesmo perigosa. As redes sociais estão cheias de mentiras e boatos, que podem se espalhar muito rapidamente. Um exemplo clássico: Quando a agência de notícias Associated Press teve sua conta do Twitter invadida por hackers, que publicaram a notícia de que o presidente Barack Obama havia se ferido a ataques na Casa Branca. A informação se espalhou tão rapidamente a ponto de interferir no mercado financeiro do país. O índiceDow Jones chegou a perder 130 pontos em questão de minutos. Mas logo a mentira foi detectada e tudo voltou ao normal.

É fascinante observar o poder das informações. Muitos desses algorítmos estão disponíveis nas palmas de nossas mãos, mesmo que ainda para fim de entretenimento. Mas as câmeras e sensores processados em nossos smartphones poderão, muito em breve, dedurar mentirosos.

Escrever um comentário (0 Comentários)

O perfil do cientista de dados, de acordo com o LinkedIn

Ferris Jumah, cientista de dados do Linked In, publicou na rede um artigo sobre a dificuldade em descrever as características de sua profissão, mesmo que já existam diversos materiais que oferecem descrições e guias sobre esta carreira. Jumah fez algo diferente: analisou dados retirados da própria plataforma Linked In, a partir do perfil de pessoas que se dominavam “cientistas de dados”. Assim, conseguiu realizar uma abordagem mais assertiva para a definição desse profissional.

Habilidades mais populares entre os cientistas de dados, de acordo com o Linked In

Data Mining

Machine Learning

R

Phyton

Data Analysis

Statistics

SQL

Java

Matlab

Algorithms

Embora essa lista nos mostre quais são as habilidades mais encontradas nos perfis profissionais, fica difícil relacioná-las observando apenas para um ranking. Para facilitar o entendimento, Ferris Jumah foi mais fundo e criou o seguinte gráfico:

(clique aqui para visualizar a imagem em melhor resolução)

Cada nó representa uma habilidade. Com o objetivo de facilitar a visualização e o entendimento dessas informações, elas foram agrupadas por semelhança e representadas por cores. Em seguida, foram dimensionadas em relação a quantas vezes apareceram conectadas e em suas influências em outras habilidades na rede.

Várias são as conclusões podem ser tiradas a partir desse estudo. São algumas delas:

1) Abordam dados com uma mentalidade matemática

Vemos que machine learning, data mining, data analysisstatistics possuem uma classificação alta. Isso indica que ser capaz de entender e representar dados matematicamente, com intuição estatística, é uma habilidade fundamental para os cientistas de dados.

2) Uso de uma linguagem comum para o acesso, exploração e modelagem de dados

Python, R, e Matlab são as três linguagens mais populares para a visualização e modelo de desenvolvimento, e SQL é a mais comum para acesso a dados . Quando se trata de dados, extrair, explorar e testar hipóteses é uma grande parte do trabalho. Não é nenhuma surpresa que estas habilidades estejam em destaque.

3) Fortes desenvolvedores

Vemos também computer science e software engineering como qualificações, juntamente com Java, C ++, Algoritmos e Hadoop - todas tendo espaço notável na visualização de rede . Estas são as habilidades são usadas principalmente para aproveitar os dados para o desenvolvimento de sistemas.

Provavelmente não existe um profissional especialista em todas essas habilidades, mas sim e um ou duas delas. Esta é, portanto, uma visão holística das características representadas dentro de uma equipe típica de cientistas de dados.

E você, chegou a alguma outra conclusão a partir do estudo de Ferris Jumah? Divida com a gente!

Escrever um comentário (0 Comentários)

Pentaho Day 2015: Um evento dedicado à troca de ideias sobre desenvolvimento Open Source e Pentaho. 

 

A Comunidade Pentaho, qual a e-Setorial está inserida, vem se reunindo desde 2008 para trocar experiências, com o intuíto de fortalecer o grupo. Afinal, precisamos realizar um trabalho excelente para que sejamos reconhecidos como fortes e capazes de realizar grandes feitos com desenvolvimento Open Source. E nada como uma boa troca de ideias e conhecimentos para a obtenção de insights.

No último final de semana, nos dias 15 e 16 de maio, estivemos em Curitiba (PR) para participar do Pentaho Day 2015. Profissionais da área da tecnologia vieram de diversas áreas do Brasil e do mundo. Em média 500 participantes fizeram o maior Pentaho Day da história do evento. 

A organização foi algo que chamou atenção logo de início: desde os e-mails com lembretes antes do evento, o credenciamento divido por ordem alfabética, a divisão das atrações por iniciante/avançado, a estrutura dos auditórios e salas de aula da Universidade Positivo.

Leonardo Matt (Assespro-Paraná), Lincoln Paulo Martins Moreira (Sucesu-Pr), Marcio Junior Vieira (Ambiente Livre Tecnologia), Christian Capelini (Universidade Positivo) e Pedro Alves (Pentaho) abriram o evento com uma breve introdução antes de iniciarem as atrações efetivamente. Nomes como Caio Moreno, Marcio Junior Vieira e Marcello Pontes foram responsáveis pela transmissão de conteúdos para os participantes, através de paletras, mini-cursos e apresentações de cases.

Palestrantes_Pentahoday_2015

(palestrantes Pentaho Day 2015)

Temas específicos foram abordados: Pentaho Data Integration, Modelagem de Dados, CGG & Pentaho Reports, Dashboards Ctools, plug-ins, Amazon Redshift, entre outros. Também foram pincelados o funcionamento de tecnologias complementares.

Além disso por diversos momentos o networking foi facilitado, tanto durante os coffees e quanto durante o jantar de confraternização ao final do primeiro dia de evento.

(coffee break)

(jantar pós primeiro dia de evento) 

E pelo visto, não fomos os únicos animados.

A união do grupo é visível. Temos um objetivo em comum: antes de concorrentes, somos responsáveis pelo fortalecimento Comunidade Pentaho e Open Source. Encontros como esse são muito importantes, mais do que apenas transmissão de conhecimento: o networking e a troca de ideias podem ser a porta de entrada para grandes inovações, tanto para empresas quanto para a sociedade.

(foto oficial do evento/fonte: facebook Pentaho Brasil)

Escrever um comentário (0 Comentários)

O que é uma Solução de Apoio à Decisão?

Solução de Apoio à Decisão (SAD) também conhecido Business Intelligence ou Business Analytics, é a especialidade da e-Setorial: transformar dados em informações úteis para auxiliar a tomada de decisões. A partir da integração de dados oriundos de diversas fontes, é possível organizá-los, categorizá-los e filtrá-los em uma única plataforma. Oferecemos ferramentas visuais intuitivas que permitem a análise e compartilhamento das informações com sua equipe, assegurando a confiabilidade da escolha do gestor. 

(modelos de dashboards oferecidos pela e-Setorial)

Confira o Workflow das nossas Soluções de Apoio à Decisão.

 

Não entendeu muito bem? A gente exemplifica. O seguinte caso aconteceu com uma distribuidora de carros da Toyota: 

No final dos anos 90, a empresa enfrentou grandes problemas em sua cadeia de operações. O custo de armazenamento de carros se elevou e ela não estava mais conseguindo fornecer o produto a tempo para seus clientes. Utilizava computadores que geravam uma quantidade enorme de dados e relatórios que não eram utilizados estratégicamente porque nem sempre eram exatos e muitas vezes eram fornecidos tarde demais - o que atrasava a tomada de decisões.

Uma nova CEO foi contratada. Ela identificou algumas soluções: primeiro, a necessidade de um Data Warehouse - um repositório central de dados, organizado e de fácil acesso. Segundo, a necessidade de implementação de ferramentas de software para efetuar a manipulação desses dados. O novo sistema implantado infelizmente não funcionou de maneira correta: a entrada de dados históricos incluiam anos de erros humanos que foram desapercebidos, dados duplicados, inconsistentes e falta de importantes informações. Tudo isso gerou análises e conclusões precipitadas sobre o funcionamento da distribuidora.

Apenas em 1999 a empresa resolveu implantar uma plataforma de Business Intelligence. Em questão de dias o sistema apresentou bons resultados. Por exemplo, descobriram que a empresa era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). Entre 2001 e 2005, o volume de carros negociados aumentou em 40%, o tempo de trânsito foi reduzido em 5%. Esses e vários outros  benefícios ajudaram a Toyota a alcançar as maiores margens de lucro no mercado automotivo desde 2003, e estão aumentando consistentemente a cada ano desde então. Além disso, um estudo realizado pela IDC Inc. em 2011, indicou que a instituição alcançou, naquele ano, um retorno de pelo menos 506% sobre o investimento em BI.

dado-informacao-conhecimento-inteligencia

Esse é apenas um dos inúmeros casos que ilustram a eficiência dessas soluções capazes de integrar e interpretar dados, transformando-os, de alguma forma, em Informação relevante ao seu negócio, possibilitando, com a devida análise, a criação de Conhecimento. Através da utilização e da gestão deste conhecimento nasce a Inteligência. 

Mais de 15 anos passaram desde que a Toyota adotou o BI. Atualmente, geramos mais de 2.5 quintilhões de bytes de dados diariamente, sendo que 90% dos existentes hoje foram criados nos últimos 2 anos. A tendência é que esse número cresça de uma forma cada vez mais rápida. 

E você, o que vai fazer com os seus dados? 

Escrever um comentário (0 Comentários)