Business Intelligence & Business Analytics Tags

Aquecimento

Para iniciar, cabe uma breve explanação sobre os acontecimentos que têm aquecido o mercado e a comunidade de empresas, usuários e desenvolvedores de soluções de apoio a decisão, que evitam desperdiçar verdadeiros latifúndios com licenças de uso de softwares antigos e criam suas próprias soluções, sob medida, e sem vínculos com quem quer que seja. Nem com vendedores de licenças, nem de servidores nem de consultorias, cursos ou treinamentos caríssimos e infinitos.

Muitos projetos ambiciosos da atualidade, em todo o mundo, só são considerados viáveis por conta das facilidades oferecidas pelo produto Pentaho, uma suíte (um conjunto de softwares integrados entre si) de código aberto, gratuito, que contempla todas as etapas de soluções de Business Analytics e/ou Business Intelligence, end to end. O Pentaho tem sido turbinado, digamos assim, pelas CTools, um conjunto de plugins criados por uma empresa portuguesa, a Webdetails. Em 2013 ela foi comprada pela Pentaho, empresa que mantém o produto com o mesmo nome, que conta com uma versão Enterprise, não gratuita e ainda mais completa que a versão gratuita, a Community. Ambas as versões passam a contar com várias das Ctools como parte integrante, juntamente com o Pentaho Marketplace, responsável pela instalação e gerenciamento de plugins.

Em 2015 a empresa Pentaho foi comprada por um dos maiores grupos do mundo, a Hitachi, um líder global em indústrias, infraestrutura e tecnologia, que tem, entre outros, foco no mercado de IoT, internet das coisas. Eles gerenciam entre outros empreendimentos, usinas nucleares, metrôs, ferrovias e têm uma gama de sensores bastante considerável. Todos estes sensores geram dados, que precisam ser analisados em tempo hábil para que façam algum sentido e ajudem na tomada de decisões, aplicáveis em praticamente todas as esferas da sociedade. Aí é que entra a suíte Pentaho.

Pentaho Day 2017 Brasil - Curitiba/PR

E ao falarmos de Pentaho, cabe aqui destacar, ainda com certo delay, que o Pentaho Day 2017 Brasil - Curitiba/PR foi fantástico, como sempre. Foram tantos aprendizados e tantos contatos estabelecidos, que vários projetos desde então foram executados aqui na e-Setorial e nos consumiram, mas não podemos deixar de enaltecer mais essa iniciativa da comunidade Pentaho Brasil, que ajuda profissionais e empresas de ramos de atividade e portes diferentes. A título de exemplo, nossos projetos este ano foram tão variados, que foram desde a análise de dados de Educação à Distância, do Enriquecimento de Dados de Pessoas Físicas e Jurídicas do Brasil, a análise de dados Hospitalares para Planos de Saúde, até um sistema completo para gestão de risco em Usinas Hidrelétricas e Barragens. Todos desenvolvidos utilizando o Pentaho em sua versão gratuita, atingindo excelentes resultados.

O maior evento da comunidade Pentaho do Mundo, contou com mais de 400 participantes e teve Palestras, Cases e Minicursos ministrados por algumas das maiores referências sobre o tema, que aconteceu na Universidade Positivo, em Curitiba/PR, no Brasil, nos dias 11 e 12 de maio.

O destaque principal ficou para apresentação de Matt Casters sobre o seu fantástico Web Spoon, que é o Pentaho Data Integration rodando inteiramente na web, facilitando ainda mais o desenvolvimento e manutenção das soluções.

Muito do material produzido e apresentado no evento está disponível no site do evento, inclusive o minicurso oferecido por Eduardo Carvalho, da e-Setorial, com o título "Design Patterns para Tuning Pentaho com Ctools".

Espaço para Tietagem

Eduardo Alves de Carvalho

Analista Sênior de BI na e-Setorial

"Não são todos os dias que encontramos tantos profissionais que admiramos de uma só vez. Não poderia deixar de registrar a confraternização com o norte americano Matt Casters, à esquerda, criador do Pentaho Data Integration e o português Pedro Alves, ao centro, o Criador das CTools, amigo e meu instrutor por diversas oportunidades, desde 2012. E isso acontecendo em minha cidade natal, Curitiba. Pentaho Day Brasil 2017"

Tietagem também faz parte! Com @pmalves Pedro Alves e @mattcasters #Pentahoday #pentahoday2017 pic.twitter.com/0rYMehVI69

— Eduardo Carvalho (@educarvalho2001) May 12, 2017

Capricho da organização

A organização do evento foi impecável. Deixamos o agradecimento ao amigo Marcio Junior Vieira, da Ambiente Livre, responsável por mais esta edição do evento.

Hitachi Vantara

Em 18 de setembro de 2017 a Hitachi anunciou a formação da Hitachi Vantara, uma empresa cujo objetivo é ajudar as organizações a prosperar nos tempos incertos e turbulentos de hoje e se preparar para o futuro. Esta nova empresa unifica a missão e as operações da Pentaho, Hitachi Data Systems e Hitachi Insight Group em um único negócio, a Hitachi Vantara. Juntas, dão aos líderes empresariais uma vantagem para encontrar e usar o valor em seus dados, inovar inteligentemente e atingir os resultados que são importantes para as empresas e a sociedade.

Apresentando a Vantara: uma combinação de TI, tecnologia operacional (OT) e expertise de domínio. Com o software de integração e análise de dados Pentaho, a Vantara oferece às organizações o poder de capturar e usar dados de forma eficiente a partir da "borda", onde os dados são movidos de forma fluida por sensores e dispositivos fora dos internos do negócio do dia-a-dia e combinam estes dados de sensores com recursos de dados corporativos mais tradicionais para fornecer um alto nível de contexto e previsões inteligentes que levam a resultados comerciais reais.

O que dizem os envolvidos

Donna Prlich

CHIEF PRODUCT OFFICER

A integração e análise de dados Pentaho continuará a evoluir, e a Hitachi Vantara irá investir para se manter à frente dos futuros desenvolvimentos em grandes dados, IoT e aprendizagem de máquinas. Sabemos o que nossos clientes precisam e com o poder e os recursos da Hitachi, podemos levá-los até mais rápido.

Pedro Alves

SVP Community / Product Designer for Pentaho at Hitachi Vantara

Não há planos de mudar a estratégia de código aberto ou parar de fornecer uma edição CE para a nossa comunidade! Essa mudança pode acontecer no futuro? Oh, absolutamente sim! Assim como poderia ter mudado no passado. E quando poderia mudar? Quando ele deixa de fazer sentido; quando deixa de ser mutuamente benéfico. E naquele dia, serei o primeiro a sugerir uma mudança em nosso modelo. Se a opensource nos trouxe aqui em primeiro lugar - mudaremos realmente isso agora que as coisas estão se aquecendo? Nós somos loucos, não estúpidos;)

Em resumo, foi criada uma nova empresa com uma estrutura muito maior, chamada Hitachi Vantara, que continuará a trabalhar com o produto Pentaho nas suas versões Enterprise, paga, e Community, gratuita.

Pentaho 8.0

A comunidade está em polvorosa e no evento mundial da Pentaho, o PentahoWorld 2017, que aconteceu na semana passada, entre 25 e 27 de outubro em Orlando na Florida.

Entre todos os fantásticos cases apresentados, surgiu mais uma novidade bombástica. Foi anunciado a versão 8 do Pentaho, já para o mês que vem.

• Plataforma e Escalabilidade
  • Worker nodes
  • Novo tema
• Data Integration
  • Suporte de streaming!
  • Execute configurações para jobs
  • Filtros no Data Explorer
  • Nova experiência de Abrir / Salvar
• Big Data
  • Melhorias em AEL
  • Formatos de arquivo para Big Data - Avro e Parquet
  • Segurança em Big Data- Suporte para Knox
  • Melhorias de VFS para Clusters de Hadoop
• Outras
  • Ops Mart para Oracle, MySQL, SQL Server
  • Melhorias na segurança da senha da plataforma
  • Mavenization PDI
  • Alterações de documentação em help.pentaho.com
  • Remoção de recursos:
    • Analisador em MongoDB
    • Plug-in móvel (desativado em 7.1)

Conclusão

Com investimentos que só uma grande corporação pode fazer, o produto tem tudo para se disseminar ainda mais e ganhar espaço dos grandes players. A equipe de desenvolvimento não para, ao contrário dos concorrentes que só pensam em vender licenças de uso de suas ferramentas. Cada vez mais o pentaho traz segurança, facilidade em desenvolver e manter e o melhor de tudo, com funcionalidades que surpreende até aos mais exigentes. É verdade que ainda são necessários conhecimentos em Java Script e MDX para a implementação de dashboards mais específicos, entretanto aplicações simples, mas e poderosas, podem ser criadas em minutos, sem escrever uma linha de código. O caminho é este.

E que venha o Pentaho 8.0!

Links Úteis

E para onde foram os fóruns, wikis e comunidades? Abaixo separamos alguns links importantes, que o deixarão com mais segurança: 

Referências

• http://www.pentahobrasil.com.br/eventos/pentahoday2017/
• http://pedroalves-bi.blogspot.com.br/2015/02/big-news-today-hitachi-data-systems-hds.html 
• http://pedroalves-bi.blogspot.com.br/2017/09/hello-hitachi-vantara.html
• https://www.hitachivantara.com/en-us/news-resources/press-releases/2017/gl170919.html
• http://www.pentaho.com/blog/pentaho-becomes-hitachi-vantara
• https://www.pentahoworld.com/agenda
• http://www.pentaho.com/excellence-awards
• http://pedroalves-bi.blogspot.com.br/2017/10/pentaho80.html

As ferramentas de Analytics permitem coletar estatísticas de websites para responder questões fundamentais sobre a sua audiência e os seus interesses. Por exemplo, quem está visitando seu site? De onde eles vieram? O que eles estão fazendo no seu site?

Estas são informações bastante importantes, mas como você configura e utiliza estes dados?

Graças a experiência adquirida ao trabalhar com clientes de diversas indústrias, sabemos que ferramentas de Web Analytics são bastante eficientes para nos ajudar a responder estas questões. Existem algumas dicas que você pode seguir para ajustar de forma precisa o seu Analytics para maximizar (e muito) o valor desta ferramenta.

1. Mantenha seu Analytics limpo

Diversas áreas da sua performance digital podem ficar escondidas em um Analytics bagunçado, então vale a pena mantê-lo limpo. Sempre mantenha pelo menos uma visão limpa de todos os dados do seu website na sua conta do Analytics. Isso significa não ter filtros – só os dados como são coletados originalmente, com toda sua glória inalterada.

Porquê? Por que uma das características dos sistemas de Analytics é o de que, se você fizer uma mudança na visualização de seus dados, toda a mudança será aplicável apenas a partir daquele ponto, o que pode acabar causando perda de dados relevantes, caso você não seja cuidadoso.

2. Trackear e Taggear suas Fontes

As ferramentas de website Analytics automaticamente identificam os tipos diferentes de tráfego e suas fontes, mas o seu funcionamento perfeito depende da informação que a ferramenta consegue buscar das URLs que as pessoas estão utilizando para visualizar o seu site.

Então, munir as URLs do Analytics com mais informação, significa que você conseguirá ter um melhor e mais eficiente tracking. O próprio Google fornece uma ferramenta fácil de construção de URLs que faz com que adicionar informações às URLs seja um processo bem simples. Isto é feito através parâmetros UTM, que incluem informações sobre fontes de tráfego, tipos de campanha, nomes de campanha, etc... É importante ter certeza que a sua agência digital está utilizando URLs bem taggeadas. Mesmo quando utilizar links encurtados (bit.ly, por exemplo) as URLs originais devem incluir estes parâmetros UTM.

3. Definindo os Domínios e Subdomínios

Se o seu site tem múltiplos subdomínios, ativar a opção de mostrar o Domínio Completo na sua conta do Analytics fará a sua vida bem mais simples. O Google Analytics não faz isto de forma padrão, ele trata páginas com o mesmo nome em diferentes subdomínios como a mesma página.

Isto é bastante importante porque ele significaria que duas páginas, “exemplo.com/pagina1” e “subdomínio.com/pagina1” seriam exibidos como “/pagina1”no seu Analytics, dificultando sua análise. Você pode de resolver este ponto de maneira fácil, seguindo este passo-a-passo aqui. 

4. Mantenha tudo junto em um só lugar

Para conseguir os melhores resultados e análises com a informação que você tem sobre o seu site, você vai precisar combinar os dados do Google Analytics com outras fontes. O Google Analytics pode ser integrado facilmente com o Adwords e com o Google Search Console. Ao fazer essa integração, você consegue informações muito mais ricas sobre suas campanhas, atividades de search e performance de search pago.

Você talvez tenha que coordenar as agências com as quais você trabalha para implementar isto pela primeira vez, mas vale dizer que esta é uma atividade que só precisa ser realizada uma vez, e que vai te munir com dados valiosos sobre todas as suas atividades futuras. Você também pode ativar reports demográficos e por interesse no seu Analytics para conseguir mais informações sobre seus visitantes, e sobre quem eles são.

5. Use atalhos espertos

Nunca aconselharíamos cortar partes do trabalho em nenhuma atividade, mas existem alguns atalhos que você pode utilizar em Web Analytics. Uma vez que você identificou quais são os dados mais interessantes para você, é possível criar dashboards e atalhos que te levam diretamente para estes dados, fazendo com que a sua naegação seja mais fácil e rápida.

Dashboards são bons para representações visuais de dados (O Google Analytics tem um dashboard inicial com estatísticas chave do site que podem ser customizadas) mas se você faz download regulares de alguns dados, então recomendamos criar estes atalhos . Você terá que adicionar atalhos ao longo do tempo, mas é uma forma bastante prática de manter as coisas organizadas desde o início.

Estas dicas são algumas das coisas mais simples que encontramos, mas que farão toda a diferença ao utilizar o seu Analytics. Mas existem uma série de outras configurações que podem ser implementadas, melhorando e facilitando a sua vida com o Analytics de sua escolha. Como a maioria dos nossos clientes trabalha com o Google Analytics, focamos nossas recomendações nesta ferramenta, mas elas são facilmente aplicadas à outras ferramentas que você possa utilizar.

*Carol Lara é CSO da Mavens of London na América Latina

"Com 70 curtidas, Kosinski sabe mais sobre um indivíduo do que seus amigos mais próximos. Com a análise de 150 curtidas, descobre mais do que seus familiares."

Donald Trump, quando candidato a presidente, tinha uma estratégia de campanha espantosa para os puristas: quase não gastava com publicidade na televisão e esnobava especialistas em pesquisas de opinião. Ele fazia parecer que suas declarações de impacto eram fruto da sua compreensão profunda do que chama de “cidadãos esquecidos”.

A revista alemã Das Magazin, no entanto, parece ter encontrado a chave do marketing político de Trump: uma empresa britânica chamada Cambridge Analytica, especializada em colher e analisar dados pessoais na internet e em transformá-los em matéria prima para micro-publicidade online — ou seja, propaganda política individualizada. Alguém lembrou da distopia criada por George Orwell no livro 1984? É isso e muito mais.

Tudo começou com um estudante de psicologia polonês da Universidade Cambridge, na Inglaterra. Durante o seu doutorado em psicometria (a tentativa científica de medir a personalidade de uma pessoa), Michal Kosinski criou com um colega um app do Facebook que incentivava os usuários a responder a um questionário psicológico em troca de um “perfil” de personalidade. Milhões de pessoas responderam, e com base nesse material Kosinski desenvolveu um método que permite descobrir características individuais apenas com a análise das curtidas no Facebook. Com 70 curtidas, Kosinski sabe mais sobre um indivíduo do que seus amigos mais próximos. Com a análise de 150 curtidas, descobre mais do que seus familiares.

Em 2014, Aleksandr Kogan, um professor assistente de Cambridge, procurou Kosinski e lhe propôs participação num projeto muito bem pago para analisar o perfil de 10 milhões de americanos no Facebook. A empresa que fazia a oferta era especializada em eleições. Kosinski recusou a oferta e denunciou o colega para a direção da faculdade. Para ele, o uso do seu método em eleições era uma forma de manipulação. Aleksandr se mudou para Singapura. Kosinski foi lecionar na Universidade Stanford, na Califórnia.

Eis que, em novembro de 2015, Kosinski ouve falar de uma empresa que estava prestando serviços de análise de dados para a campanha pela saída da Inglaterra da União Europeia. Tratava-se da mesma empresa que o havia procurado um ano antes: Cambridge Analytica. Como ele temia, seu método estava sendo utilizado para manipular eleitores — e, como ficou claro em junho de 2016 com a vitória do voto pelo Brexit, com sucesso.

Em setembro de 2016, a Cambridge Analytica ganhou novo holofote em um congresso científico em Nova York. Um dos palestrantes, Alexander Nix, CEO da Cambridge Analytica, explicou na ocasião como estava cruzando dados pessoais de cidadãos americanos para usá-los na pré-campanha presidencial de Donald Trump. E fez uma alegação estarrecedora: por meio do cruzamento de dados comprados de diferentes fontes com o histórico de curtidas no Facebook, sua empresa conseguiu elaborar o psicograma completo de cada um dos adultos americanos — nada menos que 220 milhões de pessoas. Sua equipe era capaz de definir os gostos de consumo, as opiniões políticas, os hábitos e os traços culturais de cada cidadão do país com idade para votar.

Um exemplo de como esses dados foram utilizados ao longo da campanha: no dia do terceiro debate presidencial entre Trump e sua adversária Hillary Clinton, a equipe digital do republicano enviou 175.000 variações de anúncios publicitários online, cada um para grupos específicos de cidadãos. As diferenças entre esses anúncios eram sutis, mas desenhadas para atingir em cheio seus alvos, com o objetivo de sensibilizá-los segundo seus maiores medos, esperanças e preferências.

A Cambridge Analytica, segundo disse seu CEO aos autores da reportagem da Das Magazin, recebeu 15 milhões de dólares do comitê de Trump pelo serviço.

Esse uso político dos dados das redes sociais é eticamente condenável ou em nada se diferencia dos dilemas tradicionais do marketing político? Esse é um debate que está só começando.

fonte

Também chamados de Decision Suport System (DSS), os Sistemas de Apoio à Decisão (SAD) se utilizam de uma série de conceitos, técnicas e ferramentas para transformar dados em informações úteis para auxiliar a tomada de decisões. Para a elaboração de um sistema deste tipo, normalmente muitos profissionais são envolvidos, principalmente nas áreas da Tecnologia da Informação e Comunicação (TIC) e de Negócios e, especificamente, nas áreas de Business Intelligence (BI), Business Analytics (BA), Data Mining, Machine Learning, Estatística, Banco de Dados, Infraestrutura de Software, Inteligência Competitiva, Marketing, Engenharia e Gestão do Conhecimento, entre outras. A interação de distintos perfis de profissionais garante, além da performance e segurança, que os pontos importantes para a instituição (Indicadores Chave - KPI) sejam definidos pelas áreas que têm o devido conhecimento, maximizando o sucesso dos projetos.

Cubo Analítico

Com todos os Indicadores Chave (KPI) definidos, todas as regras de negócio documentadas e a origem de todos os dados conhecida, se inicia o desenvolvimento do SAD. A primeira etapa consiste em ler os dados de todas as fontes definidas no projeto, integrando-os em um grande armazém de dados, o Data Warehouse (DW).

A partir daí vem a grande sacada do Business Intelligence: são criados os Cubos Analíticos, também chamados de Cubos Multidimensionais, um para cada fato a ser analisado e sem limite de quantidade de Dimensões.

O exemplo ao lado é uma representação gráfica (gif) de um cubo de Movimentações Financeiras composto por 3 dimensões:

• Tipo de Movimentação Financeira (o que);
• Data (quando) e
• Localidade (onde)

Cada uma das dimensões pode ser utilizada para filtrar os dados e selecionar apenas o período desejado. A porção em vermelho corresponde a seleção feita e no último quadro do gif percebemos o quadrado que indica a intersecção de todos os filtros, ou seja, a resposta desejada.

Filtros aplicados: Tipo de movimentação = Vendas, Data = Ano de 2017, Localidade = Estado de São Paulo.

Painéis Interativos

Agora que o cubo analítico é capaz de dar todas as respostas necessárias ao gestor, a próxima etapa é criar painéis interativos (dashboards) que permitam ao próprio usuário refinar suas consultas, simplesmente selecionando por exemplo o Ano e o Mês, sempre com a possibilidade de filtrar ainda mais os dados, clicando nos gráficos (de barras, pizza, etc.) e obtendo respostas precisas e praticamente automáticas, pois todas as técnicas e ferramentas utilizadas permitem que estes dados sejam pré-computados e de fácil acesso. Tendências e desvios do padrão nos dados da instituiçao são facilmente encontrados, visualmente, de forma clara e intuitiva, conforme alguns exemplos abaixo:

Indicadores

Gráficos Agrupados - Cubo

Educação à Distância

Segurança Pública

Financeiras

e-Commerce

Geeks

Produtividade

Saúde

Gestão em Geral

Telefonia

Vendas por Filial

Música

KPIs

Eleições

Vendas

Marketing

Cruzando Informações - Cubo

Logística

Performance

Caso Toyota

No final dos anos 90, a empresa enfrentou grandes problemas em sua cadeia de operações. O custo de armazenamento de carros se elevou e ela não estava mais conseguindo fornecer o produto a tempo para seus clientes. Utilizava computadores que geravam uma quantidade enorme de dados e relatórios que não eram utilizados estrategicamente porque nem sempre eram exatos e muitas vezes eram fornecidos tarde demais - o que atrasava a tomada de decisões.

Uma nova CEO foi contratada. Ela identificou algumas soluções: primeiro, a necessidade de um Data Warehouse - um repositório central de dados, organizado e de fácil acesso. Segundo, a necessidade de implementação de ferramentas de software para efetuar a manipulação desses dados. O novo sistema implantado infelizmente não funcionou de maneira correta: a entrada de dados históricos incluiam anos de erros humanos que não foram detectados, dados duplicados, inconsistentes e falta de importantes informações. Tudo isso gerou análises e conclusões precipitadas sobre o funcionamento da distribuidora.

Apenas em 1999 a empresa resolveu implantar uma plataforma de Business Intelligence. Em questão de dias o sistema apresentou bons resultados. Por exemplo, descobriram que a empresa era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). Entre 2001 e 2005, o volume de carros negociados aumentou em 40%, o tempo de trânsito foi reduzido em 5%. Esses e vários outros  benefícios ajudaram a Toyota a alcançar as maiores margens de lucro no mercado automotivo desde 2003, e estão aumentando consistentemente a cada ano desde então. Além disso, um estudo realizado pela IDC Inc. em 2011, indicou que a instituição alcançou, naquele ano, um retorno de pelo menos 506% sobre o investimento em BI. Fonte

Esse é apenas um dos inúmeros casos que ilustram a eficiência dessas soluções capazes de integrar e interpretar Dados, transformando-os, de alguma forma, em Informação relevante ao seu negócio, possibilitando, com a devida análise, a criação de Conhecimento. Através da utilização e da gestão deste conhecimento nasce a Inteligência.

Conclusão

Mais de 15 anos passaram desde que a Toyota adotou o BI. Atualmente, gera-se mais de 2.5 quintilhões de bytes de dados diariamente no mundo, sendo que 90% dos existentes hoje foram criados nos últimos 2 anos. A tendência é que esse número cresça de uma forma cada vez mais rápida. 

Uma Solução de Apoio à Decisão não precisa custar milhões de dólares nem exigir a venda casada de equipamentos, treinamentos, consultorias e serviços. Pelo contrário, com software livre e com o respaldo de uma consultoria especializada pode-se atingir resultados excelentes e sustentáveis utilizando o equipamento já existente, com qualquer sistema operacional do mercado, podendo ser acessado desde celulares e computadores até mesmo em grandes painéis televisores. Isto tudo com toda a segurança e liberdade de quem tem todo o código fonte em seu poder.

E você, o que vai fazer com os seus dados?

Em busca da informação gerencial estratégica, reunimos as técnicas mais modernas de software, processos e pessoas especializadas para conceber soluções completas de acordo com a sua necessidade. O objetivo é fazer você concentrar seus esforços naquilo que importa: o seu produto ou serviço!

A e-Setorial disponibiliza uma completa gama de serviços voltados para:

• Soluções de Apoio à Decisão - Business Intelligence-BI;
• Migração de Dados;
• Administração de Dados;
• Enriquecimento de Dados;
• Treinamentos.