Atualizações sobre o mundo Pentaho

Aquecimento

Para iniciar, cabe uma breve explanação sobre os acontecimentos que têm aquecido o mercado e a comunidade de empresas, usuários e desenvolvedores de soluções de apoio a decisão, que evitam desperdiçar verdadeiros latifúndios com licenças de uso de softwares antigos e criam suas próprias soluções, sob medida, e sem vínculos com quem quer que seja. Nem com vendedores de licenças, nem de servidores nem de consultorias, cursos ou treinamentos caríssimos e infinitos.

Muitos projetos ambiciosos da atualidade, em todo o mundo, só são considerados viáveis por conta das facilidades oferecidas pelo produto Pentaho, uma suíte (um conjunto de softwares integrados entre si) de código aberto, gratuito, que contempla todas as etapas de soluções de Business Analytics e/ou Business Intelligence, end to end. O Pentaho tem sido turbinado, digamos assim, pelas CTools, um conjunto de plugins criados por uma empresa portuguesa, a Webdetails. Em 2013 ela foi comprada pela Pentaho, empresa que mantém o produto com o mesmo nome, que conta com uma versão Enterprise, não gratuita e ainda mais completa que a versão gratuita, a Community. Ambas as versões passam a contar com várias das Ctools como parte integrante, juntamente com o Pentaho Marketplace, responsável pela instalação e gerenciamento de plugins.

Em 2015 a empresa Pentaho foi comprada por um dos maiores grupos do mundo, a Hitachi, um líder global em indústrias, infraestrutura e tecnologia, que tem, entre outros, foco no mercado de IoT, internet das coisas. Eles gerenciam entre outros empreendimentos, usinas nucleares, metrôs, ferrovias e têm uma gama de sensores bastante considerável. Todos estes sensores geram dados, que precisam ser analisados em tempo hábil para que façam algum sentido e ajudem na tomada de decisões, aplicáveis em praticamente todas as esferas da sociedade. Aí é que entra a suíte Pentaho.

Pentaho Day 2017 Brasil - Curitiba/PR

Pentaho Day 2017 - BrasilE ao falarmos de Pentaho, cabe aqui destacar, ainda com certo delay, que o Pentaho Day 2017 Brasil - Curitiba/PR foi fantástico, como sempre. Foram tantos aprendizados e tantos contatos estabelecidos, que vários projetos desde então foram executados aqui na e-Setorial e nos consumiram, mas não podemos deixar de enaltecer mais essa iniciativa da comunidade Pentaho Brasil, que ajuda profissionais e empresas de ramos de atividade e portes diferentes. A título de exemplo, nossos projetos este ano foram tão variados, que foram desde a análise de dados de Educação à Distância, do Enriquecimento de Dados de Pessoas Físicas e Jurídicas do Brasil, a análise de dados Hospitalares para Planos de Saúde, até um sistema completo para gestão de risco em Usinas Hidrelétricas e Barragens. Todos desenvolvidos utilizando o Pentaho em sua versão gratuita, atingindo excelentes resultados.

O maior evento da comunidade Pentaho do Mundo, contou com mais de 400 participantes e teve Palestras, Cases e Minicursos ministrados por algumas das maiores referências sobre o tema, que aconteceu na Universidade Positivo, em Curitiba/PR, no Brasil, nos dias 11 e 12 de maio.

O destaque principal ficou para apresentação de Matt Casters sobre o seu fantástico Web Spoon, que é o Pentaho Data Integration rodando inteiramente na web, facilitando ainda mais o desenvolvimento e manutenção das soluções.

Muito do material produzido e apresentado no evento está disponível no site do evento, inclusive o minicurso oferecido por Eduardo Carvalho, da e-Setorial, com o título "Design Patterns para Tuning Pentaho com Ctools".

Espaço para Tietagem

Eduardo Alves de Carvalho

Analista Sênior de BI na e-Setorial

"Não são todos os dias que encontramos tantos profissionais que admiramos de uma só vez. Não poderia deixar de registrar a confraternização com o norte americano Matt Casters, à esquerda, criador do Pentaho Data Integration e o português Pedro Alves, ao centro, o Criador das CTools, amigo e meu instrutor por diversas oportunidades, desde 2012. E isso acontecendo em minha cidade natal, Curitiba. Pentaho Day Brasil 2017"


Capricho da organização

A organização do evento foi impecável. Deixamos o agradecimento ao amigo Marcio Junior Vieira, da Ambiente Livre, responsável por mais esta edição do evento.

Hitachi Vantara

Hitachi VantaraEm 18 de setembro de 2017 a Hitachi anunciou a formação da Hitachi Vantara, uma empresa cujo objetivo é ajudar as organizações a prosperar nos tempos incertos e turbulentos de hoje e se preparar para o futuro. Esta nova empresa unifica a missão e as operações da Pentaho, Hitachi Data Systems e Hitachi Insight Group em um único negócio, a Hitachi Vantara. Juntas, dão aos líderes empresariais uma vantagem para encontrar e usar o valor em seus dados, inovar inteligentemente e atingir os resultados que são importantes para as empresas e a sociedade.

Apresentando a Vantara: uma combinação de TI, tecnologia operacional (OT) e expertise de domínio. Com o software de integração e análise de dados Pentaho, a Vantara oferece às organizações o poder de capturar e usar dados de forma eficiente a partir da "borda", onde os dados são movidos de forma fluida por sensores e dispositivos fora dos internos do negócio do dia-a-dia e combinam estes dados de sensores com recursos de dados corporativos mais tradicionais para fornecer um alto nível de contexto e previsões inteligentes que levam a resultados comerciais reais.

O que dizem os envolvidos

Donna Prlich

CHIEF PRODUCT OFFICER

A integração e análise de dados Pentaho continuará a evoluir, e a Hitachi Vantara irá investir para se manter à frente dos futuros desenvolvimentos em grandes dados, IoT e aprendizagem de máquinas. Sabemos o que nossos clientes precisam e com o poder e os recursos da Hitachi, podemos levá-los até mais rápido.

Pedro Alves

SVP Community / Product Designer for Pentaho at Hitachi Vantara

Não há planos de mudar a estratégia de código aberto ou parar de fornecer uma edição CE para a nossa comunidade! Essa mudança pode acontecer no futuro? Oh, absolutamente sim! Assim como poderia ter mudado no passado. E quando poderia mudar? Quando ele deixa de fazer sentido; quando deixa de ser mutuamente benéfico. E naquele dia, serei o primeiro a sugerir uma mudança em nosso modelo. Se a opensource nos trouxe aqui em primeiro lugar - mudaremos realmente isso agora que as coisas estão se aquecendo? Nós somos loucos, não estúpidos;)

Em resumo, foi criada uma nova empresa com uma estrutura muito maior, chamada Hitachi Vantara, que continuará a trabalhar com o produto Pentaho nas suas versões Enterprise, paga, e Community, gratuita.

Pentaho 8.0

Hitachi VantaraA comunidade está em polvorosa e no evento mundial da Pentaho, o PentahoWorld 2017, que aconteceu na semana passada, entre 25 e 27 de outubro em Orlando na Florida.

Entre todos os fantásticos cases apresentados, surgiu mais uma novidade bombástica. Foi anunciado a versão 8 do Pentaho, já para o mês que vem.

  • Plataforma e Escalabilidade
    • Worker nodes
    • Novo tema
  • Data Integration
    • Suporte de streaming!
    • Execute configurações para jobs
    • Filtros no Data Explorer
    • Nova experiência de Abrir / Salvar
  • Big Data Vendemos Inteligência Empresarial
    • Melhorias em AEL
    • Formatos de arquivo para Big Data - Avro e Parquet
    • Segurança em Big Data- Suporte para Knox
    • Melhorias de VFS para Clusters de Hadoop
  • Outras
    • Ops Mart para Oracle, MySQL, SQL Server
    • Melhorias na segurança da senha da plataforma
    • Mavenization PDI
    • Alterações de documentação em help.pentaho.com
    • Remoção de recursos:
      • Analisador em MongoDB
      • Plug-in móvel (desativado em 7.1)

Conclusão

Hitachi Vantara Com investimentos que só uma grande corporação pode fazer, o produto tem tudo para se disseminar ainda mais e ganhar espaço dos grandes players. A equipe de desenvolvimento não para, ao contrário dos concorrentes que só pensam em vender licenças de uso de suas ferramentas. Cada vez mais o pentaho traz segurança, facilidade em desenvolver e manter e o melhor de tudo, com funcionalidades que surpreende até aos mais exigentes. É verdade que ainda são necessários conhecimentos em Java Script e MDX para a implementação de dashboards mais específicos, entretanto aplicações simples, mas e poderosas, podem ser criadas em minutos, sem escrever uma linha de código. O caminho é este.

E que venha o Pentaho 8.0!

Links Úteis

E para onde foram os fóruns, wikis e comunidades? Abaixo separamos alguns links importantes, que o deixarão com mais segurança: 

# Dicas
1 Ctools
2 CCC Playground - Documentação dos gráficos Ctools
3 Alguns dashboards de demonstração
4 Pentaho Community website
5 Grupo de usuários Brasil
6 Forum mundial da comunidade
7 Blog Pedro Alves
8 Desenvolvimento, treinamento e consultoria especializada em Pentaho

Referências

Clientes

A e-Setorial já prestou, ao longo de seus 20 anos de existência, inúmeros serviços a empresas e/ou instituições nas áreas de educação, educação à distância, varejo, tecnologia da informação, entre diversas outras.

Como usar Data Science para revelar perfis comportamentais?

Em junho deste ano, a empresa Tail Target, em parceria com grupos de usuário, fez um estudo sobre o perfil do desenvolvedor Java no Brasil. Para isso, divulgou entre os desenvolvedores um link que deveria ser clicado por quem quisesse participar da pesquisa.

Este link não continha uma pergunta sequer nem levava para nenhum questionário. Imediatamente, choveram e-mails avisando que o link divulgado estava errado. Não estava. Em menos de uma semana estava pronto um estudo completo que mostrava os interesses, demografia e estilo de vida dos desenvolvedores. Mágica? Não, Data Science.

Data Science é um novo campo que alia Big Data, processamento estatístico e inteligência artificial para encontrar informações e detectar padrões. É cada vez mais comum encontrar grandes empresas cuja tomada de decisão está baseada em Data Science.

Para outras, Data Science é fundamental para a própria existência do seu negócio. No Netflix, 75% da audiência vem do seu algoritmo de recomendação, que é um ótimo exemplo de Data Science aplicada. A plataforma de relacionamentos e-Harmony usa Data Science para encontrar o par ideal para uma pessoa e já é responsável por 5% dos casamentos nos EUA.

O estudo sobre o perfil do desenvolvedor Java analisou dados de navegação anônimos de centenas de pessoas que visitaram um dos sites sobre desenvolvimento Java que estavam sendo monitorados. Fazendo uma análise sobre que outros sites estas pessoas visitavam, algoritmos de inteligência artificial detectaram padrões que permitiram traçar um perfil comportamental dessas pessoas.

Segundo esse estudo, 88% dos desenvolvedores Java brasileiros são homens e apenas 12% são mulheres. Os adultos representam a maioria desses desenvolvedores (44%), seguidos de jovens adultos (30%) e adolescentes (25%). Finanças, tecnologia, futebol, viagens e TV, nessa ordem, são os assuntos que mais interessam os desenvolvedores.

A surpresa nesse estudo veio ao medir os microssegmentos que mais interessavam aos desenvolvedores homens e mulheres. Entre os homens, os principais microssegmentos são TV Aberta, novelas, carros de alta renda, séries de TV e viagens internacionais. Já as mulheres preferem ler sobre TV Aberta, TV a cabo, cabelo e maquiagem. Ou seja, os desenvolvedores homens são noveleiros. As desenvolvedoras não.

Os algoritmos aplicados não coletam informações demográficas nem qualquer informação fornecida pelos usuários. O que eles fazem é processar registros de acesso a milhares de sites e executar uma série de algoritmos de inteligência artificial que tentam adivinhar as informações demográficas e os interesses baseado no comportamento online dessas pessoas.

Obviamente existe uma margem de erro nesses algoritmos, mas eles têm se tornado cada vez mais precisos. Depois da publicação deste estudo, um pesquisador da Universidade de Kent enviou os dados de uma pesquisa similar feita em 2003. Esse estudo usou métodos tradicionais: entrevistas e questionários para encontrar a demografia do desenvolvedor Java. O estudo de 2003 identificou que 88% dos desenvolvedores eram homens. Esse é exatamente o mesmo número encontrado pelos algoritmos que fizeram o mesmo levantamento usando dados comportamentais.

*Fabiane Nardon é PhD em Engenharia Eletrônica pela Escola Politécnica da USP, Mestre em Ciência da Computação pela Universidade Federal do Rio Grande do Sul e Bacharel em Ciência da Computação pela Universidade de Passo Fundo. Desde 2012, é a Cientista Chefe da Tail Target.

fonte

Enriquecimento de Dados

O serviço de enriquecimento e atualização de dados permite adicionar ou atualizar informações existentes ou complementares na sua base de clientes, tornando seus registros mais completos e atualizados. Desta forma, otimizando os resultados e possibilitando ações de marketing segmentadas.

Com informações mais ricas, será possível analisar o comportamento de seus potenciais clientes, seus hábitos de consumo, estilo de vida, poder de compra, dentre diversos outros atributos.

Os dados também poderão ser enriquecidos através de rotinas periódicas, possibilitando a existência de dados sempre atualizados.

Como funciona

ED
  1. Base de dados: recebimento da base de dados desatualizada.
  2. Higienização: os dados duplicados, corrompidos e incompletos são retirados.
  3. Captação e enriquecimento de diversas fontes: os dados desatualizados ou incorretos são corrigidos e as informações em branco são preenchidas - como, por exemplo, a inclusão do 9º dígito de celulares.
  4. Atualização dos dados: a base de dados é atualizada ou reconstruída.
  5. Base dados atualizada!

Vantagens

  • Confiabilidade na origem da informação.
  • Melhoria da qualidade da base de dados.
  • Rotinas de cruzamento de bases.
  • Direcionamento na prospecção de clientes.
  • Informações para inteligência de mercado.
  • Maior assertividade na oferta de produtos e serviços.
  • Maior objetividade nos processos de gestão na entrada em novos mercados.
  • Diminuição nos registros de inadimplência.
  • Maior sucesso na execução das políticas de crédito e cobrança.
  • Redução de gastos com correspondências e com telemarketing.

Atributos

Através do processo de enriquecimento de dados, atualizamos atributos diretamente em seu banco de dados, tais como:

Pessoa Jurídica Pessoa Física
  • CNPJ;
  • Razão social;
  • Inscrição estadual;
  • CNAE;
  • Natureza jurídica;
  • Porte empresarial;
  • Nome fantasia;
  • Data de abertura;
  • Matriz/filial;
  • Endereço;
  • Telefones;
  • E-mails;
  • Quantidade de funcionários;
  • Restrição financeira;
  • Quadro societário;
  • Principal executivo.
  • CPF;
  • Nome;
  • Nome da mãe;
  • Data de nascimento;
  • Gênero;
  • Estado civil;
  • Profissão;
  • Grau de escolaridade;
  • Telefones;
  • E-mail;
  • Situação do CPF.

Não posso fazer tijolos sem barro

Sherlock Holmes

"Dados! Dados!", gritou impaciente.
"Eu não posso fazer tijolos sem barro."
As Faias Cor de Cobre





E você? Como tomas suas decisões?
Tem o apoio de informações precisas sobre o seu negócio?

conheça nossos serviços





O estudo psicológico que deu a vitória a Trump

Donald Trump e o livro 1984, de George Orwell (Divulgação/Reuters)

"Com 70 curtidas, Kosinski sabe mais sobre um indivíduo do que seus amigos mais próximos. Com a análise de 150 curtidas, descobre mais do que seus familiares."

A campanha do bilionário analisou o comportamento de cada cidadão no Facebook para fazer propaganda política individualizada. E a privacidade, como fica?

Donald Trump, quando candidato a presidente, tinha uma estratégia de campanha espantosa para os puristas: quase não gastava com publicidade na televisão e esnobava especialistas em pesquisas de opinião. Ele fazia parecer que suas declarações de impacto eram fruto da sua compreensão profunda do que chama de “cidadãos esquecidos”.

A revista alemã Das Magazin, no entanto, parece ter encontrado a chave do marketing político de Trump: uma empresa britânica chamada Cambridge Analytica, especializada em colher e analisar dados pessoais na internet e em transformá-los em matéria prima para micro-publicidade online — ou seja, propaganda política individualizada. Alguém lembrou da distopia criada por George Orwell no livro 1984? É isso e muito mais.

Tudo começou com um estudante de psicologia polonês da Universidade Cambridge, na Inglaterra. Durante o seu doutorado em psicometria (a tentativa científica de medir a personalidade de uma pessoa), Michal Kosinski criou com um colega um app do Facebook que incentivava os usuários a responder a um questionário psicológico em troca de um “perfil” de personalidade. Milhões de pessoas responderam, e com base nesse material Kosinski desenvolveu um método que permite descobrir características individuais apenas com a análise das curtidas no Facebook. Com 70 curtidas, Kosinski sabe mais sobre um indivíduo do que seus amigos mais próximos. Com a análise de 150 curtidas, descobre mais do que seus familiares.

Em 2014, Aleksandr Kogan, um professor assistente de Cambridge, procurou Kosinski e lhe propôs participação num projeto muito bem pago para analisar o perfil de 10 milhões de americanos no Facebook. A empresa que fazia a oferta era especializada em eleições. Kosinski recusou a oferta e denunciou o colega para a direção da faculdade. Para ele, o uso do seu método em eleições era uma forma de manipulação. Aleksandr se mudou para Singapura. Kosinski foi lecionar na Universidade Stanford, na Califórnia.

Eis que, em novembro de 2015, Kosinski ouve falar de uma empresa que estava prestando serviços de análise de dados para a campanha pela saída da Inglaterra da União Europeia. Tratava-se da mesma empresa que o havia procurado um ano antes: Cambridge Analytica. Como ele temia, seu método estava sendo utilizado para manipular eleitores — e, como ficou claro em junho de 2016 com a vitória do voto pelo Brexit, com sucesso.

Em setembro de 2016, a Cambridge Analytica ganhou novo holofote em um congresso científico em Nova York. Um dos palestrantes, Alexander Nix, CEO da Cambridge Analytica, explicou na ocasião como estava cruzando dados pessoais de cidadãos americanos para usá-los na pré-campanha presidencial de Donald Trump. E fez uma alegação estarrecedora: por meio do cruzamento de dados comprados de diferentes fontes com o histórico de curtidas no Facebook, sua empresa conseguiu elaborar o psicograma completo de cada um dos adultos americanos — nada menos que 220 milhões de pessoas. Sua equipe era capaz de definir os gostos de consumo, as opiniões políticas, os hábitos e os traços culturais de cada cidadão do país com idade para votar.

Um exemplo de como esses dados foram utilizados ao longo da campanha: no dia do terceiro debate presidencial entre Trump e sua adversária Hillary Clinton, a equipe digital do republicano enviou 175.000 variações de anúncios publicitários online, cada um para grupos específicos de cidadãos. As diferenças entre esses anúncios eram sutis, mas desenhadas para atingir em cheio seus alvos, com o objetivo de sensibilizá-los segundo seus maiores medos, esperanças e preferências.

A Cambridge Analytica, segundo disse seu CEO aos autores da reportagem da Das Magazin, recebeu 15 milhões de dólares do comitê de Trump pelo serviço.

Esse uso político dos dados das redes sociais é eticamente condenável ou em nada se diferencia dos dilemas tradicionais do marketing político? Esse é um debate que está só começando.

fonte

Pentaho Day 2015: Um evento dedicado à troca de ideias sobre desenvolvimento Open Source e Pentaho. 

 

A Comunidade Pentaho, qual a e-Setorial está inserida, vem se reunindo desde 2008 para trocar experiências, com o intuíto de fortalecer o grupo. Afinal, precisamos realizar um trabalho excelente para que sejamos reconhecidos como fortes e capazes de realizar grandes feitos com desenvolvimento Open Source. E nada como uma boa troca de ideias e conhecimentos para a obtenção de insights.

No último final de semana, nos dias 15 e 16 de maio, estivemos em Curitiba (PR) para participar do Pentaho Day 2015. Profissionais da área da tecnologia vieram de diversas áreas do Brasil e do mundo. Em média 500 participantes fizeram o maior Pentaho Day da história do evento. 

A organização foi algo que chamou atenção logo de início: desde os e-mails com lembretes antes do evento, o credenciamento divido por ordem alfabética, a divisão das atrações por iniciante/avançado, a estrutura dos auditórios e salas de aula da Universidade Positivo.

Leonardo Matt (Assespro-Paraná), Lincoln Paulo Martins Moreira (Sucesu-Pr), Marcio Junior Vieira (Ambiente Livre Tecnologia), Christian Capelini (Universidade Positivo) e Pedro Alves (Pentaho) abriram o evento com uma breve introdução antes de iniciarem as atrações efetivamente. Nomes como Caio Moreno, Marcio Junior Vieira e Marcello Pontes foram responsáveis pela transmissão de conteúdos para os participantes, através de paletras, mini-cursos e apresentações de cases.

Palestrantes_Pentahoday_2015

(palestrantes Pentaho Day 2015)

Temas específicos foram abordados: Pentaho Data Integration, Modelagem de Dados, CGG & Pentaho Reports, Dashboards Ctools, plug-ins, Amazon Redshift, entre outros. Também foram pincelados o funcionamento de tecnologias complementares.

Além disso por diversos momentos o networking foi facilitado, tanto durante os coffees e quanto durante o jantar de confraternização ao final do primeiro dia de evento.

(coffee break)

(jantar pós primeiro dia de evento) 

E pelo visto, não fomos os únicos animados.

A união do grupo é visível. Temos um objetivo em comum: antes de concorrentes, somos responsáveis pelo fortalecimento Comunidade Pentaho e Open Source. Encontros como esse são muito importantes, mais do que apenas transmissão de conhecimento: o networking e a troca de ideias podem ser a porta de entrada para grandes inovações, tanto para empresas quanto para a sociedade.

(foto oficial do evento/fonte: facebook Pentaho Brasil)

Serviços

Em busca da informação gerencial estratégica, reunimos as técnicas mais modernas de software, processos e pessoas especializadas para conceber soluções completas de acordo com a sua necessidade. O objetivo é fazer você concentrar seus esforços naquilo que importa: o seu produto ou serviço!

A e-Setorial disponibiliza uma completa gama de serviços voltados para:

Soluções de Apoio à Decisão

A especialidade da e-Setorial é transformar dados em informações úteis para auxiliar a tomada de decisões, utilizando software livre para criar soluções de alto desempenho e tecnologia de ponta, sem custos de licença.

Estudamos e mapeamos todos os processos envolvidos, entregando soluções completas de acordo com a sua necessidade. Inclusive os requisitos de segurança e registro dos sistemas de gestão ISO 9001, 14001 e 18001.

A partir da integração de dados oriundos de diversas fontes, é possível organizá-los, categorizá-los e filtrá-los em uma única plataforma, assegurando a confiabilidade da decisão tomada.

Workflow SAD

  1. Fontes: extração de dados de qualquer origem.
  2. Coletor: responsável pela coleta dos dados.
  3. Transformação: limpa, desnormaliza e pré-calcula os dados antes de serem carregados ao data warehouse. Assim, as análises são otimizadas - possuindo dados mais fáceis, limpos e consistentes.
  4. Data Warehouse: bancos de dados analíticos.
  5. Cache em memória: as métricas mais utilizadas são lidas e calculadas com antecedência a fim de assegurar uma performance otimizada.
  6. Camada de metadados: capacidade de alteração nas nomenclaturas dos dados, de forma a facilitar a compreensão da equipe tomadora de decisões.
  7. Visualização: depois de processados, os dados estão prontos para serem consumidos. Oferecemos ferramentas visuais intuitivas que permitem a análise e compartilhamento das informações com sua equipe em toda a rede.
  8. Insights inteligentes para melhorar seus resultados.

Vantagens

  • Painéis interativos, com informações concisas.
  • Confiabilidade nas informações.
  • Percepções oportunas, precisas, valiosas e práticas.
  • Integração de dados de diversas fontes em um único armazém de dados.
  • Todos os dados são atualizados diariamente.
  • Agilidade no processo de tomada de decisões.
  • Simplificação de processos e redução de custos.
  • Entenda quem são seus melhores clientes, funcionários e produtos.
  • Informação detalhada e de fácil acesso.
  • Possibilidade de integração com softwares pré-existentes.

Painéis Interativos

Alguns exemplos de dashboards e consultas analíticas.