Hot Migration - Migração de Dados com Pentaho Data Integration

Pentaho na capa da SQL Magazine 106!

Boa tarde pessoal.

Como senti dificuldade em encontrar literatura com técnicas e boas práticas de Migrações de Dados, escrevi um (humilde) artigo sobre isso, onde apresento os passos de uma migração de dados do SQLServer para o MySQL, executada em um clique, com o sistema destino no ar (Hot Migration).

São técnicas simples, mas funcionais, que permitem total rastreabilidade dos dados e a conferência dos resultados.

O artigo foi publicado (está na capa) da revista SQL Magazine 106 e já está nas bancas! Foram disponibilizados para download os scripts de criação e inclusão dos dados e também dos arquivos do PDI.

Este artigo foi o primeiro de uma série de três, que utilizarão os mesmos dados. No segundo artigo teremos a modelagem e publicação de um cubo e no terceiro um Dash com c*Tools. Talvez seja interessante um quarto artigo apresentando uma proposta de topologia de rede para contemplar a solução em produção.

SQL Magazine 106 - Dezembro de 2012 - Hot Migration
Capa da SQL Magazine 106 - Migração de Dados com Pentaho Data Integration
Página 20 - Migração de Dados com Pentaho Data Integration
Eduardo Alves de Carvalho

Um abraço,

Eduardo Alves de Carvalho.

e-Setorial Consultorias

Escrever um comentário (0 Comentários)

Business Intelligence e sua Realidade no Brasil

Business Intelligence é um termo que, só de se pronunciar, já gera um certo "burburinho".

É um termo forte mas, o seu Conceito é bem simples e, podemos definir como o processo que irá coletar, extrair, organizar, controlar e compartilhar informações que suportem a tomada de decisão. Aproveito também para mencionar que Informação Transacional não é Informação gerencial! Estas informações se completam. Quando utilizamos as informações transacionais para se tomar uma Decisão, neste momento, estamos transformando a Inteligência de Negócio em Burrice de Negócio, portanto, decida, apenas, baseado em informações gerenciais. No mundo inteiro este conceito é bem implementado, porém no Brasil ainda temos muitos problemas, referentes a projetos de Business Intelligence mal sucessidos. Porque que isto acontece? Aonde está o problema? Profissionais e consultorias mal qualificadas? Executivos e gestores que ainda não sabem como o Business Intelligence pode ser útil a sua companhia? Baixo investimento para ferramentas de suporte a decisão? Pois bem, acredito que seja um mixto de tudo isto e mais outros problemas que, tentarei resumir neste artigo.

Atualmente, no Brasil, mais e mais companhias tendem a implementar o Business Intelligence visando, é claro, o aumento de seus resultados, a redução de seus custos e a otimização do processo decisório que, muitas vezes, é arcaico e baseado em informações transacionais,  mas acredito que a maioria dos tomadores de decisão ainda não possuem maturidade suficiente sobre um projeto de Business Intelligence. Um projeto de BI não se resume apenas a um Dashboard. O projeto de BI deve ser implementado desde o transacional, passando pelos extratores (ETL), Qualidade de dados, Datawaresouse, Data Mart, para, então, chegarmos ao Dashboard. O que acontece, atualmente, é que a maioria das companhias deixam de implementar algumas destas etapas, com isso impactam diretamente no ciclo decisório e, consequentemente, a probabilidade deste projeto fracassar, aumentará. Sim, aumentará! Portanto, tenham atenção no momento de definir como será a implementação de seu BI, conversem com a consultoria parceira ou contrate, pontualmente, um profissional de Business Intelligence para especificar e desenhar o processo que deverá ser implementado.  O Business Intelligence é estratégico para toda e quaisquer Companhias! Invista na qualidade e no sucesso! Não dê margem para falhas! Não entregue algo de baixa qualidade!

O Mercado de Business Intelligence precisa amadurecer muito, apesar de parecer que somos um país totalmente aculturado no BI, ainda não somos. Ouço muitas reclamações de projetos mal implementados, porque a consultoria "vendeu" uma solução que não atendia as necessidades do Cliente ou o Cliente que não investiu corretamente, para não "gastar muito". 

Portanto, para minimizar os riscos de falha em seu projeto de BI, não esqueça de:

1 - Definir e desenhar todo o processo de Business Intelligence

2 - Projeto de BI não é somente um Dashboard, lembre-se que você precisará mapear o transacional, extrair as informações necessárias, modelar Data marts e, possivelmente, Datawarehouses.

3 - Trabalhe em parceria com a consultoria de Business Intelligence.

Lembre-se que a economia a curto prazo, torna-se custo a longo prazo!

BusinessIntelligenceBrasil.com

Escrever um comentário (0 Comentários)

O Garimpo da Informação (datamining)

O trabalho dos especialistas que analisam a avalanche de dados gerados pelas empresas atrai o interesse de companhias como a IBM e a EMC, para transformá-los em negócios.

Nos dias atuais, em plena era da informação, os computadores permitem às corporações, universidades e aos governos gerar e armazenar uma quantidade inimaginável de dados. Trata-se, sem dúvida, de uma conquista formidável, mas é preciso dizer também que isso trouxe um problema. O mundo está imerso em um volume tão grande de números, textos, relatórios, fotos e vídeos que é cada vez mais difícil extrair algum tipo de informação útil desse oceano digital. É nesse contexto de excesso de informação que surge um novo tipo de profissional no mercado de tecnologia. Trata-se do cientista de dados. Sua função é, em meio a essa montanha de dados, garimpar aqueles que podem ser úteis para gerar receita. A tendência começou nos Estados Unidos, onde empresas como Google, Facebook e PayPal publicaram anúncios como vagas para cientistas de dados

datamining

Mário Faria, da Boavista: "É preciso colocar inteligência nas informações para que tenham valor".

A novidade não tardou a chegar ao Brasil. No fim do ano passado, a Boavista Serviços Financeiros decidiu contratar um profissional para cuidar das suas informações. O escolhido foi Mário Faria, ex-diretor da IBM, que hoje possui até mesmo o cargo de Chief Data Officer, ou executivo-chefe de dados da Boavista. No cargo, ele se ocupa do fluxo de informações como um todo. “Sou responsável pela coleta e por garantir a qualidade dos dados”, afirma Faria. “É preciso colocar alguma inteligência nas informações para que elas tenham valor.” O trabalho de Faria não é simples. Ele estima, por exemplo, que tenha de lidar diariamente com dez mil fontes distintas de dados. Uma de suas funções mais complexas, no entanto, é integrar áreas distintas da empresa, como marketing e operações, de forma que as informações produzidas em cada uma delas possam ser utilizadas em conjunto

Isso significa organizar o trabalho de 130 pessoas. “Muitas dessas áreas ficavam dispersas na companhia”, afirma o executivo. Apesar das dificuldades, os resultados já aparecem. Por meio do cruzamento de diferentes bases de dados, ele criou produtos para a Boavista, como um serviço antifraude que evita golpes com CPFs de pessoas falecidas, algo muito comum no varejo. Diante dessa nova realidade, o que é preciso para ser um cientista de dados? Segundo o brasileiro Pedro Desouza, que exerce essa função na empresa de tecnologia EMC, nos EUA, é primordial ser um especialista em matemática e estatística. “Ser PhD ou ter doutorado em ciências da computação ou engenharia é um requisito básico”, afirma. 

Escrever um comentário (0 Comentários)

Uma das maiores apostas da IBM em 100 anos: ela vai dizer tudo o que você compra

Novos sistemas da companhia, lançados globalmente hoje, ajudarão as empresas a gerar informação qualificadas

IBM quer deixar os bancos de dados mais úteis para as empresas (foto: shutterstock)

Um consumidor norte-americano reclamou com a empresa Catalina Marketing por receber uma ação promocional com cupons de descontos para produtos infantis. Por que ele receberia esse tipo de promoção se ele não tinha filhos pequenos, apenas uma filha adolescente? Para a sua surpresa, a empresa não estava errada. A sua filha estava grávida e ele ainda não sabia. A companhia de marketing "descobriu" a gravidez da garota antes de seu próprio pai, simplesmente porque ela havia comprado um produto para bebê dias antes em um supermercado.  

Situações como essas devem ficar cada vez mais comuns quando as empresas passarem a investir mais em análises avançadas de bancos de dados. Com o intuito de gerar esse tipo de informação qualificada, a IBM anuncia globalmente nesta terça-feira (09/10), o lançamento de três sistemas de big data (análise de grandes dados), o PureData System for Transactions, o PureData System for Analytics e o PureData System for Operational Analytics.

Os lançamentos fazem parte da família PureSystems, maior investimento do ano da companhia e um dos maiores em 100 anos de história. A IBM investiu US$ 2 bilhões em pesquisa e desenvolvimento para colocar todos os sistemas no mercado mundial. Além desses três sistemas, foram lançados, em abril, o PureFlex (combina computação, armazenamento, virtualização e gerenciamento em um único sistema de infraestrutura) e o PureApplication (soluções para computação em nuvem). A família PureSystem ainda contará com mais sistemas, mas a companhia não especificou quantos

Conheça os sistemas

O PureData System for Transactions será útil para e-commerce e análises de informações em tempo real. “Se um consumidor estiver na boca do caixa, a empresa consegue saber na hora se ele é usuário de lente de contato e oferecer uma promoção”, afirmou Marcos Panichi, executivo de Information Management da IBM Brasil, em entrevista exclusiva à NEGÓCIOS. “A empresa não poderia oferecer esse cupom se ela não tivesse essa análise de dados rápida”, completou.

Escrever um comentário (0 Comentários)

Walmart aumenta vendas com busca semântica

Gigante do varejo registrou crescimento de 10% a 15% no número de clientes que completaram uma compra online depois de procurarem um produto

A Walmart  trabalha com um novo motor de busca baseado na tecnologia de busca semântica. Segundo a gigante do varejo americano, essa nova busca não ajuda os usuários a encontrarem os artigos desejados no seu site, como também proporciona resultados com base em prováveis interesses e intenções.

Como muitas empresas com plataforma online a Walmart a busca como um elemento fundamental para estimular as vendas online. A eBay, por exemplo, anunciou uma atualização da sua ferramenta de buscas para Novembro. A tecnologia foi denominada como Cassini, e deverá substituir a tecnologia Voyager usada desde o início de 2000.

Desenvolvida em 10 meses por uma pequena equipa do @WalmartLabs, centro de tecnologia e investigação do retalhista, a nova ferramenta de busca chama-se Polaris. Baseia-se no projeto Social Genome do laboratório que utiliza dados públicos na Internet, dados proprietários, e mídias sociais, para identificar entidades e relacionamentos interessantes – e adicioná-los para a Social Genome.

O centro foi criado após a aquisição da Kosmix, de Mountain View, Califórnia. A Kosmix desenvolveu uma plataforma de tecnologia de mídia social capaz de filtrar e organizar o conteúdo em redes sociais de uma forma relevante para os usuários.

O motor de busca usa algoritmos como a compreensão de consulta e a extração de sinônimos para descobrir intenções do utilizador na obtenção de resultados. Como resultado, se um usuário digita a palavra “denim”, ele disponibiliza resultados para “jeans”, enquanto “pastilhas de cloro” resultados relacionados com equipamento de piscinasegundo os exemplos fornecidos pela empresa.

Quando um usuário digita a palavra “mobiliário”, ele recebe uma página com múltiplas opções para o quintal. Juntamente parece um banner mostrando artigos à venda e em promoção, para ajudar os clientes a descobrirem artigos que não tenham considerado.

O site da Walmart onde a nova busca esteve em uso nos últimos meses registou uma aumento de 10% a 15 % no número de clientes que completam uma compra depois de procurar por um produto usando o Polaris – de acordo com a empresa. A varejista planeja lançar a tecnologia, que também pode ser usada para pesquisas em mobilidade, nos seus site internacionais de comércio eletrônico nos próximos meses.

Desde 2008,  o grupo Walmart tem uma loja virtual no Brasil. E desde 2009, a rede tem investido muito nas redes sociais  _ Orkut e Twitter, inicialmente, e desde 2011, no Facebook _  e no próprio blog.

idgnow.uol.com.br

Escrever um comentário (0 Comentários)

Empresas estão acumulando grandes volumes de dados sem transformá-los em receita, aponta relatório

Estudo indica que as empresas podem estar perdendo, em média, 14% do aumento do faturamento ao ano por não tirarem o máximo proveito das informações de negócios

A Oracle divulgou os resultados do seu relatório "From Overload to Impact: An Industry Scorecard on Big Data Business Challenges", que entrevistou 333 executivos de alto nível de empresas americanas e canadenses de 11 setores, para identificar os pontos relevantes em relação ao gerenciamento do enorme volume de dados das organizações e como estão usando essas informações para impulsionar os lucros e o crescimento.

Principais descobertas

O enorme fluxo de dados está aqui: 94% dos executivos de alto nível afirmam que suas organizações coletam e administram um volume maior de informações se comparado com o período de dois anos atrás, com um aumento médio de 86%. Os entrevistados identificam que as áreas de informações sobre os clientes (48%), operações (34%), vendas e marketing (33%) geram o maior volume de dados com crescimento exponencial.

Espaço para aperfeiçoamento: os executivos destacam que não estão preparados para lidar com esse crescente volume de dados. Entre eles, 29% classificaram a própria empresa com "D" ou "F" em termos de capacidade de gerenciar o enorme fluxo de dados, enquanto 93% acreditam que estão perdendo oportunidades de receitarepresentando, em média, 14% do faturamento –, porque não conseguem tirar o máximo proveito das informações coletadas. Na média, as organizações do setor privado, com faturamento de US$ 1 bilhão ou mais, dizem que perdem aproximadamente 13% da receita anual por não otimizar o uso dessas informações. Ou seja, empresas com faturamento de US$ 1 bilhão perdem US$ 130 milhões ao ano. Somente 8% dos executivos classificaram que a sua própria empresa com a nota "A" em relação ao uso adequado e ágil dos dados.

Os gestores não têm ou não conseguem obter as informações necessárias em tempo hábil: os entrevistados afirmam que se sentem frustrados em relação aos sistemas de coleta e distribuição de dados das suas empresas. Com mais exatidão, 38% apontam que não possuem os sistemas adequados para reunir as informações necessárias; 36% não podem conceder a seus gerentes de negócios acesso a informações pertinentes e acabam dependendo das equipes de TI para compilar e analisar as informações. Já 29% identificam que utilizam sistemas que não foram desenvolvidos para atender às necessidades específicas do setor em que atuam.

Escrever um comentário (0 Comentários)