Business Intelligence & Business Analytics Tags

Atualizações sobre o mundo Pentaho

Aquecimento

Para iniciar, cabe uma breve explanação sobre os acontecimentos que têm aquecido o mercado e a comunidade de empresas, usuários e desenvolvedores de soluções de apoio a decisão, que evitam desperdiçar verdadeiros latifúndios com licenças de uso de softwares antigos e criam suas próprias soluções, sob medida, e sem vínculos com quem quer que seja. Nem com vendedores de licenças, nem de servidores nem de consultorias, cursos ou treinamentos caríssimos e infinitos.

Muitos projetos ambiciosos da atualidade, em todo o mundo, só são considerados viáveis por conta das facilidades oferecidas pelo produto Pentaho, uma suíte (um conjunto de softwares integrados entre si) de código aberto, gratuito, que contempla todas as etapas de soluções de Business Analytics e/ou Business Intelligence, end to end. O Pentaho tem sido turbinado, digamos assim, pelas CTools, um conjunto de plugins criados por uma empresa portuguesa, a Webdetails. Em 2013 ela foi comprada pela Pentaho, empresa que mantém o produto com o mesmo nome, que conta com uma versão Enterprise, não gratuita e ainda mais completa que a versão gratuita, a Community. Ambas as versões passam a contar com várias das Ctools como parte integrante, juntamente com o Pentaho Marketplace, responsável pela instalação e gerenciamento de plugins.

Em 2015 a empresa Pentaho foi comprada por um dos maiores grupos do mundo, a Hitachi, um líder global em indústrias, infraestrutura e tecnologia, que tem, entre outros, foco no mercado de IoT, internet das coisas. Eles gerenciam entre outros empreendimentos, usinas nucleares, metrôs, ferrovias e têm uma gama de sensores bastante considerável. Todos estes sensores geram dados, que precisam ser analisados em tempo hábil para que façam algum sentido e ajudem na tomada de decisões, aplicáveis em praticamente todas as esferas da sociedade. Aí é que entra a suíte Pentaho.

Pentaho Day 2017 Brasil - Curitiba/PR

Pentaho Day 2017 - BrasilE ao falarmos de Pentaho, cabe aqui destacar, ainda com certo delay, que o Pentaho Day 2017 Brasil - Curitiba/PR foi fantástico, como sempre. Foram tantos aprendizados e tantos contatos estabelecidos, que vários projetos desde então foram executados aqui na e-Setorial e nos consumiram, mas não podemos deixar de enaltecer mais essa iniciativa da comunidade Pentaho Brasil, que ajuda profissionais e empresas de ramos de atividade e portes diferentes. A título de exemplo, nossos projetos este ano foram tão variados, que foram desde a análise de dados de Educação à Distância, do Enriquecimento de Dados de Pessoas Físicas e Jurídicas do Brasil, a análise de dados Hospitalares para Planos de Saúde, até um sistema completo para gestão de risco em Usinas Hidrelétricas e Barragens. Todos desenvolvidos utilizando o Pentaho em sua versão gratuita, atingindo excelentes resultados.

O maior evento da comunidade Pentaho do Mundo, contou com mais de 400 participantes e teve Palestras, Cases e Minicursos ministrados por algumas das maiores referências sobre o tema, que aconteceu na Universidade Positivo, em Curitiba/PR, no Brasil, nos dias 11 e 12 de maio.

O destaque principal ficou para apresentação de Matt Casters sobre o seu fantástico Web Spoon, que é o Pentaho Data Integration rodando inteiramente na web, facilitando ainda mais o desenvolvimento e manutenção das soluções.

Muito do material produzido e apresentado no evento está disponível no site do evento, inclusive o minicurso oferecido por Eduardo Carvalho, da e-Setorial, com o título "Design Patterns para Tuning Pentaho com Ctools".

Espaço para Tietagem

Eduardo Alves de Carvalho

Analista Sênior de BI na e-Setorial

"Não são todos os dias que encontramos tantos profissionais que admiramos de uma só vez. Não poderia deixar de registrar a confraternização com o norte americano Matt Casters, à esquerda, criador do Pentaho Data Integration e o português Pedro Alves, ao centro, o Criador das CTools, amigo e meu instrutor por diversas oportunidades, desde 2012. E isso acontecendo em minha cidade natal, Curitiba. Pentaho Day Brasil 2017"


Capricho da organização

A organização do evento foi impecável. Deixamos o agradecimento ao amigo Marcio Junior Vieira, da Ambiente Livre, responsável por mais esta edição do evento.

Hitachi Vantara

Hitachi VantaraEm 18 de setembro de 2017 a Hitachi anunciou a formação da Hitachi Vantara, uma empresa cujo objetivo é ajudar as organizações a prosperar nos tempos incertos e turbulentos de hoje e se preparar para o futuro. Esta nova empresa unifica a missão e as operações da Pentaho, Hitachi Data Systems e Hitachi Insight Group em um único negócio, a Hitachi Vantara. Juntas, dão aos líderes empresariais uma vantagem para encontrar e usar o valor em seus dados, inovar inteligentemente e atingir os resultados que são importantes para as empresas e a sociedade.

Apresentando a Vantara: uma combinação de TI, tecnologia operacional (OT) e expertise de domínio. Com o software de integração e análise de dados Pentaho, a Vantara oferece às organizações o poder de capturar e usar dados de forma eficiente a partir da "borda", onde os dados são movidos de forma fluida por sensores e dispositivos fora dos internos do negócio do dia-a-dia e combinam estes dados de sensores com recursos de dados corporativos mais tradicionais para fornecer um alto nível de contexto e previsões inteligentes que levam a resultados comerciais reais.

O que dizem os envolvidos

Donna Prlich

CHIEF PRODUCT OFFICER

A integração e análise de dados Pentaho continuará a evoluir, e a Hitachi Vantara irá investir para se manter à frente dos futuros desenvolvimentos em grandes dados, IoT e aprendizagem de máquinas. Sabemos o que nossos clientes precisam e com o poder e os recursos da Hitachi, podemos levá-los até mais rápido.

Pedro Alves

SVP Community / Product Designer for Pentaho at Hitachi Vantara

Não há planos de mudar a estratégia de código aberto ou parar de fornecer uma edição CE para a nossa comunidade! Essa mudança pode acontecer no futuro? Oh, absolutamente sim! Assim como poderia ter mudado no passado. E quando poderia mudar? Quando ele deixa de fazer sentido; quando deixa de ser mutuamente benéfico. E naquele dia, serei o primeiro a sugerir uma mudança em nosso modelo. Se a opensource nos trouxe aqui em primeiro lugar - mudaremos realmente isso agora que as coisas estão se aquecendo? Nós somos loucos, não estúpidos;)

Em resumo, foi criada uma nova empresa com uma estrutura muito maior, chamada Hitachi Vantara, que continuará a trabalhar com o produto Pentaho nas suas versões Enterprise, paga, e Community, gratuita.

Pentaho 8.0

Hitachi VantaraA comunidade está em polvorosa e no evento mundial da Pentaho, o PentahoWorld 2017, que aconteceu na semana passada, entre 25 e 27 de outubro em Orlando na Florida.

Entre todos os fantásticos cases apresentados, surgiu mais uma novidade bombástica. Foi anunciado a versão 8 do Pentaho, já para o mês que vem.

  • Plataforma e Escalabilidade
    • Worker nodes
    • Novo tema
  • Data Integration
    • Suporte de streaming!
    • Execute configurações para jobs
    • Filtros no Data Explorer
    • Nova experiência de Abrir / Salvar
  • Big Data Vendemos Inteligência Empresarial
    • Melhorias em AEL
    • Formatos de arquivo para Big Data - Avro e Parquet
    • Segurança em Big Data- Suporte para Knox
    • Melhorias de VFS para Clusters de Hadoop
  • Outras
    • Ops Mart para Oracle, MySQL, SQL Server
    • Melhorias na segurança da senha da plataforma
    • Mavenization PDI
    • Alterações de documentação em help.pentaho.com
    • Remoção de recursos:
      • Analisador em MongoDB
      • Plug-in móvel (desativado em 7.1)

Conclusão

Hitachi Vantara Com investimentos que só uma grande corporação pode fazer, o produto tem tudo para se disseminar ainda mais e ganhar espaço dos grandes players. A equipe de desenvolvimento não para, ao contrário dos concorrentes que só pensam em vender licenças de uso de suas ferramentas. Cada vez mais o pentaho traz segurança, facilidade em desenvolver e manter e o melhor de tudo, com funcionalidades que surpreende até aos mais exigentes. É verdade que ainda são necessários conhecimentos em Java Script e MDX para a implementação de dashboards mais específicos, entretanto aplicações simples, mas e poderosas, podem ser criadas em minutos, sem escrever uma linha de código. O caminho é este.

E que venha o Pentaho 8.0!

Links Úteis

E para onde foram os fóruns, wikis e comunidades? Abaixo separamos alguns links importantes, que o deixarão com mais segurança: 

# Dicas
1 Ctools
2 CCC Playground - Documentação dos gráficos Ctools
3 Alguns dashboards de demonstração
4 Pentaho Community website
5 Grupo de usuários Brasil
6 Forum mundial da comunidade
7 Blog Pedro Alves
8 Desenvolvimento, treinamento e consultoria especializada em Pentaho

Referências

Benefícios da modelagem de dados

Modelagem de Dados

Gostamos de resumir as vantagens da modelagem de dados em uma frase simples: você não pode gerenciar o que não pode ver.

Os dados são um dos ativos corporativos mais importantes. Claro, isso só é verdade se esses dados puderem ser encontrados, rastreados, compreendidos e alavancados adequadamente. A modelagem de dados é fundamental porque permite que as organizações visualizem essas funções e executem o projeto, desenvolvimento e implementação de ativos de dados de alta qualidade. Mas, muitas vezes, esse valor é minimizado por empresas que o percebem como "apenas" documentação ou um gargalo caro para "o trabalho real." Fazer isso é ignorar os muitos benefícios tangíveis da modelagem de dados que afetam as operações diárias e as estratégias de longo prazo.
Modelagem de dados: os dados são um dos ativos corporativos mais importantes.

Principais vantagens da modelagem de dados empresariais

Gostamos de resumir as vantagens da modelagem de dados em uma frase simples: você não pode gerenciar o que não pode ver. Em outras palavras, você precisa saber quais dados você tem, as regras que os regem e como eles se relacionam com todo o resto para ver o valor desses dados. Isso significa que a modelagem de dados é absolutamente necessária como um precursor para o gerenciamento de metadados, governança de dados e inteligência de dados.

Com uma visão integrada dos modelos de dados conceituais, lógicos e físicos, você está um passo mais perto de garantir que as informações certas sejam usadas, compreendidas e confiáveis em toda a sua empresa. Essa compreensão e confiança em seus dados desbloqueia uma série de benefícios tangíveis e mensuráveis, incluindo:

Compreensão de negócios através da descoberta, padronização e documentação de fontes de dados

Os modelos de dados corporativos fornecem uma compreensão detalhada de como um negócio opera e os dados que impulsionam essas operações. Esses modelos fornecem a visão e o insight necessários para realizar otimizações ou mudanças em larga escala padronizando e documentando os dados subjacentes. No nível da empresa, é quase impossível otimizar uma função ou processo de negócios específico sem um modelo de base que retrate ativos de dados relevantes e suas inter-relações.

Conformidade regulamentar mais rigorosa e eficaz – para agora e depois

Regulamentos como GDPR e CCPA não vão a lugar nenhum. Na verdade, eles são muito mais propensos a expandir à medida que avançamos. Isso significa que sua organização precisa aderir a eles agora, mantendo também a flexibilidade para apoiar futuras expansões. Os modelos de dados suportam essa flexibilidade ao governar equipes de modelagem de dados, processos, portfólios e ciclos de vida útil.

Caminhos mais rápidos para a transferência de conhecimento e o autoatendimento dos funcionários

A modelagem de dados atua como um tipo de documentação tanto para as equipes de TI quanto para as partes interessadas do negócio. Quando diferentes funções estão falando no mesmo idioma e compartilhando o mesmo entendimento, torna-se muito mais fácil simplificar a colaboração e aperfeiçoar o alinhamento nas principais funções do negócio. Por sua vez, essa simplicidade e alinhamento desbloqueiam o autoatendimento dos funcionários, dando-lhes a confiança de que precisam para usar os ativos de dados ao máximo.
Melhor business intelligence através da capacidade de dados, instrução e responsabilização

Quando todos em uma empresa podem ver o panorama geral elaborado por modelos de dados, torna-se muito mais fácil identificar as principais oportunidades, desafios e potenciais pontos fracos para o negócio. Os modelos de dados tornam isso possível através da introdução de uma abordagem coesa para a capacidade de dados e instrução. Se todos os funcionários forem capazes de usar e entender a entrada de dados de maneira alinhada, todos sentirão um senso compartilhado de responsabilidade quando se trata de maximizar a qualidade e o impacto desses dados.

Integrações coerentes dos sistemas de informação existentes

À medida que as empresas crescem, esse crescimento é muitas vezes acompanhado por uma rede de fontes de dados e sistemas díspares que não se comunicam entre si. A modelagem de dados pode revelar as relações entre essas fontes para eliminar redundâncias, resolver discrepâncias e ajudar os sistemas isolados a se falarem. Isso significa que você pode projetar, padronizar e implementar fontes de dados de alta qualidade que abrangem esses sistemas, enquanto também compara visualmente, analisa e sincroniza modelos de dados com ativos de dados implementados.

Design avançado de banco de dados para oferecer melhor suporte para o desenvolvimento de aplicações

A modelagem de dados permite que as organizações expliquem detalhes e requisitos específicos para a rede geral de bancos de dados conectados assim como para o design de bancos de dados individuais. Com uma visão geral clara, é muito mais fácil identificar quaisquer lacunas ou oportunidades antes que blueprints entrem em desenvolvimento. Quando seus bancos de dados são otimizados, os aplicações empresariais essenciais que dependem deles também são aprimorados.

 

Contato

 

https://www.erwin.com/br-pt/solutions/data-modeling/benefits-of-data-modeling.aspx

Com IA generativa AWS, Busca Inteligente da Natura atende 1 milhão de consultoras

Case de Sucesso

A Natura acaba de colocar em operação sua Busca Inteligente, serviço de busca baseada na IA AWS que auxilia mais de 1 milhão de consultoras, que hoje realizam cerca de 400 buscas por minuto diariamente.

205 mil

54 mil

99%

Consultas

Mais

buscas com produtos adicionados pelo novo sistema buscas com retorno que não seriam atendidas pelo sistema anterior de buscas com produtos relacionados, adicionados ao retorno concluídas em menos de 50 milissegundos de 1 milhão de consultoras atendidas

Overview

A Natura é uma das líderes do setor de beleza e cosméticos na América Latina, com uma presença significativa e impactante na região. Com marcas renomadas como Natura e Avon, o grupo abrange uma ampla gama de produtos e serviços, que vão desde cuidados com a pele e cabelos até fragrâncias e maquiagem. Hoje, a Natura conta com 14,5 mil colaboradores distribuídos em 18 países, além de cinco fábricas e 19 centros de distribuição.

Essa estrutura atende a mais de 900 lojas próprias e franquias e às cerca de 3,5 milhões de consultoras de beleza e representantes das marcas, sendo mais de 1,6 milhão delas no Brasil. Além da estrutura física, as consultoras também contam com um sistema de busca de produtos, que a companhia acaba de modernizar com o uso de inteligência artificial (IA) generativa baseada na AWS.1186690677

O sênior cloud engineer da Natura, Eli Melo, explica que o sistema de busca anterior só permitia a busca de termos exatos, o que muitas vezes podia desestimular uma compra. “A pessoa digitava um termo e se ele não tivesse uma correspondência exata entre os produtos, não havia retorno. O usuário ficava sem resposta e não comprava”, explica, citando o exemplo do perfume Kaiak, que o sistema não encontrava se a consultora pesquisasse por “caiaque”.

Além disso, o buscador tinha uma limitação para o número de caracteres por nome de produto, o que também prejudicava a pesquisa, já que muitos cadastros eram feitos com abreviações. Para atender às expectativas das consultoras, a Natura decidiu que era hora de modernizar o sistema utilizando tecnologias mais sofisticadas e eficientes que tornassem a busca mais inteligente.

“Começamos a pensar no uso de algoritmos e de IA para a realização da busca. Durante o período de estudos, entramos em contato com a AWS, que nos proporcionou uma imersão no uso de serviços baseados em IA”, conta. De acordo com Melo, um dos produtos que se materializou como solução foi justamente o Amazon OpenSearch Service, que já traz embutidos algoritmos que permitem buscas por contexto e por fonética, além do texto.

Eli Melo - Sênior cloud engineer da Natura

"Durante o período de estudos, entramos em contato com a AWS, que nos proporcionou uma imersão no uso de serviços baseados em IA”"

Solução | Construindo uma solução inteligente

O executivo explica que, para que a busca se realizasse como deveria, havia a necessidade de aplicar algoritmos de IA sobre a base de dados dos produtos. Desta forma, a solução foi encontrada em algoritmos já existentes, como busca fonética, busca vetorial e geração de tags por meio de Modelos de Linguagem (LLM), possibilitando uma busca que poderia ser considerada inteligente.

Daí a decisão de desenvolver uma solução de busca interna, baseada em serviços AWS como o Amazon OpenSearch, que oferece flexibilidade no armazenamento dos dados cadastrais dos produtos e possibilita a aplicação de uma variedade de algoritmos de Machine Learning (ML), permitindo a obtenção de buscas fonéticas, vetoriais e outras; o Amazon Bedrock, que permite o pagamento por demanda, eliminando a preocupação com instanciar e com a manutenção da infraestrutura. “Com o Bedrock, além de acessarmos uma variedade de LLMs disponíveis, também podemos aproveitar as integrações nativas com outros serviços da AWS, que torna a solução mais simples de ser operada”, explica Melo, lembrando que os modelos LLM também permitiram a adição de termos (na forma de tags), relacionando os produtos cadastrados com termos contextualmente pertencentes.

A solução também utilizou o AWS Lambda, que com sua abordagem serverless permite a execução de códigos sem a necessidade de gerenciar servidores, com escalabilidade automática e pagamento apenas pelo tempo de execução. Melo ressalta que este conjunto forma uma infraestrutura mais flexível, desenhada da seguinte forma:

Esta arquitetura traz um fluxo que começa com a entrada do cliente para a API de busca, realizando uma consulta semântica no cluster do Amazon OpenSearch, enquanto também alimenta um pipeline com dados sobre o comportamento do usuário (produtos mais buscados, buscas sem retorno etc.). Enquanto isso, na inserção de novos produtos, a IA generativa compõe o pipeline para enriquecer os metadados do produto, para auxiliar no momento da busca:

“Fomos trabalhando estas ideias em um caminho de estudos, tentativas, erros. Um ponto legal é que na AWS temos facilidade de subir coisas, testar, validar etc. Um teste simples não leva meses. Esta celeridade nos ajudou a mostrar valor rapidamente”, afirma. O executivo explica que, desta forma, um primeiro ambiente não produtivo foi desenvolvido, mostrando que as questões relativas ao sistema anterior foram resolvidas. Assim, o sistema de busca foi sendo aprimorado até ser colocado em ambiente produtivo, inicialmente com 5% da equipe de vendas, com foco na realização de testes e coleta de métricas. Da idealização até esta primeira versão, todo o desenvolvimento foi realizado em um mês.

O sênior cloud platform engineer & DevOps da Natura para a América Latina, Marcelo Fabricanti, lembra que esta primeira versão foi entregue completamente funcional, permitindo aprimoramentos como a inclusão de novas métricas. “Hoje mapeamos o que as pessoas pesquisam e estamos indo para uma terceira fase: se o resultado da pesquisa foi para o carrinho e em que página estava o resultado da pesquisa. Estamos trabalhando na relevância. É um processo de longo prazo”, diz.

Próximos passos | Aprimorando resultados e vendas

Fabricanti destaca que desde a implementação da Busca Inteligente foi constatado um aumento não apenas nos resultados obtidos, mas também em sua precisão. Hoje a solução está disponível para 100% das mais de um milhão de consultoras da Natura no Brasil, responsáveis por realizar cerca de 400 buscas por minuto diariamente.

Em relação ao sistema anterior, a Natura registrou ganhos como 205 mil buscas com produtos adicionados pelo novo sistema; 54 mil buscas com retorno que não seriam atendidas pelo sistema anterior; e 99% de buscas com produtos relacionados, adicionados ao retorno. “Podemos concluir que o novo mecanismo de busca não só inclui produtos, como também gera retornos que, em muitos casos, com o sistema antigo nenhum produto seria retornado. Isso resulta em um aumento significativo na probabilidade de o usuário adicionar produtos ao carrinho, o que consequentemente aumenta a possibilidade de conversão”, afirma.

Fabricanti destaca ainda que, ao analisar o desempenho da Busca Inteligente, seu time constatou que, em média, as consultas são concluídas em menos de 50 milissegundos, o que indica não apenas melhorias funcionais, mas também um ganho de performance em comparação ao sistema anterior. “A ideia para o futuro é utilizarmos o novo mecanismo em todos os nossos canais: apps, consumidores finais etc. Hoje estamos em uma das aplicações, mas há outros canais que ainda podem receber esta busca renovada. A ideia é expandirmos para todos os canais”, conclui.

Sobre a Natura

A Natura é uma das líderes do setor de beleza e cosméticos na América Latina. Com marcas como Natura e Avon, o grupo conta com cerca de 16 mil colaboradores distribuídos em 18 países, além de cinco fábricas e 19 centros de distribuição.

Serviços AWS utilizados

Amazon OpenSearch Service

Amazon Bedrock 

AWS Lambda

O Amazon OpenSearch Service facilita a execução de análises de log interativas, o monitoramento de aplicações em tempo real, pesquisas de sites e muito mais.

O Amazon Bedrock é um serviço totalmente gerenciado que oferece várias opções de modelos de base (FMs) de alta performance das principais empresas de IA, como AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI e Amazon, por meio de uma única API, além de um amplo conjunto de recursos necessários para criar aplicações de IA generativa com segurança, privacidade e IA responsável.  

O AWS Lambda é um serviço de computação que executa seu código em resposta a eventos e gerencia automaticamente os recursos de computação, tornando-se a maneira mais rápida de transformar uma ideia em aplicações de produção modernas e com tecnologia sem servidor.

 

 

Contato

 

https://aws.amazon.com/pt/solutions/case-studies/natura-case-study/

Digital Analytics: desmistificando o fabuloso mundo das métricas digitais

Web Analytics, Digital Marketing Analytics, Online Analytics, Business Intelligence, Big Data, Google Analytics… São tantos nomes e misturebas desenfreadas que é difícil entender de fato o que faz, ou não, parte do universo das métricas digitais.

Pra tirar essa bagunça da frente e ajudar a simplificar o conceito, principalmente mostrar que vai muito além de ferramentas, adaptei esse artigo no qual compartilho os seguintes assuntos com você:

  1. Digital Analytics em 140 caracteres
  2. Digital Analytics é o mesmo que usar o Google Analytics?
  3. Digital Analytics é o mesmo que Web Analytics?
  4. E Business Intelligence / BI, é Digital Analytics?
  5. Posso chamar só de Analytics?
  6. Direto ao ponto: o que é Digital Analytics?
  7. Aplicações de Digital Analytics
  8. Bônus: como começar
  9. Referências

1. Digital Analytics em 140 caracteres

"Utilização de dados para a otimização recorrente da experiência online dos seus usuários."

Experiência online pode ser vender, utilizar um app, postar em uma rede social, clicar em um anúncio etc.

Usuário pode ser um cliente, um funcionário, um parceiro etc.

De fato, Digital Analytics não é nem de perto um bicho de sete cabeças.

2. Então é o mesmo que usar o Google Analytics?

Não. Usar o Google Analytics para a tomada de decisão de melhorias no seu site faz parte do escopo de Digital Analytics, mas é apenas uma das possíveis aplicações desse universo todo potentoso.

  • Analytics Maturity Model publicado na Twinkle Magazine

Explicando visualmente:

Este é um modelo criado por um profissional de renome no mercado, o Stéphane Hamel, que foi diretor em uma das consultorias mais prestigiadas do segmento, a Cardinal Path.

O Online Analytics Maturity Model mostra pra gente que Digital (ou Online) Analytics vai muito além de ferramentas (tools) e tecnologia. Contempla também do gerenciamento de times a processos e metodologias. Logo o Google Analytics é "só" um aspecto de uma dessas pontas desse gráfico.

Só esse tema merece um belo post no futuro, mas acho que deu para ter uma noção né?

3. É o mesmo que Web Analytics?

Web Analytics & Digital Analytics são sinônimos, porém o último a gente pode dizer que é a versão melhorada do primeiro, que ficou muito datado.

O termo "Web" é muito ligado à WWW (World Wide Web) e consequentemente ao browser, porém hoje a gente respira mobilidade e internet das coisas (IoT), então nada mais justo que ampliar de "Web" para "Digital".

Isso não é algo que tô puxando da cartola não, uma das maiores associações do mercado, a Digital Analytics Association (DAA), mudou do seu antigo nome "Web Analytics Association" (WAA) para o atual em 2012 justamente por esse motivo.

Logo, se você é mais Old School e prefere continuar usando o termo Web Analytics, tem problema não. Provavelmente você já usou mouse de bolinha e monitor CRT no seu passado longínquo e, assim como eu, pode ser um pouco mais apegado ao vocabulário tech-clássico.

4. E Business Intelligence / BI?

Não. E sim.

Confesso que é um pouco revoltante a descarada prostituição e buzzwordificação do termo. Tudo quanto é agência digital do novo século faz, vende e contrata gente de BI: de analista de BI, estagiário de BI, gerente de Business Intelligence, programador BI…

Aí você vai ver na descrição da função, é pra tirar relatório no Google Analytics, analisar desempenho de mídia ou confeccionar lindas e coloridas planilhas de Excel. Melhor falar que a vaga é para Digital Analytics (ou Online Analytics, ou Web Analytics ao melhor estilo mouse com bolinha).

Revoltas à parte, Business Intelligence está para o Sistema Solar assim como Digital Analytics está para o planeta Terra (#AmoAnalytics). Um está incluído no outro, mas o primeiro é monstruosamente maior.

“(…) a set of techniques and tools for the acquisition and transformation of raw data into meaningful and useful information for business analysis purposes”

Este é o "Tweet" na Wikipedia sobre Business Intelligence, e se você tiver alguns minutos de paciência verá que BI é mais amplo, complexo e encorpado que o nosso querido fitness Digital Analytics, mas isso não deixa em nada o último desinteressante, mesmo que a gente não chegue a comentar aqui sobre Ralph Kimball ou William Inmon, as duas maiores referências no tema... então bora continuar com nossa lupa analisando o nosso planeta azul de métricas.

[revolta ON] Só pra não perder o hábito: você usar o Google Analytics pra gerar relatórios de performance do seu site e dizer que faz BI seria como você fazer a arte de um cartão de visitas da empresa do seu tio (sim, você é o sobrinho) e dizer para os amiguinhos que faz planejamento e desenvolvimento estratégico de comunicação e publicidade. [/revolta OFF]

E o Big Data?

Você pode praticar Digital Analytics e Big Data ao mesmo tempo, uma vez que o último se refere a uma quantidade elefântica de dados. Ou seria baleística-azulística?

Transcendendo a biologia da coisa, Big Data, que virou outra buzzword, está ligada da coleta à extração de dados a partir de uma volume realmente monstruoso de dados, com intuito de fazer descobertas (a.k.a. gerar insights). Logo o Big Data é praticável tanto no escopo de Digital Analytics como em Business Intelligence.
Entenda melhor este processo seguindo este link.

5. Posso chamar só de Analytics?

Ô se pode. Deve. É nome short, tá na moda também. Ousaria dizer que "Analytics" é sexy. O que tenho reparado é que ficou chic, cool, descolado, e que cada vez mais ganha novos prefixos.

Veja se você já se deparou com algum desses aí:

  • Digital Marketing Analytics
  • Startup Analytics
  • Online Business Analytics
  • eCommerce Analytics
  • App Analytics

Só de usar, já dá uma embelezada né? #AnalyticsSuaLinda

E o significado é o mesmo pra tudo, porém já está segmentado no seu devido contexto:

"Utilização de dados para a otimização da experiência online dos seus usuários [no App / no Ecommerce / na Startup / etc…]"

6. Afinal de contas, sem enrolação, do que se trata Digital Analytics?

Agora vamos à parte mais teórica do texto, só pra deixá-lo um pouco mais sério:

A gente aprendeu antes que

Digital Analytics tem um bocado de nomes doidos, que você pode escolher na maioria das vezes como chamá-lo, mas por favor não use o termo BI pra se referir a tarefas como gerar relatórios no GA, ou ainda atestar que o CTR escapuliu do CPC que foi enquadrado pelo CPA.

E agora vamos aprender que

De uma forma bem objetiva, Digital Analytics compreende um conjunto de técnicas, processos e metodologias que visam a utilização de dados em ambientes digitais para a otimização recorrente e (melhor) tomada de decisão, percorrendo ao menos 3 áreas ou estágios:

  • Coleta de dados (Data Capture): ferramentas, armazenamento de dados, integridade, implementações técnicas, modelagem etc.
  • Visualização dos dados (Data Reporting): relatórios, painéis de controle (dashboards), monitoramento, alertas etc.
  • Análise dos dados (Data Analysis): geração de insights, criação de planos de ação e otimização, formação de base de conhecimento, aprendizado etc.

Avinash Kaushik

em seu livro Digital Analytics 2.0

"Digital analytics is the analysis of qualitative and quantitative data from your business and the competition to drive a continual improvement of the online experience that your customers and potential customers have which translates to your desired outcomes (both online and offline)"

Em tradução livre e descompromissada, seria algo como "Digital Analytics é a análise de dados quantitativos e qualitativos do seu negócio e dos concorrentes orientada ao melhoramento contínuo da experiência dos seus clientes e potenciais clientes que se traduz no seu retorno desejado (ambos online e offline).

E fechamos esta parte teórica com mais uma definição:

Digital Analytics Association

What is Digital Analytics?
"The science of analysis using data to understand historical patterns with an eye to improving performance and predicting the future. The analysis of digital data refers to information collected in interactive channels (online, mobile, social, etc.). Digital Analytics has become an integral part of core business strategies and maintaining a competitive edge. Digital data started the Big Data meme as it heralded the onslaught of Volume, Variety and Velocity, opening the door to new types of correlative discovery much wider. Digital Analytics is a moving target of innovation and exploration. That’s what makes it fascinating."

Realmente fascinante!

[Modo Preguiça ON] Link para o Google Tradutor

7. Que tal demonstrar algumas aplicações?

  • Exemplo de Dashboard postado por ∆ Studio–JQ ∆ no Dribble

Vamos explorar mais a fundo em outras postagens, porém para ficar fácil ligar o nome à coisa, alguns exemplos de aplicações de Digital Analytics:

  • Desenvolver dashboards (painéis de métricas).
  • Gerar relatórios de desempenho de mídia.
  • Implementar ferramentas de analytics com as melhores práticas de mercado.
  • Planejar e definir os indicadores chave de performance (KPI's) do seu site ou campanha.
  • Integrar diferentes fontes de dados em um Data Warehouse.
  • Utilizar os dados coletados para criar novos planejamentos de comunicação digital.
  • Criar e planejar testes A/B definindo métricas de sucesso.
  • Formar uma base de conhecimento do comportamento de navegação do seu usuário.
  • Desenvolver automações (e-mails, conteúdo personalizado, formulários de lead etc.) com base neste mesmo comportamento de navegação.
  • Criar públicos e segmentos de audiência para Remarketing.
  • E a lista vai longe…

Você deve ter notado vários itens acima são táticas ou ações de Marketing Digital, Inbound Marketing e/ou Growth Hacking. Não tem jeito, todos estão relacionados, ligados nessa [termo duramente censurado] gostosa capicce?

No final, a coisa funciona mais ou menos assim: você pode praticar marketing digital ou inbound sem nem olhar para Digital Analytics (shame on you). Mas na maioria das vezes, a prática de Digital Analytics estará sempre associada a outros temas. Sem dúvida uma bela de uma companhia!

8. **Bônus — Como começar?

Aproveitando toda a nova onda de Inbound & Fórmula de Lançamento, marotamente vou compartilhar 2 bônus com você:\

a. Curso oficial do Google

Se já não está praticando hoje nenhuma das atividades de Digital Analytics, ou se já está, mas quer aprofundar seus conhecimentos, minha recomendação top estrela na testa é sempre a mesma: comece pelo curso oficial do Google, o Digital Analytics Fundamentals .

É free. É top. É online e, pra quem prefere, tem legenda em português. Mas não se acostume com traduções, pois a maior parte do conteúdo de Digital Analytics na web está em inglês.

b. Avaliação de Digital Analytics Maturity

  • Exemplo de Relatório da Ferramenta DigitalAnalyticsMaturity.org

Mais um 0800, mas dessa vez se você não se sente confortável em ler em inglês nem tente.

Essa é uma ferramenta free de auto avaliação do modelo de maturidade de Analytics, citado anteriormente.

Espero humildemente que este artigo tenha contribuído um pouquinho mais na sua jornada pelo nirvana Analítico.

Tem sugestões e referências? Elogios de montão? Críticas vulcânicas? Deixe seu comentário!


"Muito obrigado e até a próxima!
May the Analytics be with you!!!"

9. Referências

Pra desenvolver esse texto usei as referências legalmente surripiadas e devidamente creditadas:

Escritório de Dados da Cidade do Rio de Janeiro aumenta eficiência de seus serviços com Gemini

Case de Sucesso

A implantação do data lake da Prefeitura beneficiou diferentes secretarias, ampliou a produtividade dos colaboradores e resultou em uma entrega de serviços à população ainda mais consistente

RESULTADOS COM O GOOGLE CLOUD

  • 41,3 TB de dados armazenados e 9,5 TB de dados processados diariamente
  • Mais de 6 milhões de leituras OCR processadas por dia no CIVITAS
  • Mais de 1.400 casos que usaram informações geradas por captura de imagem a partir da IA
  • Redução do tempo de resposta ao cidadão propiciado pelo chatbot, de 30 para 5 min
A implantação do data lake da Prefeitura beneficiou diferentes secretarias, ampliou a produtividade dos colaboradores e resultou em uma entrega de serviços à população ainda mais consistente
Cityscape view of Rio de Janeiro
Rio de Janeiro

O Escritório de Dados da Cidade do Rio de Janeiro começou a operar em 2022. A divisão surgiu com a missão de ampliar a eficiência da administração municipal baseando-se em dados e evidências. Atualmente, o Escritório - que agora faz parte da IplanRio, empresa municipal de tecnologia comandada por Carabetta - integra uma infraestrutura única de dados, que centraliza informações essenciais da Prefeitura Municipal e suas diversas secretarias.

Mas, para que esta transformação relacionada aos dados fosse possível, uma outra história começou a ser contada, ainda em 2021, na Secretaria de Transportes - onde houve um pedido inicial relacionado ao monitoramento de ônibus na cidade via GPS, em tempo real, e que demandaria uma análise mais aprofundada.

“O GPS havia sido implantado desde 2011 na rede de transportes rodoviários da cidade. No entanto, precisava ser melhor aproveitado. O objetivo era criar uma infraestrutura para salvar essas informações do GPS que aparecem em feed e depois processá-las. A intenção, com isso, era realizar diversas análises, saber qual ônibus passa em determinado horário e verificar de perto as atividades das companhias prestadoras de serviços”, detalha João Carabetta, Chefe Executivo de Tecnologia da Prefeitura do Rio de Janeiro.

Além da necessidade diretamente ligada à pasta de Transportes, outras foram surgindo com o tempo. No setor público, muitos órgãos enfrentam dificuldade de acesso, integração e governança dos próprios dados, com uma infraestrutura física que é, muitas vezes, limitada. Portanto, a ideia era contar com uma infraestrutura integrada e completa, que permitisse novas soluções a todas as secretarias municipais do Rio de Janeiro.

A modernização trazida pelo uso das ferramentas em nuvem

Logo no começo de 2022, houve uma fase de consulta pública para definir qual empresa poderia encabeçar o projeto de data lake da Prefeitura, ocasião em que diversos prestadores de serviços divulgaram seus preços e requisitos, abrangendo cada stack de ferramentas tecnológicas.

Nesta etapa, o Google Cloud ganhou espaço. Um dos grandes diferenciais apresentados foi o BigQuery, que contava com suporte para treinar modelos de IA e possuía o melhor desempenho e custo-benefício, algo essencial para abstrair a complexidade de computação e administração de recursos.

Desse modo, a arquitetura inicial foi montada em cerca de três a quatro meses, priorizando a governança e o controle de acessos dos usuários. Logo na sequência, os dados começaram a ser integrados gradualmente, abrindo caminhos para o que seria o conceito de centralização dos dados operacionais e transacionais da Prefeitura.

Em junho de 2022, houve o lançamento do data lake, contendo algumas das bases de dados mais importantes da Prefeitura do Rio de Janeiro. Hoje, diversas soluções do órgão público já operam dentro dessa plataforma, que continua expandindo e incluindo mais projetos a cada ano.

As funcionalidades oferecidas pela nuvem, especialmente relacionadas ao BigQuery, tornaram-se destaque em razão da facilidade de uso e possibilidade de escala. João Carabetta.

Nova era: um data lake que daria as boas-vindas a diferentes projetos

Agora, informações essenciais são centralizadas na Prefeitura Municipal do Rio de Janeiro, como folha de pagamento de funcionários; dados escolares (incluindo frequência e boletins dos estudantes); dados de transporte, como GPS de ônibus em tempo real; dados de saúde, abrangendo tanto o estoque de medicamentos quanto os históricos clínicos de pacientes; e dados de segurança pública, como a identificação de veículos que rodam na cidade em tempo real.

Nós descobrimos que, para leitura de imagem, o Gemini é destaque na identificação de contexto. Desde um simples alagamento e um carro parado na pista, até pessoas andando dentro de um túnel, enfim, tudo o que pode representar algum risco de segurança pode ser mapeado com a ajuda do Gemini.
João Carabetta, Chefe Executivo de Tecnologia, Prefeitura do Rio de Janeiro

Embora nem todos os dados estejam disponíveis publicamente, alguns podem ser acessados por meio do portal DataRIO e suas APIs, possibilitando aos cidadãos a utilização dessas informações para consulta e análise próprias.

No que se refere à estrutura técnica, o Escritório de Dados, agora incorporado ao IplanRio, empresa municipal de tecnologia, usa clusters no Google Kubernetes Engine para hospedar serviços e rodar aplicações, que também suportam a infraestrutura de ETL para o BigQuery. O Cloud Storage é útil para montar tabelas externas. Além disso, o chatbot da Prefeitura, de atendimento ao público, foi implementado no Dialogflow, com webhooks no GKE integrando serviços on-premise. O Dialogflow faz fluxos interacionais e atua no 1746 para atendimento ao cidadão, uma iniciativa focada em zeladoria urbana.

Mas as novidades seguiram em curso, e as soluções do Google Cloud passaram a ser fundamentais para atender também à área da segurança pública. A Central de Inteligência, Vigilância e Tecnologia de Apoio à Segurança Pública, CIVITAS, que é responsável por unir os dados municipais e analisá-los a partir do olhar da segurança pública e de tecnologias avançadas, faz uso extensivo do Gemini. Por meio de uma sala de situação no Centro de Operações Rio e do uso da IA, milhares de câmeras e radares da cidade são utilizados para monitorar veículos suspeitos, identificar placas clonadas e agir em outras situações de risco.

Números que comprovam os avanços da transformação tecnológica

De forma geral, a infraestrutura adotada pelo órgão público aumentou a produtividade dos colaboradores, liberando os profissionais para se concentrarem em análises e estratégias, em vez de direcionar o foco para questões técnicas.

Agora, o Escritório consegue criar soluções de dados em poucos dias ou semanas, escalando facilmente para volumes massivos (terabytes e petabytes) sem alterar a infraestrutura. Nos dias atuais, a Prefeitura Municipal reúne 41,3 TB de dados armazenados; 9,5 TB de dados processados diariamente, 49 sistemas integrados e 10,5M de queries performadas. O Data Office, que une a Secretaria de Saúde, a Secretaria de Transportes, a Secretaria de Educação, o Rio Águas, a Gestão de Pessoal e o CIVITAS, o Centro de Operações, além do AlertaRio, entre outros, alcançou métricas significativas.

No caso do CIVITAS, em média, são processadas mais de 6 milhões de leituras de OCR por dia e, em menos de um ano, já ocorreram mais de 1.400 casos que usaram as informações geradas por meio de captura de imagem com o auxílio da IA generativa, e mais de 7 mil placas de veículos suspeitos cadastradas no Cerco Eletrônico.

Outros projetos impressionam pelo desempenho no que diz respeito ao atendimento à população. O chatbot viabilizado pela IA, que é o canal direto de comunicação para tratar da zeladoria urbana do município, registrou um tempo de resposta ao cidadão que diminuiu de 30 para 5 minutos, em mais de 30 mil conversas por mês.

Esses são apenas alguns dos programas liderados pelo município e que contam com o Escritório de Dados para o seu pleno funcionamento. Assim, as métricas e os resultados positivos colhidos ao longo do tempo comprovam que as ferramentas em nuvem não apenas promoveram essa revolução dos dados internos da Prefeitura, como também aprimoraram de maneira expressiva a acessibilidade e a eficiência dos serviços oferecidos ao cidadão.

Temos objetivos audaciosos. Um dos principais é o crescimento do CIVITAS, e a ideia é expandir o número de câmeras da cidade. Estamos começando a usar agentes de IA também, para realizar leitura e relatório de segurança, com o intuito de automatizar o nosso trabalho.
João Carabetta, Chefe Executivo de Tecnologia, Prefeitura do Rio de Janeiro

O Escritório de Dados é um centro de pesquisa, formação e divulgação em ciência e visualização de dados da Prefeitura da Cidade do Rio de Janeiro.

Indústria: Setor Público

Localização: Brasil

Produtos: BigQuery, Cloud Storage, Dialogflow, Gemini, Google Kubernetes Engine

 

Contato

 

https://cloud.google.com/customers/intl/pt-br/escritorio-de-dados-da-cidade-do-rio-de-janeiro?hl=pt-BR#

Generalista ou especialista? Kubrick parece ter a resposta.

Stanley Kubrick

Que tipo de executivo contratar: Generalista ou Especialista?

Se estivesse vivo, Stanley Kubrick teria completado 90 anos no dia 26 de julho. Muito já se falou sobre este gênio do cinema e seu legado mas, talvez, poucos tenham feito paralelo entre a carreira do artista e o mercado corporativo. Em termos gerais, uma das grandes questões de recursos humanos é definir que tipo de executivo contratar: generalista ou especialista? Kubrick parece ter a resposta.

O diretor filmou apenas 13 longas-metragens, sendo que pelo menos sete de seus filmes se tornaram obras-primas reconhecidas e plenamente aceitas no meio artístico. Outras películas, no todo ou em parte, também se destacaram como pérolas cinematográficas. O mais instigante, de fato, é a variação de gênero que o cineasta vivenciou na profissão. Em Dr. Fantástico, fez comédia de humor negro. Spartacus, épico. 2001, expandiu o alcance da ficção. Uma odisseia no espaço! Com O Iluminado, intensificou o horror psicológico. Explorou a guerra em Nascido para Matar. Refinou a história policial em O Grande Golpe. É como se um executivo de marketing percoresse segmentos tão distintos como a indústria bélica, o comércio exterior, a inteligência artificial, hotelaria, recrutamento e seleção, loterias etc. Sempre com resultados bem acima da média.

Kubrick abordou diversos gêneros do cinema
assim como um executivo generalista atua em
diferentes segmentos de mercado.

E não é apenas na diversidade de estilos que Kubrick foi um generalista. Nos sets de filmagens atuava em outras frentes – fotografia, roteiro, efeitos especiais, montagem e produção. Também participava da direção de arte, da cenografia e da sonorização, com controle absoluto, embora os créditos fossem associados a outros profissionais atentos à sua batuta. Estudo conduzido por pesquisadores da Columbia Business School e da Tulane University com 400 executivos confirmou a vantagem daqueles que trazem um repertório mais amplo e eclético, com experiências diversas, tendendo a assumir posições de liderança mais rapidamente. No jargão do RH, Kubrick tinha habilidades multifuncionais (cross-functional skills).

Outra pesquisa, encomendada pela Microsoft e realizada pela International Data Corporation – IDC, empresa global de inteligência de mercado e consultoria, após avaliar 76 milhões de vagas de empregos, cravou que as oportunidades mais promissoras de ascensão profissional entre 2016 e 2024 exigirão competências multifuncionais em detrimento de habilidades técnicas e específicas, mesmo em áreas como TI, direito e saúde. A consultoria ainda apontou que nas 10 principais habilidades do profissional do futuro estão a orientação para o detalhe (detail oriented). O generalista não é um “superficialista”.

Relatórios de importantes universidades e
empresas americanas apontam as
competências multifuncionais como
habilidades essenciais do profissional do
futuro.

Mais uma vez Kubrick corresponde. Como um cientista de dados que cruza estatísticas, amostras e informações diversas do negócio para orientar estratégias mercadológicas, o cineasta americano ficou conhecido por seu perfeccionismo. Nas filmagens de 2001: Uma Odisseia no Espaço, desenvolveu a centrífuga que simulava os movimentos e efeitos de gravidade zero em uma estação espacial, muito similares ao que acontece na Estação Espacial Internacional construída 30 anos depois. O clássico que completou 50 anos este ano e que está sendo homenageado pelo Museu da Imagem e do Som – MIS em São Paulo, recebeu o Oscar de efeitos especiais. Para gravar Barry Lyndon, filme de época com locações na Inglaterra, encontrou na NASA a lente que permitiria a filmagem sob à luz de velas, com resultados estéticos jamais vistos e ainda não superados. A obra é uma referência estilística, inspirada em quadros do século XVIII, e transposta para as telas de cinema com rara beleza. Em O Iluminado utilizou os recursos da recém-inventada steadicam para obter planos-sequências fascinantes como nas cenas dos corredores e no labirinto do hotel Overlook.

Sempre na vanguarda da tecnologia, Kubrick
já abordava a inteligencia artificial, com o
computador HAL 9000, muito antes da
massificação deste conceito.

O reconhecimento pela gestão de atores é outro diferencial. Ao gravar inúmeras tomadas até a perfeição, Kubrick extraiu atuações icônicas de Peter Sellers, Sue Lyon, Malcolm McDowell, Jack Nicholson, Shelley Duvall e R. Lee Ermey. O desejo de trabalhar com o mestre fez o casal Tom Cruise e Nicole Kidman, o mais cobiçado na década de 90, dedicar-se exclusivamente ao filme De Olhos Bem Fechados, rejeitando qualquer outra oferta durante as gravações.

O ponto máximo da meticulosidade de Kubrick, no entanto, foi o projeto Napoleão. Embora não tenha sido viabilizado por limitações orçamentárias, o trabalho de pré-produção é considerado o mais perfeito já realizado. O livro Napoleon: The Greatest Movie Never Made (editora Taschen), sem tradução em português, de Alison Castle, revela o envolvimento do diretor na intensa pesquisa das locações, cenários, figurinos, elenco, cronologia dos fatos, textos históricos, cinematografia e no desenvolvimento dos argumentos e do roteiro para fundamentação da obra, o que gerou conteúdo e uma base de dados com aproximadamente 17 mil imagens relacionadas à era napoleônica. A intenção do filme, inacabado, fez a fama do diretor, completo.

Como um cientista de dados, Kubrick reuniu
conteúdo e 17 mil imagens para filmar a vida
de Napoleão Bonaparte.

A diversidade é um conceito poderoso e para profissionais generalistas, o conhecimento humano, em qualquer substância, forma ou amplitude é matéria-prima. Soma-se liberdade criativa e ousadia e tem-se o ambiente perfeito para o desenvolvimento de novos produtos, serviços e soluções nos negócios. O relatório da IDC ainda traz que a criatividade (creativity), também compõe o perfil do futuro executivo. Kubrick buscou nas outras artes elementos para enriquecer a sua própria. Escreveu seus filmes a partir da literatura de Nabokov, Clarke, Burgess, Thackeray, King, Schnitzler; orquestrou suas tramas com Strauss (Johann e Richard), Beethoven, Schubert, Haendel, Penderecki, Liszt, Ligeti; inspirou-se nas pinturas de Gainsborough, Reynolds, Chardin, Watteau, Chadowiecki para estabelecer o virtuosismo estético definitivo na sétima arte. Ganhou o reconhecimento dos estúdios, em especial da Warner Bros., que lhe conferia autonomia em troca do prestígio do diretor.

Kubrick buscou na diversidade de outras artes
elementos para enriquecer a sua própria.
Literatura, música e pintura abrilhantaram
a sua obra.

Conquistou a independência. Cativou o público. Impressionou a crítica. Generalista!





https://www.linkedin.com/pulse/generalista-ou-especialista-kubrick-parece-ter-resposta-rodrigo-costa

Não posso fazer tijolos sem barro

Sherlock Holmes

"Dados! Dados!", gritou impaciente.
"Eu não posso fazer tijolos sem barro."
As Faias Cor de Cobre





E você? Como tomas suas decisões?
Tem o apoio de informações precisas sobre o seu negócio?

conheça nossos serviços





O poder dos Sistemas de Apoio à Decisão (SAD)

Também chamados de Decision Suport System (DSS), os Sistemas de Apoio à Decisão (SAD) se utilizam de uma série de conceitos, técnicas e ferramentas para transformar dados em informações úteis para auxiliar a tomada de decisões. Para a elaboração de um sistema deste tipo, normalmente muitos profissionais são envolvidos, principalmente nas áreas da Tecnologia da Informação e Comunicação (TIC) e de Negócios e, especificamente, nas áreas de Business Intelligence (BI), Business Analytics (BA), Data Mining, Machine Learning, Estatística, Banco de Dados, Infraestrutura de Software, Inteligência Competitiva, Marketing, Engenharia e Gestão do Conhecimento, entre outras. A interação de distintos perfis de profissionais garante, além da performance e segurança, que os pontos importantes para a instituição (Indicadores Chave - KPI) sejam definidos pelas áreas que têm o devido conhecimento, maximizando o sucesso dos projetos.

Cubo Analítico

Com todos os Indicadores Chave (KPI) definidos, todas as regras de negócio documentadas e a origem de todos os dados conhecida, se inicia o desenvolvimento do SAD. A primeira etapa consiste em ler os dados de todas as fontes definidas no projeto, integrando-os em um grande armazém de dados, o Data Warehouse (DW).

A partir daí vem a grande sacada do Business Intelligence: são criados os Cubos Analíticos, também chamados de Cubos Multidimensionais, um para cada fato a ser analisado e sem limite de quantidade de Dimensões.

Um único cubo deve ser capaz de oferecer, com muita agilidade, todas as informações que um gestor necessita sobre o fato que o cubo analisa. #Todas.

O exemplo ao lado é uma representação gráfica (gif) de um cubo de Movimentações Financeiras composto por 3 dimensões:

  • Tipo de Movimentação Financeira (o que);
  • Data (quando) e
  • Localidade (onde)

Cada uma das dimensões pode ser utilizada para filtrar os dados e selecionar apenas o período desejado. A porção em vermelho corresponde a seleção feita e no último quadro do gif percebemos o quadrado que indica a intersecção de todos os filtros, ou seja, a resposta desejada.

Filtros aplicados: Tipo de movimentação = Vendas, Data = Ano de 2017, Localidade = Estado de São Paulo.

Painéis Interativos

Agora que o cubo analítico é capaz de dar todas as respostas necessárias ao gestor, a próxima etapa é criar painéis interativos (dashboards) que permitam ao próprio usuário refinar suas consultas, simplesmente selecionando por exemplo o Ano e o Mês, sempre com a possibilidade de filtrar ainda mais os dados, clicando nos gráficos (de barras, pizza, etc.) e obtendo respostas precisas e praticamente automáticas, pois todas as técnicas e ferramentas utilizadas permitem que estes dados sejam pré-computados e de fácil acesso. Tendências e desvios do padrão nos dados da instituiçao são facilmente encontrados, visualmente, de forma clara e intuitiva, conforme alguns exemplos abaixo:

Caso Toyota

No final dos anos 90, a empresa enfrentou grandes problemas em sua cadeia de operações. O custo de armazenamento de carros se elevou e ela não estava mais conseguindo fornecer o produto a tempo para seus clientes. Utilizava computadores que geravam uma quantidade enorme de dados e relatórios que não eram utilizados estrategicamente porque nem sempre eram exatos e muitas vezes eram fornecidos tarde demais - o que atrasava a tomada de decisões.

Uma nova CEO foi contratada. Ela identificou algumas soluções: primeiro, a necessidade de um Data Warehouse - um repositório central de dados, organizado e de fácil acesso. Segundo, a necessidade de implementação de ferramentas de software para efetuar a manipulação desses dados. O novo sistema implantado infelizmente não funcionou de maneira correta: a entrada de dados históricos incluiam anos de erros humanos que não foram detectados, dados duplicados, inconsistentes e falta de importantes informações. Tudo isso gerou análises e conclusões precipitadas sobre o funcionamento da distribuidora.

Apenas em 1999 a empresa resolveu implantar uma plataforma de Business Intelligence. Em questão de dias o sistema apresentou bons resultados. Por exemplo, descobriram que a empresa era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). Entre 2001 e 2005, o volume de carros negociados aumentou em 40%, o tempo de trânsito foi reduzido em 5%. Esses e vários outros  benefícios ajudaram a Toyota a alcançar as maiores margens de lucro no mercado automotivo desde 2003, e estão aumentando consistentemente a cada ano desde então. Além disso, um estudo realizado pela IDC Inc. em 2011, indicou que a instituição alcançou, naquele ano, um retorno de pelo menos 506% sobre o investimento em BI. Fonte

Pirâmede da Inteligencia

Esse é apenas um dos inúmeros casos que ilustram a eficiência dessas soluções capazes de integrar e interpretar Dados, transformando-os, de alguma forma, em Informação relevante ao seu negócio, possibilitando, com a devida análise, a criação de Conhecimento. Através da utilização e da gestão deste conhecimento nasce a Inteligência.

Conclusão

Mais de 15 anos passaram desde que a Toyota adotou o BI. Atualmente, gera-se mais de 2.5 quintilhões de bytes de dados diariamente no mundo, sendo que 90% dos existentes hoje foram criados nos últimos 2 anos. A tendência é que esse número cresça de uma forma cada vez mais rápida. 

Uma Solução de Apoio à Decisão não precisa custar milhões de dólares nem exigir a venda casada de equipamentos, treinamentos, consultorias e serviços. Pelo contrário, com software livre e com o respaldo de uma consultoria especializada pode-se atingir resultados excelentes e sustentáveis utilizando o equipamento já existente, com qualquer sistema operacional do mercado, podendo ser acessado desde celulares e computadores até mesmo em grandes painéis televisores. Isto tudo com toda a segurança e liberdade de quem tem todo o código fonte em seu poder.

E você, o que vai fazer com os seus dados?

O que é Modelagem de Dados?

Modelagem de Dados

Modelagem de dados é o processo de estruturar e organizar dados para que possam ser lidos por máquinas e acionável para as organizações.

Neste artigo, exploraremos o conceito de modelagem de dados, incluindo sua importância, tipos e melhores práticas.

O que é uma Modelo de dados?

Um modelo de dados é uma estrutura que organiza os elementos de dados e padroniza como eles se relacionam entre si.

Os dados moldam tudo, desde avanços científicos até a experiência personalizada de serviços de streaming. Informa como os negócios crescem, influencia as políticas públicas e até afeta o entretenimento que aparece em nossas telas. Mas os dados brutos são como um diamante bruto – valiosos, mas que necessitam de refinamento. Os modelos de dados nos ajudam a compreender e utilizar dados brutos em qualquer sistema. Eles descrevem os vários elementos de dados, como detalhes de clientes ou registros de transações, e ilustram as conexões entre eles.

Portanto, um modelo de dados não é apenas um auxílio visual que traz clareza a dados vastos e complexos, mas também uma ferramenta estratégica que molda a forma como os dados são configurados para uso ideal. Um modelo de dados bem projetado pode ajudar as organizações a melhorar as operações, reduzir custos e tomar melhores decisões.

O que é o Modelagem de dados?

Modelagem de dados é o processo de criação de modelos de dados. Ele atua como um processo de refinamento de dados brutos, pois define sua estrutura e atributos e transforma isso em um recurso acionável.

A modelagem de dados envolve a criação de uma representação visual detalhada de um sistema de informação ou de seus componentes. Ele foi projetado para comunicar as conexões entre vários pontos de dados e estruturas. Este processo abrange a análise e definição dos diversos tipos de dados que uma empresa reúne e gera, com foco em seus intrincados relacionamentos, agrupamentos e estrutura organizacional.

Com uma combinação de texto, símbolos e diagramas, modelagem de dados oferece visualização de como os dados são capturados, armazenados e utilizados em uma empresa. Serve como um exercício estratégico para compreender e esclarecer os requisitos de dados do negócio, fornecendo um modelo para gerenciar dados desde a coleta até a aplicação.

Conceitos de modelagem de dados: tipos de dados Modelos

A classificação de modelos de dados em tipos distintos é uma abordagem estratégica que reflete os estágios de evolução da representação e gerenciamento de dados dentro de uma organização. Ele serve um propósito sequencial no processo de modelagem de dados; desde fornecer uma abstração de alto nível até investigando detalhes específicos para traduzir estruturas lógicas em implementações tangíveis. Aqui estão os três tipos de modelos de dados:

Modelo de Dados Conceituais

No início, os modelos de dados conceituais fornecem uma representação de alto nível dos dados organizacionais, atendendo a um público empresarial específico. Eles se concentram na estrutura geral dos dados em relação aos objetivos de negócios, sem entrar em detalhes técnicos. Ele descreve os relacionamentos gerais entre entidades e ilustra como elas interagem dentro de um sistema.

A camada conceitual é construída independentemente de quaisquer especificações de hardware, capacidade de armazenamento ou limitações de software. O objetivo é representar os dados como vistos no mundo real. Por exemplo, um modelo conceitual em um sistema de informação hospitalar poderia delinear as relações entre pacientes, médicos e consultas.

Modelo Lógico de Dados

Seguindo o modelo conceitual, um modelo lógico de dados fornece uma visão mais detalhada dos elementos de dados e suas inter-relações. Esta camada é mais complexa e estruturada que a camada conceitual. O modelo lógico lista os requisitos do projeto, mas também pode ser integrado a outros modelos de dados, dependendo do escopo. Ele é projetado e desenvolvido independentemente do SGBD e os tipos de dados dos elementos de dados têm um comprimento preciso.

Camada de dados lógicos contém informações sobre como o modelo deve ser implementado e contornos atributos específicos de elementos de dados. Por exemplo, em um sistema de gerenciamento de relacionamento com o cliente, a modelagem lógica detalha como os registros do cliente se relacionam com pedidos de compra e tickets de suporte, incluindo atributos como ID do cliente, histórico de compras e registros de interação.

Dados físicos Modelos

Finalmente, os modelos de dados físicos concentram-se nos aspectos técnicos do design do banco de dados, definindo como o modelo de dados será implementado no banco de dados. O diagrama do modelo de dados físicos ajuda a visualizar toda a estrutura do banco de dados. Contém a tabela de relacionamentos entre os dados, abordando a nulidade e cardinalidade desses relacionamentos. Os modelos de dados físicos são projetados e desenvolvidos especificamente para uma versão específica do SGBD, a tecnologia usada para o projeto, o armazenamento de dados necessário e a localização.

Um modelo de dados físicos especifica a estrutura das tabelas, os relacionamentos entre elas e os índices para recuperação eficiente de dados. Por exemplo, em um banco de dados SQL, a modelagem física de dados define como as tabelas são estruturadas e como elas se relacionam entre si.

Juntos, esses modelos de dados simplificam a forma como os dados são organizados e compreendidos pelos profissionais de dados.

O processo de modelagem de dados: Como criar um modelo de dados

A modelagem de dados é um processo estruturado que envolve um conjunto de técnicas para representar dados de forma abrangente. Inclui várias tarefas sequenciais conduzidas repetidamente para garantir que os dados sejam organizados de forma eficiente e atendam aos requisitos do negócio.

Como parte do processo, comece envolvendo as partes interessadas relevantes para compreender a finalidade do modelo de dados. Deve fornecer respostas a perguntas como: Que dados são necessários? Como será acessado? Que perguntas ele deveria responder? Que problemas isso resolverá? Defina o escopo para evitar complexidade desnecessária.

Identificar Entidades

A do estado inicial, etapa do processo de modelagem de dados é identificar os componentes ou objetos principais, chamadas entidades. Eentidades são representações de objetos, conceitos ou eventos reais encontrados no conjunto de dados que Cria modeloing. Podem ser coisas tangíveis, como clientes, ou conceitos abstratos, como transações. Está importante garantir que cada entidade seja única e logicamente distinta das outras, pois evita confusão de dados e mantém a clareza do modelo de dados.

Definindo Atributos

Depois de identificar uma entidade, o próximo passo é para definir suas propriedades únicas, que são chamados atributos. Por exemplo, for modelando um PRODUTOS entidade, os atributos podem ser produto nome preço, fabricante e descrição. Análises de esses atributos pode dar uma compreensão mais profunda das características inerentes de cada entidade.

Especificando o relacionamento

A próxima etapa no processo de modelagem de dados é definir os relacionamentos entre diferentes entidades. Diferentes notações e convenções, como o Linguagem de modelagem unificada (UML), são usados ​​para definir esses relacionamentos e para representar e documentar visualmente as conexões entre entidades e seus atributos.

Ao definir relacionamentos entre entidades, também é importante considerar sua cardinalidade, ou seja, se o relacionamento será um para um, um para muitos, muitos para um ou muitos para muitos. Adicionalmente,

Por exemplo, ao modelar uma entidade aluno e curso em um banco de dados universitário, o relacionamento poderia ser tal que cada aluno pudesse estar matriculado em vários cursos (relacionamento um-para-muitos). Isso descreverá como alunos e cursos estão interconectados em um modelo de dados.

Mapeando os atributos para entidades

Mapeamento A definição de atributos para entidades tem como objetivo garantir que o modelo de dados reflita claramente como a organização usará os dados. Com base em seus requisitos específicos, os desenvolvedores podem aplicar padrões formais de modelagem de dados, como padrões de análise ou padrões de design.

Considere, por exemplo, uma loja online com entidades como cliente e pedido. A entidade cliente normalmente possui atributos como nome e endereço, enquanto a entidade pedido possui atributos como data do pedido e valor total.

Os atributos devem estar vinculados à entidade apropriada para demonstrar como as informações e os pedidos dos clientes são tratados com precisão. Dependendo da situação, padrões como Customer-Order podem ser usados ​​para otimizar o modelo de dados.

Atribuindo Chaves

Atribuir chaves (identificadores numéricos) é selecionar cuidadosamente o tipo apropriado de chave (primária, estrangeira, etc.) para cada entidade com base na natureza dos dados e nos requisitos da base de dados.

Ao atribuir chaves, euÉ importante encontrar o equilíbrio certo entre reduzir a redundância e atender aos requisitos de desempenho. Isto é feito através da normalização, que atribui chaves a grupos de dados para representar relacionamentos sem repetir informações.

Por exemplo, ao criar um modelo de dados para um banco de dados de biblioteca, em vez de digitando o nome do autor em cada livro, dê a cada autor um número exclusivo, como um ID do autor. Em seguida, vincule esse ID a cada livro para indicar o autor. Dessa forma, o nome do autor não se repetirá em todos os livros, facilitando ao leitor a localização de livros do mesmo autor.

Tenha em mente que a normalização envolve uma compensação entre a redução da redundância e o aumento da complexidade. Em alguns casos, a desnormalização pode ser considerada por razões de desempenho, mas deve ser feita criteriosamente para evitar a introdução de anomalias na atualização de dados.

Finalizando o modelo de dados

O processo de modelagem de dados está em constante evolução para se adaptar às novas necessidades do negócio. Portanto, realizar revisões regulares através de avaliações programadas e feedback das partes interessadas é essencial. Faça os refinamentos necessários para garantir que o modelo de dados esteja alinhado com os objetivos da organização.

Por exemplo, ao gerenciar as finanças da empresa é simples no início, à medida que o negócio cresce, os seus dados financeiros crescem. Neste caso, é necessário atualizar regularmente o modelo financeiro para incluir dados mais recentes. Ele garante que o modelo de dados sempre reflita o quadro financeiro completo e ajuda no planejamento financeiro preciso.

Tipos de técnicas de modelagem de dados

As técnicas de modelagem de dados têmolhado ao longo dos anos com avanços em tecnologia. A seção a seguir investiga tipos proeminentes de técnicas de modelagem de dados, cada uma oferecendo perspectivas e metodologias exclusivas para representando os relacionamentos entre entidades de dados e suas interações dentro de um determinado sistema. Tem Vários tipos de modelagem de dados:

Técnicas Tradicionais de Modelagem de Dados

Este e guarante que os mesmos estão da técnicas usadas extensivamente nos primeiros dias de dados, modelagem, mas eles ainda estão em uso hoje.

Modelagem Hierárquica de Dados

Na modelagem hierárquica de dados, um único nó pai é conectado a vários nós filhos, criando uma estrutura ramificada que se assemelha a uma árvore. Cada nó pai pode ter vários filhos, mas cada nó filho tem apenas um pai, criando uma hierarquia de dados clara e organizada.

No nível superior da hierarquia, está o nó raiz, que representa a entidade principal, e cada ramificação representa uma entidade de dados diferente que está conectada ao nó raiz.

Por exemplo, no banco de dados de uma organização, a entidade CEO é a raiz, tendo os Gerentes de Departamento como filhos, que por sua vez têm Funcionários como filhos.

Modelagem de Dados Relacionais

A modelagem de dados relacionais é um método para bancos de dados de design com base nos princípios do modelo relacional. Este modelo organiza os dados em tabelas com linhas e colunas e permite vários tipos de relacionamentos, como um para um, um para muitos e muitos para muitos. A principal característica do modelo relacional é que ele vincula dados entre tabelas usando elementos ou chaves de dados comuns.

Isto permite eficiência e eficácia gestão de dados e fácil acesso e recuperação de informações. O modelo relacional também facilita a análise e a elaboração de relatórios de dados, tornando-o uma ferramenta valiosa para empresas e organizações. Por exemplo, um O banco de dados de uma livraria pode ter tabelas separadas para 'Livros', 'Autores' e 'Editores', com relações estabelecidas por meio de chaves como ISBN para livros, IDs de autores e IDs de editores.

Modelagem de Dados de Rede

O modelo de dados de rede é outra forma comum de estruturar dados em um banco de dados. Estendendo os conceitos de modelagem hierárquica de dados, a modelagem de dados de rede permite que as entidades tenham vários relacionamentos pai-filho. A estrutura semelhante a uma teia resultante não é apenas sofisticada, mas também altamente flexível. Pense nisso como nós (objetos de dados) conectados por arestas (relacionamentos).

Por exemplo, em um banco de dados de uma empresa, funcionários e projetos poderiam ser nós, com arestas indicando qual funcionário trabalha em qual projeto. Este modelo oferece flexibilidade para gerenciar relacionamentos de dados complexos.

Modelo de dados orientado a objetos

O modelo de dados orientado a objetos combina elementos de programação orientada a objetos e bancos de dados relacionais. A modelagem de dados orientada a objetos estende outros métodos de modelagem de dados, representando os dados como objetos, encapsulando assim os dados e os métodos ou operações que podem ser executados nesses dados. Esses objetos possuem propriedades (atributos) e ações (métodos) próprias e podem ser conectados entre si.

Considere um objeto Car com propriedades como cor e velocidade, e ações como iniciar e parar. Agora, para um carro esportivo, ele pode ser baseado no objeto Carro e adicionar recursos específicos como turbo boost.

Técnicas de modelagem de dados amplamente utilizadas hoje

Existem algumas técnicas de modelagem de dados que são populares e mais amplamente utilizadas atualmente.

Modelagem de Dados Dimensionais

Modelagem dimensional de dados é usado para estruturar dados para fins analíticos e de relatórios. Ele organiza os dados em dois tipos de tabelas: tabelas de fatos e tabelas de dimensões As tabelas de fatos armazenam medidas numéricas, enquanto as tabelas de dimensões armazenam informações descritivas. A abordagem de modelagem dimensional permite consultas e análises eficientes para inteligência de negócios, simplificando dados complexos para obter insights significativos.

Por exemplo, num modelo de dados de vendas a retalho, a tabela de factos pode conter receitas de vendas, quantidade vendida e data, enquanto a tabela de dimensões pode armazenar detalhes sobre produtos, clientes e lojas.

Modelagem de dados de relacionamento de entidade (ER)
O relacionamento de entidades (ER) é usado para projetar bancos de dados definindo entidades (objetos) e seus relacionamentos. As entidades representam objetos do mundo real e os relacionamentos representam como essas entidades interagem.

Por exemplo, em um banco de dados universitário, aluno e curso são entidades, e o relacionamento matrícula conecta os alunos aos cursos que estão cursando.

Data Vault Mode

É uma maneira de projetar dados armazenagem é isso dissipação para manuseio grande quantidadets De dados, an organização'S mudanças de necessidades (alterando fontes e estruturas de dados)e acompanhar dados anteriores usando hubs, links e satélites. Modelagem de cofre de dados foca na agilidade e na gestão e integrando dados corporativos. Para a por exemplo, um o profissional de saúde pode usá-lo para integrar dados de pacientes de várias fontes, manutenção um registro histórico da interação do pacienteações.

Gráfico Data Mode

A modelagem de dados gráficos mostra dados como pontos e linhas conectados, tornando-os ideal para compreender e trabalhar com relacionamentos e redes complicadas. Por exemplo, uma plataforma de mídia social pode usar modelagem gráfica para analisar e visualizar as conexões e interações entre milhões de usuários.

Técnicas especializadas de modelagem de dados

Existem certas técnicas de modelagem de dados que podem ser usadas para muito específico casos de uso, cada um oferecendo benefícios exclusivos.

Por exemplo, os modelos objeto-relacionais exibem funcionalidades avançadas próprias, juntamente com a simplicidade do modelo relacional. Este tipo de modelo de dados é considerado um modelo híbrido que permite aos modeladores incorporar novos objetos em um ambiente estruturado familiarmente.

Dados multidimensionais a modelagem é usada em sistemas de processamento analítico online para modelar dados em múltiplas dimensões para análise aprofundada. Por exemplo, uma empresa de varejo pode usá-lo para visualizar dados de vendas por produto, região e horário, oferecendo uma análise abrangente das tendências de vendas.

Modelagem de dados temporais é ideal para lidar com dados que mudam com o tempo. Uma instituição financeira, por exemplo, pode usar modelagem de dados temporais para acompanhar a flutuação das taxas de juros ao longo do tempo. anos, fornecendo insights sobre tendências de mercado e ajudando no planejamento estratégico futuro.

Aprendizado de máquinas modelo o design é para análise preditiva. Por exemplo, uma empresa de varejo pode usar isso para prever aquisitivo comportamento baseado em dados históricos de compras e melhorar o gerenciamento de estoque.

Finalmente, mistura conceitual envolve combinar diferentes conceitos para inovação. Por exemplo, uma empresa de tecnologia pode usar esta abordagem para combinar conceitos de diferentes indústrias para criar um novo produto, como o uso de tecnologia de jogos em software educacional.

Benefícios da Modelagem de dados

A modelagem de dados estrutura os dados de uma forma que permite empresários e líderes para acessar e utilizar it eficientemente. It transforma os dados em uma ferramenta valiosa para obter insights e tomar decisões informadas.

Integrando diversos sistemas

A integração de sistemas díspares é um desafio para muitas organizações, especialmente quando silos de dados existem em múltiplas plataformas. A modelagem de dados atua como uma ponte que conecta esses sistemas isolados, estabelecendo uma estrutura comum e um conjunto de regras sobre como os dados são estruturados e relacionados.

Implementando um modelo de dados padroniza dados formatos, terminologias e relacionamentos entre diferentes sistemas. Como resultado, as equipes de dados podem resolver as inconsistências e discrepâncias que dificultam integração de dados.

Essenciais de Design de Banco de Dados

Ao projetar bancos de dados, a modelagem de dados serve como uma estrutura fundamental que molda a forma como bancos de dados e repositórios são conceituados e construídos. O processo envolve uma abordagem detalhada e multifacetada para descrever e estruturar dados adaptados para atender às necessidades e objetivos específicos de uma empresa.

Dessa forma, as empresas podem construir bancos de dados que suportam recuperação e análise eficientes de dados, essenciais para tarefas como gerenciamento de relacionamento com clientes ou marketing direcionado.

Além disso, um modelo de dados bem projetado antecipa necessidades futuras e escalabilidade, permitindo ajustes e expansões no design do banco de dados à medida que as necessidades dos negócios evoluem. Essa previsão no design garante que o banco de dados continue sendo um ativo adaptável ao longo do tempo.

Inteligência Empresarial Eficaz

A modelagem de dados é uma etapa crítica para garantir que as informações que uma empresa usa sejam bem organizadas e fáceis de manusear pelas ferramentas de BI. Ele mantém a eficácia das estratégias e ferramentas de BI, categorizando os dados em um formato que é facilmente processado pelos sistemas de BI.

A modelagem de dados mantém os dados relevantes e organizados de forma lógica, facilitando a identificação de padrões, a análise de tendências de gastos e a participação em análises preditivas. Assim, quando as empresas utilizam ferramentas de BI, elas podem descobrir rapidamente insights significativos e tomar decisões informadas com base em uma estrutura de dados sólida e compreensível.

Desenvolvimento Eficiente

A modelagem de dados reduz a complexidade do desenvolvimento de software, pois fornece um roteiro claro e detalhado. Ferramentas de modelagem de dados automatizar o processo de criação e manutenção de esquemas de banco de dados, agilizando todo o processo de desenvolvimento.

Os desenvolvedores também podem compartilhar modelos de dados perfeitamente, garantindo que todos estejam na mesma página. Esse entendimento compartilhado é fundamental quando mudanças precisam ser feitas. Sempre que é feita uma alteração no modelo de dados, as ferramentas de modelagem de dados a propagam automaticamente para o banco de dados, eliminando o risco de inconsistências ou erros.

Este clA aridade acelera o processo de desenvolvimento e melhora a qualidade do produto. Na verdade, os sistemas desenvolvidos sob a orientação de um modelo de dados bem estruturado apresentam menos bugs e geralmente são entregues mais rapidamente.

Facilita a migração para a nuvem

A modelagem de dados ajuda com migrando dados para a nuvem sem problemas criando um plano claro e organizado de como os dados são estruturados. O projeto inclui detalhes sobre os relacionamentos entre diferentes partes de dados, facilitando o mapeamento e a adaptação da estrutura para atender aos requisitos de um ambiente de nuvem. In essência, it alinha o design do banco de dados com os requisitos de ambientes de nuvem.

Simplifica a comunicação externa

A modelagem de dados também melhora a comunicação com partes interessadas externas, fornecendo uma representação visual de como os dados são estruturados e relacionados a um sistema. Os modelos de dados servem como uma linguagem comum que facilita discussões sobre requisitos de dados e compreensão geral do projeto.

A partilha destes modelos ajuda a transmitir informações complexas num formato mais compreensível e padronizado, melhorando a comunicação e a compreensão eficazes entre as organizações e as partes interessadas externas.

A integração de um modelo de dados com BI melhora ainda mais a comunicação, tanto interna quanto externa. Ele garante que os insights baseados em dados derivados das ferramentas de BI sejam apresentados de maneira clara e concisa, alinhada com definições e estruturas padronizadas. Isto é particularmente importante ao compartilhar insights com partes externas que podem não estar familiarizadas com os sistemas de dados internos da organização.

Modelagem de dados Melhores Práticas

Tem a algumas práticas recomendadas que pode otimizar da modelagem geral de dados processar e garantir que o modelo de dados resultante seja eficaz.

Alinhe o processo com as metas de negócios

Planeje o processo de modelagem de dados para que o modelo de dados esteja alinhado aos objetivos de negócios. Colabore com analistas de negócios e partes interessadas para garantir que o modelo represente com precisão os processos de negócios. Desta forma, o modelo de dados apoia diretamente as estratégias e decisões de negócio, aumentando a sua relevância e eficácia.

Manter documentação abrangente

A documentação adequada do modelo de dados é essencial para clareza sobre a estrutura do banco de dados e garante sua usabilidade para desenvolvedores e partes interessadas. Deve detalhar quais dados são armazenados, como são usados ​​e seus relacionamentos. A documentação abrangente simplifica a compreensão e utilização do modelo de dados, facilitando a integração de novos membros da equipe e ajudando em modificações futuras.

Selecionar A Técnica de modelagem apropriada

Escolha uma técnica de modelagem de dados que melhor se adapte ao tipo de dados e ao caso de uso. Por exemplo, use modelagem relacional para aplicativos de usuário final e modelagem dimensional para tarefas focadas em análise. A opção pela técnica certa maximiza a eficiência e a eficácia, garantindo que o modelo de dados seja estruturado de maneira ideal para necessidades de negócios e casos de uso específicos.

Use Convenções de nomenclatura claras e consistentes

Usar convenções de nomenclatura claras e simples torna os modelos de dados mais fáceis de ler e a manter. It simplifica o desenvolvimento do banco de dados e reduz a confusão entre os membros da equipe. Por exemplo, usando nomes como Identificação do Cliente em vez de confundir abreviaturas como IDCust deixa claro o que o campo significa e ajuda na compreensão e colaboração.

Esforce-se pela simplicidade

Na modelagem de dados, é importante focar em o que é essencial agora, em vez de criar uma solução excessivamente complexa. Por exemplo, uma pequena empresa deve modelar a escala atual, o que envolve a gestão de gigabytes de dados com tráfego moderado de utilizadores, em vez de uma engenharia excessiva para o futuro, o que pode exigir o tratamento de terabytes e tráfego pesado.

Esta prática pode economizar tempo e recursos valiosos, concentrando-se nas necessidades imediatas. Além disso, garante que o modelo de dados não seja excessivamente complicado e permaneça ágil o suficiente para se adaptar à evolução dos negócios.

Use Modelos de dados flexíveis para adaptação futura

A criação de modelos de dados flexíveis permite que os bancos de dados se adaptem às mudanças nas necessidades dos negócios. A flexibilidade adicional facilita a adição de novas fontes de dados ou a realização de alterações na estrutura de dados. Por exemplo, usar um esquema flexível em um banco de dados NoSQL permite adicionar novos atributos de dados facilmente e sem causar problemas com os dados existentes.

Incorporare Data Governança e Segurança

Ao projetar modelos de dados, é importante fornecer dados governança e segurança sua devida parcela de importância desde o início. Fazer isso garante que os dados são armazenados, acessados ​​e gerenciados conforme regras e diretrizes de segurança. Por exemplo, usando controle de acesso baseado em função (RBAC) nos dados modelo, acesso o acesso a dados confidenciais é limitado a pessoas autorizadas, tornando os dados mais seguros e em conformidade com os regulamentos.

Palavra Final

A modelagem de dados é significativa na integração de sistemas e no suporte à inteligência de negócios. A aplicação das técnicas corretas de modelagem de dados pode levar a maior eficiência, comunicação mais clara entre as equipes e melhor tomada de decisões.

 

Contato

 

https://www.astera.com/pt/type/blog/data-modeling

O que é uma Solução de Apoio à Decisão?

Solução de Apoio à Decisão (SAD) também conhecido Business Intelligence ou Business Analytics, é a especialidade da e-Setorial: transformar dados em informações úteis para auxiliar a tomada de decisões. A partir da integração de dados oriundos de diversas fontes, é possível organizá-los, categorizá-los e filtrá-los em uma única plataforma. Oferecemos ferramentas visuais intuitivas que permitem a análise e compartilhamento das informações com sua equipe, assegurando a confiabilidade da escolha do gestor. 

(modelos de dashboards oferecidos pela e-Setorial)

Confira o Workflow das nossas Soluções de Apoio à Decisão.

 

Não entendeu muito bem? A gente exemplifica. O seguinte caso aconteceu com uma distribuidora de carros da Toyota: 

No final dos anos 90, a empresa enfrentou grandes problemas em sua cadeia de operações. O custo de armazenamento de carros se elevou e ela não estava mais conseguindo fornecer o produto a tempo para seus clientes. Utilizava computadores que geravam uma quantidade enorme de dados e relatórios que não eram utilizados estratégicamente porque nem sempre eram exatos e muitas vezes eram fornecidos tarde demais - o que atrasava a tomada de decisões.

Uma nova CEO foi contratada. Ela identificou algumas soluções: primeiro, a necessidade de um Data Warehouse - um repositório central de dados, organizado e de fácil acesso. Segundo, a necessidade de implementação de ferramentas de software para efetuar a manipulação desses dados. O novo sistema implantado infelizmente não funcionou de maneira correta: a entrada de dados históricos incluiam anos de erros humanos que foram desapercebidos, dados duplicados, inconsistentes e falta de importantes informações. Tudo isso gerou análises e conclusões precipitadas sobre o funcionamento da distribuidora.

Apenas em 1999 a empresa resolveu implantar uma plataforma de Business Intelligence. Em questão de dias o sistema apresentou bons resultados. Por exemplo, descobriram que a empresa era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). Entre 2001 e 2005, o volume de carros negociados aumentou em 40%, o tempo de trânsito foi reduzido em 5%. Esses e vários outros  benefícios ajudaram a Toyota a alcançar as maiores margens de lucro no mercado automotivo desde 2003, e estão aumentando consistentemente a cada ano desde então. Além disso, um estudo realizado pela IDC Inc. em 2011, indicou que a instituição alcançou, naquele ano, um retorno de pelo menos 506% sobre o investimento em BI.

dado-informacao-conhecimento-inteligencia

Esse é apenas um dos inúmeros casos que ilustram a eficiência dessas soluções capazes de integrar e interpretar dados, transformando-os, de alguma forma, em Informação relevante ao seu negócio, possibilitando, com a devida análise, a criação de Conhecimento. Através da utilização e da gestão deste conhecimento nasce a Inteligência. 

Mais de 15 anos passaram desde que a Toyota adotou o BI. Atualmente, geramos mais de 2.5 quintilhões de bytes de dados diariamente, sendo que 90% dos existentes hoje foram criados nos últimos 2 anos. A tendência é que esse número cresça de uma forma cada vez mais rápida. 

E você, o que vai fazer com os seus dados? 

Serviços

Em busca da informação gerencial estratégica, reunimos as técnicas mais modernas de software, processos e pessoas especializadas para conceber soluções completas de acordo com a sua necessidade. O objetivo é fazer você concentrar seus esforços naquilo que importa: o seu produto ou serviço!

A e-Setorial disponibiliza uma completa gama de serviços voltados para: