A Natura acaba de colocar em operação sua Busca Inteligente, serviço de busca baseada na IA AWS que auxilia mais de 1 milhão de consultoras, que hoje realizam cerca de 400 buscas por minuto diariamente.

Overview

A Natura é uma das líderes do setor de beleza e cosméticos na América Latina, com uma presença significativa e impactante na região. Com marcas renomadas como Natura e Avon, o grupo abrange uma ampla gama de produtos e serviços, que vão desde cuidados com a pele e cabelos até fragrâncias e maquiagem. Hoje, a Natura conta com 14,5 mil colaboradores distribuídos em 18 países, além de cinco fábricas e 19 centros de distribuição.

Essa estrutura atende a mais de 900 lojas próprias e franquias e às cerca de 3,5 milhões de consultoras de beleza e representantes das marcas, sendo mais de 1,6 milhão delas no Brasil. Além da estrutura física, as consultoras também contam com um sistema de busca de produtos, que a companhia acaba de modernizar com o uso de inteligência artificial (IA) generativa baseada na AWS.1186690677

O sênior cloud engineer da Natura, Eli Melo, explica que o sistema de busca anterior só permitia a busca de termos exatos, o que muitas vezes podia desestimular uma compra. “A pessoa digitava um termo e se ele não tivesse uma correspondência exata entre os produtos, não havia retorno. O usuário ficava sem resposta e não comprava”, explica, citando o exemplo do perfume Kaiak, que o sistema não encontrava se a consultora pesquisasse por “caiaque”.

Além disso, o buscador tinha uma limitação para o número de caracteres por nome de produto, o que também prejudicava a pesquisa, já que muitos cadastros eram feitos com abreviações. Para atender às expectativas das consultoras, a Natura decidiu que era hora de modernizar o sistema utilizando tecnologias mais sofisticadas e eficientes que tornassem a busca mais inteligente.

“Começamos a pensar no uso de algoritmos e de IA para a realização da busca. Durante o período de estudos, entramos em contato com a AWS, que nos proporcionou uma imersão no uso de serviços baseados em IA”, conta. De acordo com Melo, um dos produtos que se materializou como solução foi justamente o Amazon OpenSearch Service, que já traz embutidos algoritmos que permitem buscas por contexto e por fonética, além do texto.

Eli Melo - Sênior cloud engineer da Natura

"Durante o período de estudos, entramos em contato com a AWS, que nos proporcionou uma imersão no uso de serviços baseados em IA”"

Solução | Construindo uma solução inteligente

O executivo explica que, para que a busca se realizasse como deveria, havia a necessidade de aplicar algoritmos de IA sobre a base de dados dos produtos. Desta forma, a solução foi encontrada em algoritmos já existentes, como busca fonética, busca vetorial e geração de tags por meio de Modelos de Linguagem (LLM), possibilitando uma busca que poderia ser considerada inteligente.

Daí a decisão de desenvolver uma solução de busca interna, baseada em serviços AWS como o Amazon OpenSearch, que oferece flexibilidade no armazenamento dos dados cadastrais dos produtos e possibilita a aplicação de uma variedade de algoritmos de Machine Learning (ML), permitindo a obtenção de buscas fonéticas, vetoriais e outras; o Amazon Bedrock, que permite o pagamento por demanda, eliminando a preocupação com instanciar e com a manutenção da infraestrutura. “Com o Bedrock, além de acessarmos uma variedade de LLMs disponíveis, também podemos aproveitar as integrações nativas com outros serviços da AWS, que torna a solução mais simples de ser operada”, explica Melo, lembrando que os modelos LLM também permitiram a adição de termos (na forma de tags), relacionando os produtos cadastrados com termos contextualmente pertencentes.

A solução também utilizou o AWS Lambda, que com sua abordagem serverless permite a execução de códigos sem a necessidade de gerenciar servidores, com escalabilidade automática e pagamento apenas pelo tempo de execução. Melo ressalta que este conjunto forma uma infraestrutura mais flexível, desenhada da seguinte forma:

Esta arquitetura traz um fluxo que começa com a entrada do cliente para a API de busca, realizando uma consulta semântica no cluster do Amazon OpenSearch, enquanto também alimenta um pipeline com dados sobre o comportamento do usuário (produtos mais buscados, buscas sem retorno etc.). Enquanto isso, na inserção de novos produtos, a IA generativa compõe o pipeline para enriquecer os metadados do produto, para auxiliar no momento da busca:

“Fomos trabalhando estas ideias em um caminho de estudos, tentativas, erros. Um ponto legal é que na AWS temos facilidade de subir coisas, testar, validar etc. Um teste simples não leva meses. Esta celeridade nos ajudou a mostrar valor rapidamente”, afirma. O executivo explica que, desta forma, um primeiro ambiente não produtivo foi desenvolvido, mostrando que as questões relativas ao sistema anterior foram resolvidas. Assim, o sistema de busca foi sendo aprimorado até ser colocado em ambiente produtivo, inicialmente com 5% da equipe de vendas, com foco na realização de testes e coleta de métricas. Da idealização até esta primeira versão, todo o desenvolvimento foi realizado em um mês.

O sênior cloud platform engineer & DevOps da Natura para a América Latina, Marcelo Fabricanti, lembra que esta primeira versão foi entregue completamente funcional, permitindo aprimoramentos como a inclusão de novas métricas. “Hoje mapeamos o que as pessoas pesquisam e estamos indo para uma terceira fase: se o resultado da pesquisa foi para o carrinho e em que página estava o resultado da pesquisa. Estamos trabalhando na relevância. É um processo de longo prazo”, diz.

Próximos passos | Aprimorando resultados e vendas

Fabricanti destaca que desde a implementação da Busca Inteligente foi constatado um aumento não apenas nos resultados obtidos, mas também em sua precisão. Hoje a solução está disponível para 100% das mais de um milhão de consultoras da Natura no Brasil, responsáveis por realizar cerca de 400 buscas por minuto diariamente.

Em relação ao sistema anterior, a Natura registrou ganhos como 205 mil buscas com produtos adicionados pelo novo sistema; 54 mil buscas com retorno que não seriam atendidas pelo sistema anterior; e 99% de buscas com produtos relacionados, adicionados ao retorno. “Podemos concluir que o novo mecanismo de busca não só inclui produtos, como também gera retornos que, em muitos casos, com o sistema antigo nenhum produto seria retornado. Isso resulta em um aumento significativo na probabilidade de o usuário adicionar produtos ao carrinho, o que consequentemente aumenta a possibilidade de conversão”, afirma.

Fabricanti destaca ainda que, ao analisar o desempenho da Busca Inteligente, seu time constatou que, em média, as consultas são concluídas em menos de 50 milissegundos, o que indica não apenas melhorias funcionais, mas também um ganho de performance em comparação ao sistema anterior. “A ideia para o futuro é utilizarmos o novo mecanismo em todos os nossos canais: apps, consumidores finais etc. Hoje estamos em uma das aplicações, mas há outros canais que ainda podem receber esta busca renovada. A ideia é expandirmos para todos os canais”, conclui.

Sobre a Natura

A Natura é uma das líderes do setor de beleza e cosméticos na América Latina. Com marcas como Natura e Avon, o grupo conta com cerca de 16 mil colaboradores distribuídos em 18 países, além de cinco fábricas e 19 centros de distribuição.

Serviços AWS utilizados

Contato

A implantação do data lake da Prefeitura beneficiou diferentes secretarias, ampliou a produtividade dos colaboradores e resultou em uma entrega de serviços à população ainda mais consistente

RESULTADOS COM O GOOGLE CLOUD

• 41,3 TB de dados armazenados e 9,5 TB de dados processados diariamente
• Mais de 6 milhões de leituras OCR processadas por dia no CIVITAS
• Mais de 1.400 casos que usaram informações geradas por captura de imagem a partir da IA
• Redução do tempo de resposta ao cidadão propiciado pelo chatbot, de 30 para 5 min

A implantação do data lake da Prefeitura beneficiou diferentes secretarias, ampliou a produtividade dos colaboradores e resultou em uma entrega de serviços à população ainda mais consistente

O Escritório de Dados da Cidade do Rio de Janeiro começou a operar em 2022. A divisão surgiu com a missão de ampliar a eficiência da administração municipal baseando-se em dados e evidências. Atualmente, o Escritório - que agora faz parte da IplanRio, empresa municipal de tecnologia comandada por Carabetta - integra uma infraestrutura única de dados, que centraliza informações essenciais da Prefeitura Municipal e suas diversas secretarias.

Mas, para que esta transformação relacionada aos dados fosse possível, uma outra história começou a ser contada, ainda em 2021, na Secretaria de Transportes - onde houve um pedido inicial relacionado ao monitoramento de ônibus na cidade via GPS, em tempo real, e que demandaria uma análise mais aprofundada.

“O GPS havia sido implantado desde 2011 na rede de transportes rodoviários da cidade. No entanto, precisava ser melhor aproveitado. O objetivo era criar uma infraestrutura para salvar essas informações do GPS que aparecem em feed e depois processá-las. A intenção, com isso, era realizar diversas análises, saber qual ônibus passa em determinado horário e verificar de perto as atividades das companhias prestadoras de serviços”, detalha João Carabetta, Chefe Executivo de Tecnologia da Prefeitura do Rio de Janeiro.

Além da necessidade diretamente ligada à pasta de Transportes, outras foram surgindo com o tempo. No setor público, muitos órgãos enfrentam dificuldade de acesso, integração e governança dos próprios dados, com uma infraestrutura física que é, muitas vezes, limitada. Portanto, a ideia era contar com uma infraestrutura integrada e completa, que permitisse novas soluções a todas as secretarias municipais do Rio de Janeiro.

A modernização trazida pelo uso das ferramentas em nuvem

Logo no começo de 2022, houve uma fase de consulta pública para definir qual empresa poderia encabeçar o projeto de data lake da Prefeitura, ocasião em que diversos prestadores de serviços divulgaram seus preços e requisitos, abrangendo cada stack de ferramentas tecnológicas.

Nesta etapa, o Google Cloud ganhou espaço. Um dos grandes diferenciais apresentados foi o BigQuery, que contava com suporte para treinar modelos de IA e possuía o melhor desempenho e custo-benefício, algo essencial para abstrair a complexidade de computação e administração de recursos.

Desse modo, a arquitetura inicial foi montada em cerca de três a quatro meses, priorizando a governança e o controle de acessos dos usuários. Logo na sequência, os dados começaram a ser integrados gradualmente, abrindo caminhos para o que seria o conceito de centralização dos dados operacionais e transacionais da Prefeitura.

Em junho de 2022, houve o lançamento do data lake, contendo algumas das bases de dados mais importantes da Prefeitura do Rio de Janeiro. Hoje, diversas soluções do órgão público já operam dentro dessa plataforma, que continua expandindo e incluindo mais projetos a cada ano.

As funcionalidades oferecidas pela nuvem, especialmente relacionadas ao BigQuery, tornaram-se destaque em razão da facilidade de uso e possibilidade de escala. João Carabetta.

Nova era: um data lake que daria as boas-vindas a diferentes projetos

Agora, informações essenciais são centralizadas na Prefeitura Municipal do Rio de Janeiro, como folha de pagamento de funcionários; dados escolares (incluindo frequência e boletins dos estudantes); dados de transporte, como GPS de ônibus em tempo real; dados de saúde, abrangendo tanto o estoque de medicamentos quanto os históricos clínicos de pacientes; e dados de segurança pública, como a identificação de veículos que rodam na cidade em tempo real.

Nós descobrimos que, para leitura de imagem, o Gemini é destaque na identificação de contexto. Desde um simples alagamento e um carro parado na pista, até pessoas andando dentro de um túnel, enfim, tudo o que pode representar algum risco de segurança pode ser mapeado com a ajuda do Gemini.
João Carabetta, Chefe Executivo de Tecnologia, Prefeitura do Rio de Janeiro

Embora nem todos os dados estejam disponíveis publicamente, alguns podem ser acessados por meio do portal DataRIO e suas APIs, possibilitando aos cidadãos a utilização dessas informações para consulta e análise próprias.

No que se refere à estrutura técnica, o Escritório de Dados, agora incorporado ao IplanRio, empresa municipal de tecnologia, usa clusters no Google Kubernetes Engine para hospedar serviços e rodar aplicações, que também suportam a infraestrutura de ETL para o BigQuery. O Cloud Storage é útil para montar tabelas externas. Além disso, o chatbot da Prefeitura, de atendimento ao público, foi implementado no Dialogflow, com webhooks no GKE integrando serviços on-premise. O Dialogflow faz fluxos interacionais e atua no 1746 para atendimento ao cidadão, uma iniciativa focada em zeladoria urbana.

Mas as novidades seguiram em curso, e as soluções do Google Cloud passaram a ser fundamentais para atender também à área da segurança pública. A Central de Inteligência, Vigilância e Tecnologia de Apoio à Segurança Pública, CIVITAS, que é responsável por unir os dados municipais e analisá-los a partir do olhar da segurança pública e de tecnologias avançadas, faz uso extensivo do Gemini. Por meio de uma sala de situação no Centro de Operações Rio e do uso da IA, milhares de câmeras e radares da cidade são utilizados para monitorar veículos suspeitos, identificar placas clonadas e agir em outras situações de risco.

Números que comprovam os avanços da transformação tecnológica

De forma geral, a infraestrutura adotada pelo órgão público aumentou a produtividade dos colaboradores, liberando os profissionais para se concentrarem em análises e estratégias, em vez de direcionar o foco para questões técnicas.

Agora, o Escritório consegue criar soluções de dados em poucos dias ou semanas, escalando facilmente para volumes massivos (terabytes e petabytes) sem alterar a infraestrutura. Nos dias atuais, a Prefeitura Municipal reúne 41,3 TB de dados armazenados; 9,5 TB de dados processados diariamente, 49 sistemas integrados e 10,5M de queries performadas. O Data Office, que une a Secretaria de Saúde, a Secretaria de Transportes, a Secretaria de Educação, o Rio Águas, a Gestão de Pessoal e o CIVITAS, o Centro de Operações, além do AlertaRio, entre outros, alcançou métricas significativas.

No caso do CIVITAS, em média, são processadas mais de 6 milhões de leituras de OCR por dia e, em menos de um ano, já ocorreram mais de 1.400 casos que usaram as informações geradas por meio de captura de imagem com o auxílio da IA generativa, e mais de 7 mil placas de veículos suspeitos cadastradas no Cerco Eletrônico.

Outros projetos impressionam pelo desempenho no que diz respeito ao atendimento à população. O chatbot viabilizado pela IA, que é o canal direto de comunicação para tratar da zeladoria urbana do município, registrou um tempo de resposta ao cidadão que diminuiu de 30 para 5 minutos, em mais de 30 mil conversas por mês.

Esses são apenas alguns dos programas liderados pelo município e que contam com o Escritório de Dados para o seu pleno funcionamento. Assim, as métricas e os resultados positivos colhidos ao longo do tempo comprovam que as ferramentas em nuvem não apenas promoveram essa revolução dos dados internos da Prefeitura, como também aprimoraram de maneira expressiva a acessibilidade e a eficiência dos serviços oferecidos ao cidadão.

Temos objetivos audaciosos. Um dos principais é o crescimento do CIVITAS, e a ideia é expandir o número de câmeras da cidade. Estamos começando a usar agentes de IA também, para realizar leitura e relatório de segurança, com o intuito de automatizar o nosso trabalho.
João Carabetta, Chefe Executivo de Tecnologia, Prefeitura do Rio de Janeiro

O Escritório de Dados é um centro de pesquisa, formação e divulgação em ciência e visualização de dados da Prefeitura da Cidade do Rio de Janeiro.

Indústria: Setor Público

Localização: Brasil

Produtos: BigQuery, Cloud Storage, Dialogflow, Gemini, Google Kubernetes Engine

Contato

Modelagem de dados é o processo de estruturar e organizar dados para que possam ser lidos por máquinas e acionável para as organizações.

Neste artigo, exploraremos o conceito de modelagem de dados, incluindo sua importância, tipos e melhores práticas.

O que é uma Modelo de dados?

Um modelo de dados é uma estrutura que organiza os elementos de dados e padroniza como eles se relacionam entre si.

Os dados moldam tudo, desde avanços científicos até a experiência personalizada de serviços de streaming. Informa como os negócios crescem, influencia as políticas públicas e até afeta o entretenimento que aparece em nossas telas. Mas os dados brutos são como um diamante bruto – valiosos, mas que necessitam de refinamento. Os modelos de dados nos ajudam a compreender e utilizar dados brutos em qualquer sistema. Eles descrevem os vários elementos de dados, como detalhes de clientes ou registros de transações, e ilustram as conexões entre eles.

Portanto, um modelo de dados não é apenas um auxílio visual que traz clareza a dados vastos e complexos, mas também uma ferramenta estratégica que molda a forma como os dados são configurados para uso ideal. Um modelo de dados bem projetado pode ajudar as organizações a melhorar as operações, reduzir custos e tomar melhores decisões.

O que é o Modelagem de dados?

Modelagem de dados é o processo de criação de modelos de dados. Ele atua como um processo de refinamento de dados brutos, pois define sua estrutura e atributos e transforma isso em um recurso acionável.

A modelagem de dados envolve a criação de uma representação visual detalhada de um sistema de informação ou de seus componentes. Ele foi projetado para comunicar as conexões entre vários pontos de dados e estruturas. Este processo abrange a análise e definição dos diversos tipos de dados que uma empresa reúne e gera, com foco em seus intrincados relacionamentos, agrupamentos e estrutura organizacional.

Com uma combinação de texto, símbolos e diagramas, modelagem de dados oferece visualização de como os dados são capturados, armazenados e utilizados em uma empresa. Serve como um exercício estratégico para compreender e esclarecer os requisitos de dados do negócio, fornecendo um modelo para gerenciar dados desde a coleta até a aplicação.

Conceitos de modelagem de dados: tipos de dados Modelos

A classificação de modelos de dados em tipos distintos é uma abordagem estratégica que reflete os estágios de evolução da representação e gerenciamento de dados dentro de uma organização. Ele serve um propósito sequencial no processo de modelagem de dados; desde fornecer uma abstração de alto nível até investigando detalhes específicos para traduzir estruturas lógicas em implementações tangíveis. Aqui estão os três tipos de modelos de dados:

Modelo de Dados Conceituais

No início, os modelos de dados conceituais fornecem uma representação de alto nível dos dados organizacionais, atendendo a um público empresarial específico. Eles se concentram na estrutura geral dos dados em relação aos objetivos de negócios, sem entrar em detalhes técnicos. Ele descreve os relacionamentos gerais entre entidades e ilustra como elas interagem dentro de um sistema.

A camada conceitual é construída independentemente de quaisquer especificações de hardware, capacidade de armazenamento ou limitações de software. O objetivo é representar os dados como vistos no mundo real. Por exemplo, um modelo conceitual em um sistema de informação hospitalar poderia delinear as relações entre pacientes, médicos e consultas.

Modelo Lógico de Dados

Seguindo o modelo conceitual, um modelo lógico de dados fornece uma visão mais detalhada dos elementos de dados e suas inter-relações. Esta camada é mais complexa e estruturada que a camada conceitual. O modelo lógico lista os requisitos do projeto, mas também pode ser integrado a outros modelos de dados, dependendo do escopo. Ele é projetado e desenvolvido independentemente do SGBD e os tipos de dados dos elementos de dados têm um comprimento preciso.

Camada de dados lógicos contém informações sobre como o modelo deve ser implementado e contornos atributos específicos de elementos de dados. Por exemplo, em um sistema de gerenciamento de relacionamento com o cliente, a modelagem lógica detalha como os registros do cliente se relacionam com pedidos de compra e tickets de suporte, incluindo atributos como ID do cliente, histórico de compras e registros de interação.

Dados físicos Modelos

Finalmente, os modelos de dados físicos concentram-se nos aspectos técnicos do design do banco de dados, definindo como o modelo de dados será implementado no banco de dados. O diagrama do modelo de dados físicos ajuda a visualizar toda a estrutura do banco de dados. Contém a tabela de relacionamentos entre os dados, abordando a nulidade e cardinalidade desses relacionamentos. Os modelos de dados físicos são projetados e desenvolvidos especificamente para uma versão específica do SGBD, a tecnologia usada para o projeto, o armazenamento de dados necessário e a localização.

Um modelo de dados físicos especifica a estrutura das tabelas, os relacionamentos entre elas e os índices para recuperação eficiente de dados. Por exemplo, em um banco de dados SQL, a modelagem física de dados define como as tabelas são estruturadas e como elas se relacionam entre si.

Juntos, esses modelos de dados simplificam a forma como os dados são organizados e compreendidos pelos profissionais de dados.

O processo de modelagem de dados: Como criar um modelo de dados

A modelagem de dados é um processo estruturado que envolve um conjunto de técnicas para representar dados de forma abrangente. Inclui várias tarefas sequenciais conduzidas repetidamente para garantir que os dados sejam organizados de forma eficiente e atendam aos requisitos do negócio.

Como parte do processo, comece envolvendo as partes interessadas relevantes para compreender a finalidade do modelo de dados. Deve fornecer respostas a perguntas como: Que dados são necessários? Como será acessado? Que perguntas ele deveria responder? Que problemas isso resolverá? Defina o escopo para evitar complexidade desnecessária.

Identificar Entidades

A do estado inicial, etapa do processo de modelagem de dados é identificar os componentes ou objetos principais, chamadas entidades. Eentidades são representações de objetos, conceitos ou eventos reais encontrados no conjunto de dados que Cria modeloing. Podem ser coisas tangíveis, como clientes, ou conceitos abstratos, como transações. Está importante garantir que cada entidade seja única e logicamente distinta das outras, pois evita confusão de dados e mantém a clareza do modelo de dados.

Definindo Atributos

Depois de identificar uma entidade, o próximo passo é para definir suas propriedades únicas, que são chamados atributos. Por exemplo, for modelando um PRODUTOS entidade, os atributos podem ser produto nome preço, fabricante e descrição. Análises de esses atributos pode dar uma compreensão mais profunda das características inerentes de cada entidade.

Especificando o relacionamento

A próxima etapa no processo de modelagem de dados é definir os relacionamentos entre diferentes entidades. Diferentes notações e convenções, como o Linguagem de modelagem unificada (UML), são usados ​​para definir esses relacionamentos e para representar e documentar visualmente as conexões entre entidades e seus atributos.

Ao definir relacionamentos entre entidades, também é importante considerar sua cardinalidade, ou seja, se o relacionamento será um para um, um para muitos, muitos para um ou muitos para muitos. Adicionalmente,

Por exemplo, ao modelar uma entidade aluno e curso em um banco de dados universitário, o relacionamento poderia ser tal que cada aluno pudesse estar matriculado em vários cursos (relacionamento um-para-muitos). Isso descreverá como alunos e cursos estão interconectados em um modelo de dados.

Mapeando os atributos para entidades

Mapeamento A definição de atributos para entidades tem como objetivo garantir que o modelo de dados reflita claramente como a organização usará os dados. Com base em seus requisitos específicos, os desenvolvedores podem aplicar padrões formais de modelagem de dados, como padrões de análise ou padrões de design.

Considere, por exemplo, uma loja online com entidades como cliente e pedido. A entidade cliente normalmente possui atributos como nome e endereço, enquanto a entidade pedido possui atributos como data do pedido e valor total.

Os atributos devem estar vinculados à entidade apropriada para demonstrar como as informações e os pedidos dos clientes são tratados com precisão. Dependendo da situação, padrões como Customer-Order podem ser usados ​​para otimizar o modelo de dados.

Atribuindo Chaves

Atribuir chaves (identificadores numéricos) é selecionar cuidadosamente o tipo apropriado de chave (primária, estrangeira, etc.) para cada entidade com base na natureza dos dados e nos requisitos da base de dados.

Ao atribuir chaves, euÉ importante encontrar o equilíbrio certo entre reduzir a redundância e atender aos requisitos de desempenho. Isto é feito através da normalização, que atribui chaves a grupos de dados para representar relacionamentos sem repetir informações.

Por exemplo, ao criar um modelo de dados para um banco de dados de biblioteca, em vez de digitando o nome do autor em cada livro, dê a cada autor um número exclusivo, como um ID do autor. Em seguida, vincule esse ID a cada livro para indicar o autor. Dessa forma, o nome do autor não se repetirá em todos os livros, facilitando ao leitor a localização de livros do mesmo autor.

Tenha em mente que a normalização envolve uma compensação entre a redução da redundância e o aumento da complexidade. Em alguns casos, a desnormalização pode ser considerada por razões de desempenho, mas deve ser feita criteriosamente para evitar a introdução de anomalias na atualização de dados.

Finalizando o modelo de dados

O processo de modelagem de dados está em constante evolução para se adaptar às novas necessidades do negócio. Portanto, realizar revisões regulares através de avaliações programadas e feedback das partes interessadas é essencial. Faça os refinamentos necessários para garantir que o modelo de dados esteja alinhado com os objetivos da organização.

Por exemplo, ao gerenciar as finanças da empresa é simples no início, à medida que o negócio cresce, os seus dados financeiros crescem. Neste caso, é necessário atualizar regularmente o modelo financeiro para incluir dados mais recentes. Ele garante que o modelo de dados sempre reflita o quadro financeiro completo e ajuda no planejamento financeiro preciso.

Tipos de técnicas de modelagem de dados

As técnicas de modelagem de dados têmolhado ao longo dos anos com avanços em tecnologia. A seção a seguir investiga tipos proeminentes de técnicas de modelagem de dados, cada uma oferecendo perspectivas e metodologias exclusivas para representando os relacionamentos entre entidades de dados e suas interações dentro de um determinado sistema. Tem Vários tipos de modelagem de dados:

Técnicas Tradicionais de Modelagem de Dados

Este e guarante que os mesmos estão da técnicas usadas extensivamente nos primeiros dias de dados, modelagem, mas eles ainda estão em uso hoje.

Modelagem Hierárquica de Dados

Na modelagem hierárquica de dados, um único nó pai é conectado a vários nós filhos, criando uma estrutura ramificada que se assemelha a uma árvore. Cada nó pai pode ter vários filhos, mas cada nó filho tem apenas um pai, criando uma hierarquia de dados clara e organizada.

No nível superior da hierarquia, está o nó raiz, que representa a entidade principal, e cada ramificação representa uma entidade de dados diferente que está conectada ao nó raiz.

Por exemplo, no banco de dados de uma organização, a entidade CEO é a raiz, tendo os Gerentes de Departamento como filhos, que por sua vez têm Funcionários como filhos.

Modelagem de Dados Relacionais

A modelagem de dados relacionais é um método para bancos de dados de design com base nos princípios do modelo relacional. Este modelo organiza os dados em tabelas com linhas e colunas e permite vários tipos de relacionamentos, como um para um, um para muitos e muitos para muitos. A principal característica do modelo relacional é que ele vincula dados entre tabelas usando elementos ou chaves de dados comuns.

Isto permite eficiência e eficácia gestão de dados e fácil acesso e recuperação de informações. O modelo relacional também facilita a análise e a elaboração de relatórios de dados, tornando-o uma ferramenta valiosa para empresas e organizações. Por exemplo, um O banco de dados de uma livraria pode ter tabelas separadas para 'Livros', 'Autores' e 'Editores', com relações estabelecidas por meio de chaves como ISBN para livros, IDs de autores e IDs de editores.

Modelagem de Dados de Rede

O modelo de dados de rede é outra forma comum de estruturar dados em um banco de dados. Estendendo os conceitos de modelagem hierárquica de dados, a modelagem de dados de rede permite que as entidades tenham vários relacionamentos pai-filho. A estrutura semelhante a uma teia resultante não é apenas sofisticada, mas também altamente flexível. Pense nisso como nós (objetos de dados) conectados por arestas (relacionamentos).

Por exemplo, em um banco de dados de uma empresa, funcionários e projetos poderiam ser nós, com arestas indicando qual funcionário trabalha em qual projeto. Este modelo oferece flexibilidade para gerenciar relacionamentos de dados complexos.

Modelo de dados orientado a objetos

O modelo de dados orientado a objetos combina elementos de programação orientada a objetos e bancos de dados relacionais. A modelagem de dados orientada a objetos estende outros métodos de modelagem de dados, representando os dados como objetos, encapsulando assim os dados e os métodos ou operações que podem ser executados nesses dados. Esses objetos possuem propriedades (atributos) e ações (métodos) próprias e podem ser conectados entre si.

Considere um objeto Car com propriedades como cor e velocidade, e ações como iniciar e parar. Agora, para um carro esportivo, ele pode ser baseado no objeto Carro e adicionar recursos específicos como turbo boost.

Técnicas de modelagem de dados amplamente utilizadas hoje

Existem algumas técnicas de modelagem de dados que são populares e mais amplamente utilizadas atualmente.

Modelagem de Dados Dimensionais

Modelagem dimensional de dados é usado para estruturar dados para fins analíticos e de relatórios. Ele organiza os dados em dois tipos de tabelas: tabelas de fatos e tabelas de dimensões As tabelas de fatos armazenam medidas numéricas, enquanto as tabelas de dimensões armazenam informações descritivas. A abordagem de modelagem dimensional permite consultas e análises eficientes para inteligência de negócios, simplificando dados complexos para obter insights significativos.

Por exemplo, num modelo de dados de vendas a retalho, a tabela de factos pode conter receitas de vendas, quantidade vendida e data, enquanto a tabela de dimensões pode armazenar detalhes sobre produtos, clientes e lojas.

Modelagem de dados de relacionamento de entidade (ER)
O relacionamento de entidades (ER) é usado para projetar bancos de dados definindo entidades (objetos) e seus relacionamentos. As entidades representam objetos do mundo real e os relacionamentos representam como essas entidades interagem.

Por exemplo, em um banco de dados universitário, aluno e curso são entidades, e o relacionamento matrícula conecta os alunos aos cursos que estão cursando.

Data Vault Mode

É uma maneira de projetar dados armazenagem é isso dissipação para manuseio grande quantidadets De dados, an organização'S mudanças de necessidades (alterando fontes e estruturas de dados)e acompanhar dados anteriores usando hubs, links e satélites. Modelagem de cofre de dados foca na agilidade e na gestão e integrando dados corporativos. Para a por exemplo, um o profissional de saúde pode usá-lo para integrar dados de pacientes de várias fontes, manutenção um registro histórico da interação do pacienteações.

Gráfico Data Mode

A modelagem de dados gráficos mostra dados como pontos e linhas conectados, tornando-os ideal para compreender e trabalhar com relacionamentos e redes complicadas. Por exemplo, uma plataforma de mídia social pode usar modelagem gráfica para analisar e visualizar as conexões e interações entre milhões de usuários.

Técnicas especializadas de modelagem de dados

Existem certas técnicas de modelagem de dados que podem ser usadas para muito específico casos de uso, cada um oferecendo benefícios exclusivos.

Por exemplo, os modelos objeto-relacionais exibem funcionalidades avançadas próprias, juntamente com a simplicidade do modelo relacional. Este tipo de modelo de dados é considerado um modelo híbrido que permite aos modeladores incorporar novos objetos em um ambiente estruturado familiarmente.

Dados multidimensionais a modelagem é usada em sistemas de processamento analítico online para modelar dados em múltiplas dimensões para análise aprofundada. Por exemplo, uma empresa de varejo pode usá-lo para visualizar dados de vendas por produto, região e horário, oferecendo uma análise abrangente das tendências de vendas.

Modelagem de dados temporais é ideal para lidar com dados que mudam com o tempo. Uma instituição financeira, por exemplo, pode usar modelagem de dados temporais para acompanhar a flutuação das taxas de juros ao longo do tempo. anos, fornecendo insights sobre tendências de mercado e ajudando no planejamento estratégico futuro.

Aprendizado de máquinas modelo o design é para análise preditiva. Por exemplo, uma empresa de varejo pode usar isso para prever aquisitivo comportamento baseado em dados históricos de compras e melhorar o gerenciamento de estoque.

Finalmente, mistura conceitual envolve combinar diferentes conceitos para inovação. Por exemplo, uma empresa de tecnologia pode usar esta abordagem para combinar conceitos de diferentes indústrias para criar um novo produto, como o uso de tecnologia de jogos em software educacional.

Benefícios da Modelagem de dados

A modelagem de dados estrutura os dados de uma forma que permite empresários e líderes para acessar e utilizar it eficientemente. It transforma os dados em uma ferramenta valiosa para obter insights e tomar decisões informadas.

Integrando diversos sistemas

A integração de sistemas díspares é um desafio para muitas organizações, especialmente quando silos de dados existem em múltiplas plataformas. A modelagem de dados atua como uma ponte que conecta esses sistemas isolados, estabelecendo uma estrutura comum e um conjunto de regras sobre como os dados são estruturados e relacionados.

Implementando um modelo de dados padroniza dados formatos, terminologias e relacionamentos entre diferentes sistemas. Como resultado, as equipes de dados podem resolver as inconsistências e discrepâncias que dificultam integração de dados.

Essenciais de Design de Banco de Dados

Ao projetar bancos de dados, a modelagem de dados serve como uma estrutura fundamental que molda a forma como bancos de dados e repositórios são conceituados e construídos. O processo envolve uma abordagem detalhada e multifacetada para descrever e estruturar dados adaptados para atender às necessidades e objetivos específicos de uma empresa.

Dessa forma, as empresas podem construir bancos de dados que suportam recuperação e análise eficientes de dados, essenciais para tarefas como gerenciamento de relacionamento com clientes ou marketing direcionado.

Além disso, um modelo de dados bem projetado antecipa necessidades futuras e escalabilidade, permitindo ajustes e expansões no design do banco de dados à medida que as necessidades dos negócios evoluem. Essa previsão no design garante que o banco de dados continue sendo um ativo adaptável ao longo do tempo.

Inteligência Empresarial Eficaz

A modelagem de dados é uma etapa crítica para garantir que as informações que uma empresa usa sejam bem organizadas e fáceis de manusear pelas ferramentas de BI. Ele mantém a eficácia das estratégias e ferramentas de BI, categorizando os dados em um formato que é facilmente processado pelos sistemas de BI.

A modelagem de dados mantém os dados relevantes e organizados de forma lógica, facilitando a identificação de padrões, a análise de tendências de gastos e a participação em análises preditivas. Assim, quando as empresas utilizam ferramentas de BI, elas podem descobrir rapidamente insights significativos e tomar decisões informadas com base em uma estrutura de dados sólida e compreensível.

Desenvolvimento Eficiente

A modelagem de dados reduz a complexidade do desenvolvimento de software, pois fornece um roteiro claro e detalhado. Ferramentas de modelagem de dados automatizar o processo de criação e manutenção de esquemas de banco de dados, agilizando todo o processo de desenvolvimento.

Os desenvolvedores também podem compartilhar modelos de dados perfeitamente, garantindo que todos estejam na mesma página. Esse entendimento compartilhado é fundamental quando mudanças precisam ser feitas. Sempre que é feita uma alteração no modelo de dados, as ferramentas de modelagem de dados a propagam automaticamente para o banco de dados, eliminando o risco de inconsistências ou erros.

Este clA aridade acelera o processo de desenvolvimento e melhora a qualidade do produto. Na verdade, os sistemas desenvolvidos sob a orientação de um modelo de dados bem estruturado apresentam menos bugs e geralmente são entregues mais rapidamente.

Facilita a migração para a nuvem

A modelagem de dados ajuda com migrando dados para a nuvem sem problemas criando um plano claro e organizado de como os dados são estruturados. O projeto inclui detalhes sobre os relacionamentos entre diferentes partes de dados, facilitando o mapeamento e a adaptação da estrutura para atender aos requisitos de um ambiente de nuvem. In essência, it alinha o design do banco de dados com os requisitos de ambientes de nuvem.

Simplifica a comunicação externa

A modelagem de dados também melhora a comunicação com partes interessadas externas, fornecendo uma representação visual de como os dados são estruturados e relacionados a um sistema. Os modelos de dados servem como uma linguagem comum que facilita discussões sobre requisitos de dados e compreensão geral do projeto.

A partilha destes modelos ajuda a transmitir informações complexas num formato mais compreensível e padronizado, melhorando a comunicação e a compreensão eficazes entre as organizações e as partes interessadas externas.

A integração de um modelo de dados com BI melhora ainda mais a comunicação, tanto interna quanto externa. Ele garante que os insights baseados em dados derivados das ferramentas de BI sejam apresentados de maneira clara e concisa, alinhada com definições e estruturas padronizadas. Isto é particularmente importante ao compartilhar insights com partes externas que podem não estar familiarizadas com os sistemas de dados internos da organização.

Modelagem de dados Melhores Práticas

Tem a algumas práticas recomendadas que pode otimizar da modelagem geral de dados processar e garantir que o modelo de dados resultante seja eficaz.

Alinhe o processo com as metas de negócios

Planeje o processo de modelagem de dados para que o modelo de dados esteja alinhado aos objetivos de negócios. Colabore com analistas de negócios e partes interessadas para garantir que o modelo represente com precisão os processos de negócios. Desta forma, o modelo de dados apoia diretamente as estratégias e decisões de negócio, aumentando a sua relevância e eficácia.

Manter documentação abrangente

A documentação adequada do modelo de dados é essencial para clareza sobre a estrutura do banco de dados e garante sua usabilidade para desenvolvedores e partes interessadas. Deve detalhar quais dados são armazenados, como são usados ​​e seus relacionamentos. A documentação abrangente simplifica a compreensão e utilização do modelo de dados, facilitando a integração de novos membros da equipe e ajudando em modificações futuras.

Selecionar A Técnica de modelagem apropriada

Escolha uma técnica de modelagem de dados que melhor se adapte ao tipo de dados e ao caso de uso. Por exemplo, use modelagem relacional para aplicativos de usuário final e modelagem dimensional para tarefas focadas em análise. A opção pela técnica certa maximiza a eficiência e a eficácia, garantindo que o modelo de dados seja estruturado de maneira ideal para necessidades de negócios e casos de uso específicos.

Use Convenções de nomenclatura claras e consistentes

Usar convenções de nomenclatura claras e simples torna os modelos de dados mais fáceis de ler e a manter. It simplifica o desenvolvimento do banco de dados e reduz a confusão entre os membros da equipe. Por exemplo, usando nomes como Identificação do Cliente em vez de confundir abreviaturas como IDCust deixa claro o que o campo significa e ajuda na compreensão e colaboração.

Esforce-se pela simplicidade

Na modelagem de dados, é importante focar em o que é essencial agora, em vez de criar uma solução excessivamente complexa. Por exemplo, uma pequena empresa deve modelar a escala atual, o que envolve a gestão de gigabytes de dados com tráfego moderado de utilizadores, em vez de uma engenharia excessiva para o futuro, o que pode exigir o tratamento de terabytes e tráfego pesado.

Esta prática pode economizar tempo e recursos valiosos, concentrando-se nas necessidades imediatas. Além disso, garante que o modelo de dados não seja excessivamente complicado e permaneça ágil o suficiente para se adaptar à evolução dos negócios.

Use Modelos de dados flexíveis para adaptação futura

A criação de modelos de dados flexíveis permite que os bancos de dados se adaptem às mudanças nas necessidades dos negócios. A flexibilidade adicional facilita a adição de novas fontes de dados ou a realização de alterações na estrutura de dados. Por exemplo, usar um esquema flexível em um banco de dados NoSQL permite adicionar novos atributos de dados facilmente e sem causar problemas com os dados existentes.

Incorporare Data Governança e Segurança

Ao projetar modelos de dados, é importante fornecer dados governança e segurança sua devida parcela de importância desde o início. Fazer isso garante que os dados são armazenados, acessados ​​e gerenciados conforme regras e diretrizes de segurança. Por exemplo, usando controle de acesso baseado em função (RBAC) nos dados modelo, acesso o acesso a dados confidenciais é limitado a pessoas autorizadas, tornando os dados mais seguros e em conformidade com os regulamentos.

Palavra Final

A modelagem de dados é significativa na integração de sistemas e no suporte à inteligência de negócios. A aplicação das técnicas corretas de modelagem de dados pode levar a maior eficiência, comunicação mais clara entre as equipes e melhor tomada de decisões.

Contato

Gostamos de resumir as vantagens da modelagem de dados em uma frase simples: você não pode gerenciar o que não pode ver.

Os dados são um dos ativos corporativos mais importantes. Claro, isso só é verdade se esses dados puderem ser encontrados, rastreados, compreendidos e alavancados adequadamente. A modelagem de dados é fundamental porque permite que as organizações visualizem essas funções e executem o projeto, desenvolvimento e implementação de ativos de dados de alta qualidade. Mas, muitas vezes, esse valor é minimizado por empresas que o percebem como "apenas" documentação ou um gargalo caro para "o trabalho real." Fazer isso é ignorar os muitos benefícios tangíveis da modelagem de dados que afetam as operações diárias e as estratégias de longo prazo.
Modelagem de dados: os dados são um dos ativos corporativos mais importantes.

Principais vantagens da modelagem de dados empresariais

Gostamos de resumir as vantagens da modelagem de dados em uma frase simples: você não pode gerenciar o que não pode ver. Em outras palavras, você precisa saber quais dados você tem, as regras que os regem e como eles se relacionam com todo o resto para ver o valor desses dados. Isso significa que a modelagem de dados é absolutamente necessária como um precursor para o gerenciamento de metadados, governança de dados e inteligência de dados.

Com uma visão integrada dos modelos de dados conceituais, lógicos e físicos, você está um passo mais perto de garantir que as informações certas sejam usadas, compreendidas e confiáveis em toda a sua empresa. Essa compreensão e confiança em seus dados desbloqueia uma série de benefícios tangíveis e mensuráveis, incluindo:

Compreensão de negócios através da descoberta, padronização e documentação de fontes de dados

Os modelos de dados corporativos fornecem uma compreensão detalhada de como um negócio opera e os dados que impulsionam essas operações. Esses modelos fornecem a visão e o insight necessários para realizar otimizações ou mudanças em larga escala padronizando e documentando os dados subjacentes. No nível da empresa, é quase impossível otimizar uma função ou processo de negócios específico sem um modelo de base que retrate ativos de dados relevantes e suas inter-relações.

Conformidade regulamentar mais rigorosa e eficaz – para agora e depois

Regulamentos como GDPR e CCPA não vão a lugar nenhum. Na verdade, eles são muito mais propensos a expandir à medida que avançamos. Isso significa que sua organização precisa aderir a eles agora, mantendo também a flexibilidade para apoiar futuras expansões. Os modelos de dados suportam essa flexibilidade ao governar equipes de modelagem de dados, processos, portfólios e ciclos de vida útil.

Caminhos mais rápidos para a transferência de conhecimento e o autoatendimento dos funcionários

A modelagem de dados atua como um tipo de documentação tanto para as equipes de TI quanto para as partes interessadas do negócio. Quando diferentes funções estão falando no mesmo idioma e compartilhando o mesmo entendimento, torna-se muito mais fácil simplificar a colaboração e aperfeiçoar o alinhamento nas principais funções do negócio. Por sua vez, essa simplicidade e alinhamento desbloqueiam o autoatendimento dos funcionários, dando-lhes a confiança de que precisam para usar os ativos de dados ao máximo.
Melhor business intelligence através da capacidade de dados, instrução e responsabilização

Quando todos em uma empresa podem ver o panorama geral elaborado por modelos de dados, torna-se muito mais fácil identificar as principais oportunidades, desafios e potenciais pontos fracos para o negócio. Os modelos de dados tornam isso possível através da introdução de uma abordagem coesa para a capacidade de dados e instrução. Se todos os funcionários forem capazes de usar e entender a entrada de dados de maneira alinhada, todos sentirão um senso compartilhado de responsabilidade quando se trata de maximizar a qualidade e o impacto desses dados.

Integrações coerentes dos sistemas de informação existentes

À medida que as empresas crescem, esse crescimento é muitas vezes acompanhado por uma rede de fontes de dados e sistemas díspares que não se comunicam entre si. A modelagem de dados pode revelar as relações entre essas fontes para eliminar redundâncias, resolver discrepâncias e ajudar os sistemas isolados a se falarem. Isso significa que você pode projetar, padronizar e implementar fontes de dados de alta qualidade que abrangem esses sistemas, enquanto também compara visualmente, analisa e sincroniza modelos de dados com ativos de dados implementados.

Design avançado de banco de dados para oferecer melhor suporte para o desenvolvimento de aplicações

A modelagem de dados permite que as organizações expliquem detalhes e requisitos específicos para a rede geral de bancos de dados conectados assim como para o design de bancos de dados individuais. Com uma visão geral clara, é muito mais fácil identificar quaisquer lacunas ou oportunidades antes que blueprints entrem em desenvolvimento. Quando seus bancos de dados são otimizados, os aplicações empresariais essenciais que dependem deles também são aprimorados.

Contato

A utilização de técnicas de Inteligência Artificial (AI) e/ou Aprendizado de Máquina (ML) promove projetos de Business Intelligence à categoria de projeto de Business Analytics.

Sem medo de me tornar repetitivo, deixo como sugestão de leitura a "Bíblia" da garimpagem de dados (Data Mining): Data Mining: Practical Machine Learning Tools and Techniques (Morgan Kaufmann Series in Data Management Systems) 4th Edição.

Muitas linguagens de programação e ferramentas podem ser adotadas para estas atividades. Costumamos utilizar uma ferramenta chamada Weka - Pentaho Data Mining, Machine learning software to solve data mining problems, integrada em nossas soluções.

Neste artigo, apresentarei a você mais de 170 projetos de ciência de dados e aprendizado de máquina resolvidos e explicados usando a linguagem de programação Python, separados em duas seções: uma para iniciantes e outra de nível avançado. 

Projetos de aprendizado de máquina para iniciantes

1. Previsão do preço das ações

2. Projeto de ciência de dados sobre Altura dos Presidentes

3. Projeto de ciência de dados sobre análise da taxa de natalidade

4. Projeto de ciência de dados em séries temporais

5. Projeto de Ciência de Dados sobre Área e População

6. Um passo a passo do projeto de aprendizado de máquina completo

7. Resumo do Texto

Projetos de aprendizado de máquina avançado

1. Previsão do preço da casa

2. Detecção de máscara facial em tempo real

3. Reconhecimento de entidade nomeada

4. Detecção da placa do número

5. Análise IPL com Python

6. Previsão do preço do ouro

7. Detecção de Objeto

8. Análise de atletas com salários mais altos

9. Geração de Texto

10. Correção ortográfica com Python

11. Classificação de renda

12. Modelo de tradução de idiomas

13. Retomar a triagem

14. Classificação da linguagem de sinais

15. Análise de Intenção de Compra Online

16. Análise de gráfico de rede

17. Extração de palavras-chave

18. Análise de livros mais vendidos da Amazon

19. Previsão de casos Covid-19 para os próximos 30 dias

20. Classificação de gênero

21. Reconhecimento de flores

22. Análise do Índice de Qualidade do Ar

23. Detecção de pneumonia

24. Previsão de atrito de funcionário

25. Reconhecimento de gestos manuais

26. Detecção de máscara facial

27. Análise de cesta de compras usando algoritmo a priori

28. Detecção de câncer de mama

29. Modelo de previsão de terremotos

30. Detecção de outlier

31. Previsão de doenças cardíacas

32. Análise de usuários de plástico

33. Chatbot com aprendizado de máquina

34. Modelo de previsão da próxima palavra

35. Idade e detecção de gênero com Python

36. Teclado de autocorreção com Python e aprendizado de máquina.

37. Aprendizado de máquina em 5 linhas de código.

38. Detecção de falsificação profunda com aprendizado de máquina.

39. Preveja as eleições dos EUA com Python.

40. Detecção de moeda falsa com aprendizado de máquina.

41. Prever partidas do Tinder com aprendizado de máquina.

42. Segmentação de imagem

43. Gerador de títulos com Python.

44. Esboço a lápis com Python.

45. OpenAI Gym em Aprendizado de Máquina

46. ​​Covid 19 Analysis.

47. Analisar correspondências ILP.

48. Leitor de código de barras e código QR com Python

49. Extraia texto de PDF com Python.

50. Prever IPL Winner 2020.

51. Preveja os preços dos carros.

52. Analisar registros de chamadas.

53. Crie uma API com Python.

54. Envie e-mails personalizados com Python.

55. Reconhecimento de cores com aprendizado de máquina.

56. Crie uma animação de vídeo 3D.

57. Graph Algorithms in Machine Learning.

58. Extração de recursos de imagem.

59. Previsão de chuva com aprendizado de máquina.

60. Classifique as nacionalidades com o aprendizado de máquina.

61. Detecção de fraude com aprendizado de máquina.

62. Modelagem de Tópico com Python

63. Reconhecimento de entidade nomeada

64. Análise de bate-papo em grupo do WhatsApp

65. Traduzir Linguagens Usando Python

66. Análise de segurança de rede

67. Corrida de gráfico de barras com Python

68. Pesquisa de palavra-chave com Python

69. Detecção de rosto com Python

70. Modelo de detecção de emoção

71. Telegram Bot com Python

72. Reconhecimento de Caligrafia

73. Visualize um sistema solar com Python.

74. Modelo de detecção de discurso de ódio

75. Construa Filtros do Instagram com Python.

76. Rastreamento de contato com aprendizado de máquina

77. Implantar um Chatbot com Python em um aplicativo da Web

78. Resuma o texto com o aprendizado de máquina

79. Classificação de idiomas com aprendizado de máquina.

80. GUI de verificação de OTP com Python

81. Crie um audiolivro com Python

82. Análise de sobrevivência do Titanic

83. Reconhecimento de imagem com PyTorch

84. Modelo de classificação de gênero

85. Previsão de nascimentos diários

86. Algoritmo de pesquisa binária

87. Classificação do Galaxy com aprendizado de máquina

88. Séries Temporais com Modelo LSTM

89. Classificação de imagem com TensorFlow

90. Preveja o clima com aprendizado de máquina

91. Crie um pacote com Python

92. Visão computacional com Python

93. Análise de diamantes com Python

94. Classificação de texto com TensorFlow

95. Segmentação de imagem com Python

96. Regressão Ridge e Lasso

97. Preveja a eficiência do combustível

98. Análise ABC com Python

99. Segmentação pulmonar com aprendizado de máquina

100. Análise RFM com Python

101. Construir rede neural com código Python

102. Algoritmo Genético com Python

103. Prever migração com aprendizado de máquina

104. Analisar dados de saúde

105. PNL para outros idiomas

106. Projeto de Ciência de Dados em Texto e Anotações

107. Data Science Project on - Handwritten Digits

108. Projeto de Ciência de Dados em - Máquinas de Vetor de Suporte

109. Projeto de Ciência de Dados - Previsão de Preço de Ações com Aprendizado de Máquina

110. Data Science Project on - Classificação do Texto

111. Projeto de Ciência de Dados sobre Extração de Características HOG

112. Data Science Project on - Análise de sentimentos de produtos da Amazon com aprendizado de máquina

113. Projeto de ciência de dados - detecção de spam de e-mail com aprendizado de máquina

114. Projeto de Ciência de Dados - Previsão de Doenças Cardíacas com Aprendizado de Máquina

115. Projeto de Ciência de Dados - Sistema de Recomendação de Filmes

116. Projeto de Ciência de Dados - Análise de Desempenho do Aluno com Aprendizado de Máquina

117. Projeto de ciência de dados sobre análise FIFA com python

118. Projeto de ciência de dados - Fake News Classification

119. Projeto de Ciência de Dados - Sequenciamento de DNA com Aprendizado de Máquina

120. Projeto de ciência de dados - sistema de recomendação de livros com aprendizado de máquina

121. Projeto de Ciência de Dados - Previsão de Preço de Bitcoin com Aprendizado de Máquina

122. Projeto de aprendizado de máquina - Redes neurais artificiais

123. Estratégia de negociação algorítmica com aprendizado de máquina e Python

124. Análise de sentimento de resenhas de filmes - Classificação binária com aprendizado de máquina

125. Projeto de Ciência de Dados - Análise de Vendas de Supermercado

126. Projeto de Ciência de Dados - Análise do PIB

127. Projeto de ciência de dados - prever a rotatividade do cliente com Python e aprendizado de máquina

128. Data Science Project - San Francisco Crime Analysis

129. Projeto de aprendizado de máquina - reconhecimento de atividade humana usando dados de smartphone

130. Detecção de fraude de cartão de crédito com aprendizado de máquina

131. Previsão do tempo com aprendizado de máquina

132. Detecção de spam de SMS com aprendizado de máquina

133. Detecção de Covid-19 com aprendizado de máquina e IA

134. Segmentação de clientes com aprendizado de máquina

135. Previsão de rotatividade de funcionários com aprendizado de máquina

136. Prever diabetes com aprendizado de máquina

137. Classificação de imagens com PyTorch

138. Previsão de série temporal com modelo ARIMA

139. Processamento de linguagem natural em bate-papos do WhatsApp

140. Modelo de detecção de notícias falsas

141. Classificação de imagens com redes neurais artificiais

142. Modelo de classificação binária

143. Aumento de dados com aprendizado profundo

144. Modelo de previsão da próxima palavra.

145. Segmentação de imagem

146. Algoritmo XGBoost em Aprendizado de Máquina

147. Detecção de pontos de referência de rosto

148. Filtragem de imagens com aprendizado de máquina

149. Extração de recurso de áudio

150. Modelo de tradução automática

151. Modelo de classificação de gênero

152. Crie um vídeo 3D com Python e aprendizado de máquina.

153. Reconhecimento de entidade nomeada

154. Análise de bate-papo em grupo do WhatsApp

155. Traduzir idiomas usando Python

156. Projetos Covid-19 com aprendizado de máquina

157. Projetos de aprendizado profundo com aprendizado de máquina

158. Projetos de sistema de recomendação com aprendizado de máquina

159. Projetos de análise de sentimento com aprendizado de máquina

160. Projetos de classificação para aprendizado de máquina

161. Projetos de regressão para aprendizado de máquina

162. Projetos de chatbot com Python

163. Projetos de aprendizado de máquina sobre previsão do futuro

Segue a mesma lista em inglês, o que pode facilitar a busca de muitos que já estão habituados com os nomes.

Machine Learning Projects for Beginners

1. Stock Price Prediction

2. Data Science Project on President Heights

3. Data Science Project on Birth Rate Analysis

4. Data Science Project on Time Series

5. Data Science Project on Area and Population

6. A Complete Machine Learning Project Walkthrough

7. Text Summarization

Advanced Machine Learning Projects

1. House Price Prediction

2. Real-Time Face Mask Detection

3. Named Entity Recognition

4. Number Plate Detection

5. IPL Analysis with Python

6. Gold Price Prediction

7. Object Detection

8. Highest-Paid Athletes Analysis

9. Text Generation

10.  Spelling Correction with Python

11.  Income Classification

12.  Language Translation Model

13.  Resume Screening

14.  Sign Language Classification

15.  Online Shopping Intention Analysis

16.  Network Graph Analysis

17.  Keyword Extraction

18.  Amazon Best Selling Books Analysis

19.  Covid-19 Cases Prediction for Next 30 Days

20.  Gender Classification

21.  Flower Recognition

22.  Air Quality Index Analysis

23.  Pneumonia Detection

24.  Employee Attrition Prediction

25.  Hand Gesture Recognition

26.  Face mask Detection

27.  Market Basket Analysis using Apriori Algorithm

28.  Breast Cancer Detection

29.  Earthquake Prediction Model

30.  Outlier Detection

31.  Heart Disease Prediction

32.  Plastic Users Analysis

33.  Chatbot with Machine Learning

34.  Next Word Prediction Model

35.  Age and Gender Detection with Python

36.  Autocorrect Keyboard with Python and Machine Learning.

37.  Machine Learning in 5 lines of code.

38.  Deepfake Detection with Machine Learning.

39.  Predict US Elections with Python.

40.  Fake Currency Detection with Machine Learning.

41.  Predict Tinder Matches with Machine Learning.

42.  Image Segmentation

43.  Title Generator with Python.

44.  Pencil Sketch with Python.

45.  OpenAI Gym in Machine Learning

46.  Covid 19 Analysis.

47.  Analyze ILP Matches.

48.  Barcode and QR code Reader with Python

49.  Extract Text From PDF with Python.

50.  Predict IPL Winner 2020.

51.  Predict Car Prices.

52.  Analyze Call Records.

53.  Create an API with Python.

54.  Send Custom Emails with Python.

55.  Colour Recognition with Machine Learning.

56.  Create a 3D Video Animation.

57.  Graph Algorithms in Machine Learning.

58.  Image Features Extraction.

59.  Rainfall Prediction with Machine Learning.

60.  Classify Nationalities with Machine Learning.

61.  Fraud Detection with Machine Learning.

62.  Topic Modeling with Python

63.  Named Entity Recognition

64.  WhatsApp Group Chat Analysis

65.  Translate Languages Using Python

66.  Network Security Analysis

67.  Bar Chart Race with Python

68.  Keyword Research with Python

69.  Face Detection with Python

70.  Emotion Detection Model

71.  Telegram Bot with Python

72.  Handwriting Recognition

73.  Visualize a Solar System with Python.

74.  Hate Speech Detection Model

75.  Build Instagram Filters with Python.

76.  Contact Tracing with Machine Learning

77.  Deploy a Chatbot with Python into a Web Application

78.  Summarize Text with Machine Learning

79.  Language Classification with Machine Learning.

80.  OTP Verification GUI with Python

81.  Create an Audiobook with Python

82.  Titanic Survival Analysis

83.  Image Recognition with PyTorch

84.  Gender Classification Model

85.  Daily Births Forecasting

86.  Binary Search Algorithm

87.  Galaxy Classification with Machine Learning

88.  Time Series with LSTM Model

89.  Image Classification with TensorFlow

90.  Predict Weather with Machine Learning

91.  Create a Package with Python

92.  Computer Vision with Python

93.  Diamonds Analysis with Python

94.  Text Classification with TensorFlow

95.  Image Segmentation with Python

96.  Ridge and Lasso Regression

97.  Predict Fuel Efficiency

98.  ABC Analysis with Python

99.  Lung Segmentation with Machine Learning

100. RFM Analysis with Python

101. Build Neural Network with Python Code

102. Genetic Algorithm with Python

103. Predict Migration with Machine Learning

104. Analyze Healthcare Data

105. NLP For Other Languages

106. Data Science Project on Text and Annotations

107. Data Science Project on — Handwritten Digits

108. Data Science Project on- Support Vector Machines

109. Data Science Project — Stock Price Prediction with Machine Learning

110. Data Science Project on — Classification of Text

111. Data Science Project on-Extracting HOG Features

112. Data Science Project on — Amazon Products Reviews Sentiment Analysis with Machine Learning

113. Data Science Project — Email spam Detection with Machine Learning

114. Data Science Project — Heart Disease Prediction with Machine Learning

115. Data Science Project — Movie Recommendation System

116. Data Science Project — Student Performance Analysis with Machine Learning

117. Data Science Project on FIFA Analysis with python

118. Data science project — Fake News Classification

119. Data Science Project — DNA Sequencing with Machine Learning

120. Data Science Project — Book Recommendation System with Machine Learning

121. Data Science Project — Bitcoin Price Prediction with Machine Learning

122. Machine Learning Project — Artificial Neural Networks

123. Algorithmic Trading Strategy with Machine Learning and Python

124. Movie Reviews Sentiment Analysis -Binary Classification with Machine Learning

125. Data Science Project — Supermarket Sales Analysis

126. Data Science Project — GDP Analysis

127. Data Science Project — Predict Customer Churn with Python and Machine Learning

128. Data Science Project — San Francisco Crime Analysis

129. Machine Learning Project — Human Activity Recognition using Smartphone Data

130. Credit Card Fraud Detection with Machine Learning

131. Weather Forecasting with Machine Learning

132. SMS Spam Detection with Machine Learning

133. Covid-19 Detection with Machine Learning and AI

134. Customer Segmentation with Machine Learning

135. Employee Turnover Prediction with Machine Learning

136. Predict Diabetes with Machine Learning

137. Image Classification with PyTorch

138. Time Series Forecasting with ARIMA Model

139. Natural Language Processing on WhatsApp Chats

140. Fake News Detection Model

141. Image Classification with Artificial Neural Networks

142. Binary Classification Model

143. Data Augmentation with Deep Learning

144. Next Word Prediction Model.

145. Image Segmentation

146. XGBoost Algorithm in Machine Learning

147. Face Landmarks Detection

148. Image Filtering with Machine Learning

149. Audio Feature Extraction

150. Machine Translation Model

151. Gender Classification Model

152. Create a 3D Video with Python and Machine Learning.

153. Named Entity Recognition

154. WhatsApp Group Chat Analysis

155. Translate Languages Using Python

156. Covid-19 Projects with Machine Learning

157. Deep Learning Projects with Machine Learning

158. Recommendation System Projects with Machine Learning

159. Sentiment Analysis Projects with Machine Learning

160. Classification Projects For Machine Learning

161. Regression Projects for Machine Learning

162. Chatbot Projects with Python

163. Machine Learning Projects on Future Prediction

Contato

Adaptado de https://medium.com/coders-camp/180-data-science-and-machine-learning-projects-with-python-6191bc7b9db9

Sistemas e estratégias de BI estão sendo aumentados com IA e machine learning para fornecer contexto de tomada de decisão

As plataformas de Business Intelligence (BI) estão evoluindo. Ao adicionar inteligência artificial e machine learning, as empresas estão transformando data dashboards e business analytics em plataformas de suporte para decisões mais abrangentes. Esse movimento em direção à “inteligência de decisão” vê sua combinação sofisticada de ferramentas cada vez mais incorporada aos fluxos de trabalho corporativos, quando e onde os tomadores de decisão mais precisam delas.

“Inteligência de decisão é a capacidade da empresa de processar grandes quantidades de dados para tomar decisões”, diz Nicole France, Analista da Constellation Research. “É a mesma coisa que a inteligência de negócios faria, mas acessível em toda a empresa”.

Alguns dos exemplos mais visíveis de inteligência de decisão em ação são os mecanismos de recomendação, que usam analytics para prever quais produtos os consumidores achariam mais apropriados ou quais filmes eles deveriam assistir em seguida. Ferramentas como essas fornecem contexto e opções pertinentes para ajudar as pessoas a tomar melhores decisões, diz France, acrescentando que dashboards e analytics das ferramentas tradicionais de BI ainda são valiosas, mas a inteligência de decisão é mais acessível e relevante.

“Para as pessoas na linha de frente, o contexto é importante”, diz ela. “E há um grau de complexidade que é difícil de acertar. O objetivo é apresentar as coisas de uma forma clara e fácil de entender, para que as pessoas possam entender algumas análises complexas e tomar uma decisão rapidamente”.

O caso para inteligência de decisão

A pandemia de Covid-19 acelerou as transformações digitais em quase todos os setores da economia global - e a IA está cada vez mais no centro disso. Mais de 95% das empresas pesquisadas pela 451 Research consideram a IA importante para a transformação digital - e 65% dizem que é muito importante.

De acordo com a pesquisa, divulgada no final de janeiro, a adoção de IA aumentou 9 pontos percentuais no ano passado nos EUA em comparação com o ano anterior, com apenas 28% das empresas dizendo que desaceleraram as iniciativas de IA como resultado da pandemia.

E um campo-chave onde a IA está se popularizando é o Data & Analytics. De acordo com uma pesquisa de 2021 com desenvolvedores de software e líderes de TI do RealBI, 41% das empresas viram um aumento nas solicitações de acesso a dados e analytics, sendo um dos principais motivos para permitir que os usuários tomem decisões baseadas em dados. Além disso, a pesquisa mostrou um maior interesse em incorporar o machine learning em analytics software ou dashboards, com quase 16% planejando adicionar a tecnologia em um futuro próximo, contra 6% das empresas que o fazem atualmente.

Tal como a adição de IA ou machine learning a uma plataforma de inteligência de negócios permite que ela evolua para uma plataforma de inteligência de decisão, fornecendo contexto, previsões e recomendações quando e onde o tomador de decisão precisar.

De acordo com o Gartner, mais de um terço das grandes organizações terão analistas praticando inteligência de decisão até 2023.

A empresa de pesquisa define “inteligência de decisão” como uma estrutura que permite aos líderes de dados e analytics projetar modelos de decisão e processos no contexto de resultados de negócios e comportamento. Na prática, isso significa que a inteligência de decisão usa analytics para ajudar funcionários, clientes ou parceiros de negócios a tomar decisões, oferecendo-lhes dados, análises e previsões quando e onde precisam.

À medida que a inteligência de decisão se torna uma parte central dos processos de negócios, as decisões são tomadas de forma mais rápida, fácil e econômica do que antes.

Casos de uso para inteligência de decisão

A segurança cibernética é uma área em que as pessoas precisam tomar decisões com base em grandes quantidades de dados em movimento rápido, com muito risco potencial para suas empresas. Aqui, a IA e o ML podem ajudar os analistas de segurança a tomar melhores decisões, como mostra a empresa de rede Cato Networks.

“Usamos IA e ML intensivamente para várias atividades na Cato”, diz Avidan Avraham, Líder da Equipe de Pesquisa da empresa. “Por exemplo, construímos um modelo de reputação que usa todas as informações que temos sobre um domínio ou endereço de IP. Com base em dados de rede interna e dados de inteligência de código aberto, ele prevê a probabilidade de ser malicioso”.

Isso significa que os analistas que caçam ameaças podem priorizar suas investigações, diz ele.

Cato construiu sua própria tecnologia para fazer isso, usando o Amazon Elastic MapReduce para treinar seus modelos. A empresa já usa o sistema há mais de um ano, diz Avraham, com bons resultados e um baixo índice de falsos positivos. “Ele está incorporado ao fluxo de trabalho de nossos analistas”, diz ele. “Antes de construirmos essa tecnologia, costumávamos fazer a análise manualmente, então, obviamente, é um processo muito mais rápido agora”.

A inteligência de decisão também pode ajudar as empresas a serem mais consistentes. Considere, por exemplo, um funcionário do banco que toma uma decisão de aprovação de um empréstimo.

“O que acontece em muitos casos quando indivíduos estão envolvidos é que cada indivíduo tem uma formação diferente”, diz Anand Rao, Sócio e Líder Global de IA da PricewaterhouseCoopers.

Existem maneiras pelas quais as empresas tentam alcançar consistência, como com treinamento, mas fatores externos ainda entram em jogo. Se um agente de crédito está tendo um dia ruim, por exemplo. Aqui, as ferramentas de inteligência de decisão podem fornecer contexto e recomendações para ajudar a criar mais consistência nos processos de negócios.

Os aplicativos de inteligência de decisão em outros domínios corporativos, incluindo gerenciamento de relacionamento com o cliente e ferramentas de vendas, também estão crescendo - e não é surpresa, dada a promessa de emparelhar inteligência humana com IA para aumentar o processo de tomada de decisão.

Maria Korolov, CIO (EUA)

Aqui está o que você precisa saber para se tornar mais experiente em dados e gerar melhores resultados de projetos

Com as taxas de falha do projeto permanecendo problemáticas, muitos gerentes de projeto estão recorrendo aos dados para obter ajuda. O uso adequado dos dados pode eliminar as suposições da tomada de decisões e fornecer suporte tangível que os gerentes de projeto podem usar para orientar suas equipes. Os dados também podem provar o valor ao ajudar os gerentes de projeto a agendar trabalho, alocar recursos, aumentar a eficiência, reduzir custos e gerenciar riscos de forma mais eficaz.

O principal meio pelo qual os gerentes de projeto potencializam os dados é o uso de business intelligence e business analytics. Business intelligence (BI) é uma combinação de software e processo usado para coletar, armazenar e analisar big data de várias fontes e para converter esses dados em informações úteis. O BI é considerado uma forma descritiva de data analytics, pois enfoca a alavancagem de dados passados ​​e presentes para colher insights sobre o que aconteceu ou o que está acontecendo atualmente em um determinado processo. O BI dá às empresas e escritórios de gerenciamento de projetos (PMOs) acesso a métricas em tempo real para dar suporte à tomada de decisões melhor e mais rápida e para obter maior visibilidade em projetos, processos e seus resultados.

Business analytics (BA), por outro lado, é considerado preditivo, pois se concentra no “porquê” para ajudar a fazer previsões mais informadas sobre o futuro. Com o BA, os dados são analisados para prever melhor os desafios e se adaptar para fornecer melhores resultados.

PMOs com visão de futuro estão reconhecendo a necessidade de que as decisões e ações do projeto sejam apoiadas por dados factuais sólidos. Tornar-se um gerente de projeto verdadeiramente orientado por dados significa intensificar seu jogo em todos os aspectos do planejamento e execução do projeto - especialmente quando se trata de alocar e gerenciar recursos escassos, mas valiosos.

Aqui está um pouco de como a integração de data analytics nas práticas de gerenciamento de projetos pode beneficiar muito os resultados do projeto.

Combinar, alocar e agendar recursos

O gerenciamento de recursos é uma área complicada para gerentes de projeto porque os recursos costumam ser escassos e estão sempre mudando, tornando difícil planejar e alocar o uso de recursos em qualquer projeto, muito menos quando vários projetos competem por recursos. Os dados são essenciais para a tomada de decisões eficazes sobre a disponibilidade e alocação de recursos. O sucesso dos projetos depende da capacidade de combinar habilidades, alocar os melhores recursos e programar os recursos disponíveis.

Ter acesso a dados de projetos anteriores e atuais permite que os gerentes de projeto aloquem melhor os recursos para os projetos atuais e planejem melhor os futuros. Ao coletar e analisar dados em um só lugar, os gerentes de projeto podem identificar quais recursos estão sendo subutilizados ou superutilizados, permitindo que eles mudem os recursos quando necessário e agendem de acordo.

As empresas que usam planilhas autônomas do Excel em vez de ferramentas de BI integradas a seus conjuntos de gerenciamento de projetos geralmente estão em desvantagem. As ferramentas integradas de BI podem não apenas reduzir as chances de a equipe ser superutilizada e, portanto, esticada além de seus meios e possivelmente exaurida, mas também podem ajudar a garantir que os cronogramas de agendamento de projetos sejam realistas e identificar os fatores de risco que podem se tornar obstáculos para atingir esses cronogramas. Os gerentes de projeto podem usar dados para desenvolver KPIs de gerenciamento de recursos, como indicadores de conflitos de recursos ou conclusões de tarefas no prazo.

Aumentar a eficiência

O BI pode ajudar os PMOs a descobrir e melhorar fluxos de trabalho internos complicados ou eficiências baseadas em tecnologia, alertando os gerentes de projeto sobre mudanças que precisam ser realizadas para melhorar como as partes interessadas e as equipes de projeto se conectam, trabalham juntas e se comunicam. Ao descobrir e lidar com as ineficiências, as equipes de projeto podem se concentrar em trabalhos de maior valor e entrega de projetos mais rápida.

É apenas sendo capaz de reunir dados sobre os processos existentes e ineficiências que os gerentes de projeto podem identificar gargalos e outros obstáculos baseados em processos e abrir um caminho para a mudança. O BI pode isolar processos ineficazes ou ineficientes e melhorar a eficiência geral da tomada de decisões. Também ajuda a desenvolver KPIs, como tempo planejado versus tempo real gasto em tarefas, erros humanos ou o número de solicitações de mudança.

Gerenciar riscos

Os riscos podem vir de muitas formas diferentes e de fontes internas e externas. A ameaça que um risco pode representar pode ter um impacto menor ou maior nos projetos, em um programa inteiro ou em um portfólio. Muitas empresas permanecem no modo reacionário quando se trata de risco e conformidade, em vez de se antecipar aos riscos potenciais usando ferramentas de BI.

O gerenciamento de risco e conformidade é uma das áreas mais críticas onde o BI pode desempenhar um papel fundamental na identificação de problemas. Os dados fornecem aos gerentes de projeto informações concretas que podem isolar muitos tipos de riscos de projetos anteriores e atuais e permite que repensem suas estratégias de gerenciamento de risco para ir além de serem reativos.

Fazer uso de ferramentas de BI e BA

A chave para obter insights acionáveis é determinar os tipos de dados necessários para tomar decisões essenciais - especialmente em tempos de incerteza. É essencial avaliar cuidadosamente os recursos das ferramentas de BI e BA para garantir que forneçam aos PMOs insights em tempo real relevantes para apoiar o projeto e as metas de portfólio da sua empresa. Aqui estão alguns recursos importantes a serem procurados.

Ter uma infinidade de recursos de BI e BA embutidos ou integrados com ferramentas de gerenciamento de projeto não deve ser uma prioridade; em vez disso, é mais benéfico se concentrar em ter os recursos certos, incluindo:

• A capacidade de importar e atualizar dados com o clique de um botão
• A capacidade de ter uma análise "e se" integrada para o planejamento e gestão de recursos
• Capacidades de modelagem e previsão
• Painel de controle personalizável em tempo real
• Acesso seguro baseado em função
• Gráficos e tabelas visuais claras
• Interface simples de arrastar e soltar
• Recursos de detalhamento fácil
• Integração perfeita com outros aplicativos
• Acesso móvel seguro para quem trabalha remotamente
• Opções de autoatendimento rápidas e fáceis para todas as funções de usuário
• Capacidade de compartilhar informações facilmente com outras partes interessadas
• Recursos de relatórios

Embora os recursos e capacidades de BI possam diferir dependendo do projeto, os gerentes de projeto devem garantir que os recursos essenciais para melhorar os resultados de seus projetos específicos sejam enfatizados em suas estratégias de dados. Isso permitirá que eles aproveitem a inteligência de negócios de maneira eficaz para obter percepções acionáveis, seja uma questão de gerenciamento de recursos, avaliação de riscos ou estabelecimento de processos e comunicação mais eficientes.

quero saber mais

"O BI trata das perguntas conhecidas e das nossas pré-concepções com relação aos dados. Ao passo que Big Data se envolve com um universo de novas possibilidades e perguntas que ainda não conhecemos."

Antes de evoluirmos no tema acho importante que entendam a diferença entre BI (Business Intelligence) e BIG DATA, qual a finalidade de cada um delas, pois no passado eu mesma já havia me confundido e achava que tudo era a mesma coisa.

O BI trata das perguntas conhecidas e das nossas pré-concepções com relação aos dados. Ao passo que Big Data se envolve com um universo de novas possibilidades e perguntas que ainda não conhecemos.

Ambas possuem grande importância e devem ser bem entendidas para que as empresas possam aproveitá-las da melhor forma, agregando, alcançando os valores e resultados desejados aos negócios.

A solução de BI tem foco na coleta, organização, transformação e disponibilização de dados estruturados para a tomada de decisão, além de permitir a análise preditiva de forma rápida e assertiva às organizações. Fornecem insights e tendências aos gestores, para assim poderem criar diretrizes eficientes e eficazes para o alcance dos resultados empresariais almejados.

Já o Big Data, em geral, pouco se preocupa com a exatidão que é fornecida em um sistema de BI (exceto em casos específicos ou onde a utilização de sensores se faz presente).

O Big Data foca no processamento dos dados em busca de correlações e descobertas. Por isso no Big Data nem sempre saberemos os motivos para as correlações existentes, pois poderá ser algo jamais concebido ou estudado.

E está aí o diferencial do Big Data: mostrar caminhos e correlações antes desconhecidos nos grandes volumes de dados, em tempo hábil, para que as empresas obtenham vantagens competitivas.

Conseguiram entender? Então vamos adiante.

Neste artigo irei destacar apenas o BI e o tema BIG DATA ficará para um próximo artigo.

Preparei um vídeo produzido pela Pixar onde editei, para que você entenda as resistências e as objeções que os gestores impõem para implantação de um sistema de BI. Bora assistir.

Falar em BI não é algo mais tão inovador quando falamos em logística, hoje já existem diversos softwares e plataformas que extraem estes números dos sistemas e disponibilizam os famosos dashboards.

A questão central que acho interessante abordar neste artigo é a visão limitada sobre estes dados, não permitindo que as empresas de logísticas pensem um pouco além de indicadores de desempenho, capacidade de ocupação dos veículos e volume de avarias.

A verdade é que um sistema de BI coleta dados de vários setores de uma empresa, como:

• Dados corporativos tradicionais de sistemas operacionais
• Dados sobre tráfego e clima vindos de sensores, monitores e sistemas de previsão
• Diagnóstico do veículo, padrões de condução e informações de localização
• Previsões de negócios financeiros
• Dados de resposta à publicidade
• Dados do padrão de navegação de sites
• Dados de mídias sociais
• Dados de Serviço de Atendimento ao cliente
• Dados de Recursos Humanos (custos com hora-extras, funcionários afastados, índice de satisfação dos colaboradores, etc).
• Dados comerciais como quantidades de propostas x fechamentos
• Dados de portaria para acesso a empresa.

Não cruza-los é o mesmo que dar um tiro no pé. Não lideramos mais uma empresa seguindo a intuição mas sim com dados que irão te ajudar na tomada de decisões e validações de processos.

De que adianta ter ótimos indicadores de desempenho em entregas, se seu SAC continua recebendo reclamações, se o seu colaborador falta demais, se seu custo logístico é muito alto, se você tem um alto giro de seus colaboradores, se sua área comercial traz muitas propostas e poucos fechamentos, você sabia que as tendências do mercado são trazidas pelo canal receptivo e pelos seus agentes comerciais?

Muitos gestores ainda preferem ouvir o que vem de fora, o chamado “Canto da sereia”, agentes externos oportunistas com foco neles mesmos e naquilo que podem trazer, extrair o que interessar e depois irem embora. Dentro da logística isso acontece todo santo dia.

Enfim, repito e volto â dizer, as respostas não estão fora de sua empresa mas sim dentro e só depende de sua interação com seus dados e seus colaboradores para extrair.

A integração de todos os setores é essencial para a saúde de uma empresa, funciona da mesma forma que um corpo humano, não adianta o coração estar saudável, se outros órgãos estiverem comprometidos, pois gradativamente vai gerando danos ao coração.

O segredo para o sucesso de um projeto de BI é a possibilidade de se analisar uma grande quantidade de dados variáveis, estruturados ou não estruturados com grande precisão e velocidade, proporcionando inteligência gerencial à empresa.

É muito comum que, ao implantar BI, os gestores tenham algumas dúvidas quanto à sua efetividade e ao modo como isso deverá ocorrer.

Afirmo que, para se ter sucesso com o BI, existem dois pontos-chave que devem ser observados: o planejamento e a ferramenta tecnológica adequada.

Enquanto um planejamento bem estruturado ajuda a reduzir o tempo e os custos de implementação, a escolha de uma ferramenta tecnológica adequada melhora a eficácia das decisões tomadas e gera melhores resultados.

COMO TER SUCESSO COM O BI?

Acredito que existam 3 pontos importantes a serem considerados, sendo eles:

ORGANIZAÇÃO

Assim como em qualquer projeto, o primeiro passo é a organização de todos os requisitos para se implementar uma estratégia. Essa organização se dá durante a fase de planejamento.

Veja os principais pontos que deverão estar contemplados em seu planejamento:

• Definição dos requisitos funcionais: consiste em determinar quais serão os KPIs (indicadores de desempenho de todos os departamentos) que serão disponibilizados pelas aplicações de BI, em que momento e em qual formato;

• Definição dos utilizadores: podemos dividir os utilizadores, geralmente, em três grupos, sendo eles os utilizadores gerais de relatórios; os produtores e analistas que avaliam os dados; e os gestores que determinam os objetivos e estratégias;

• Integração e qualidade dos dados: a integração dos dados de maneira correta e sem perder a qualidade é um dos pontos chave para um projeto de BI de sucesso. Verificar os sistemas operacionais onde a ferramenta poderá rodar e o modo que os dados serão acessados é fundamental;

• Escolha do software correto: utilizar versões de teste para verificar qual software se adequa melhor às necessidades de sua empresa é fundamental, pois evita que a empresa contrate um software muito robusto e mais caro sendo que não utilizará todas as funcionalidades oferecidas;

• Limitação do tempo de execução: ao definir um prazo para a execução de um projeto, você demanda uma concentração mais intensa dos setores responsáveis envolvidos. Essa limitação de dados evita a postergação das ações necessárias para a implantação do projeto;

• Manutenção do projeto: o mercado e a realidade das empresas mudam constantemente — o que também ocorre com as aplicações de BI. Atualização e otimização constante das aplicações é uma obrigatoriedade.

DESIGN E LAYOUT DA APLICAÇÃO

Além dos requisitos técnicos para a escolha de uma aplicação, deve-se observar as questões de design e layout da mesma.

A aplicação deverá disponibilizar os dados de forma simples e de fácil compreensão e possibilitar a geração de relatórios com padrões de tipografia e paleta de cores, a fim de proporcionar uma experiência de usuário (UX) completa e objetiva.

Os gráficos gerados nos relatórios deverão obedecer a uma lógica de cores e apresentar as informações em ordem cronológica ou respeitar uma sequência de eventos ou de processos, a fim de facilitar a compreensão de quem for interpretá-lo.

Além desses pontos, é importante que a aplicação disponibilize diversos tipos de gráficos específicos para cada tipo de análise, como matriz SWOT, matriz BCG, para a análise de produtos ou serviços e um quadro de análise de benchmarking.

IMPLEMENTAÇÃO

Após a confecção de todo o planejamento e a definição da aplicação BI a ser utilizada, é chegado o momento da implementação do projeto em si. Esse processo demanda algumas etapas básicas:

• Mobilização dos envolvidos: a participação ativa de todos os diretores e gestores na implantação do BI é essencial, principalmente da alta gestão, pois somente assim o projeto terá sucesso;

• Levantamento de informações: aqui deverão ser levantadas quais informações deverão ser disponibilizadas para os gestores para análise de desempenho e de mercado;

• Mapeamento das fontes de dados: este mapeamento tem por objetivo identificar de onde as informações serão retiradas e analisar a viabilidade das informações solicitadas no passo anterior. Essas fontes de dados vão alimentar a aplicação de BI.

• Construção do sistema: a construção é, sem dúvidas, a parte mais longa de todo o processo de implementação de um projeto de BI. A extração de dados, análise de qualidade, carga e testes são realizadas nesta etapa.

• Disponibilização aos usuários: esta é uma etapa muito delicada, pois é nela que o produto resultante é entregue. Aqui deverá ocorrer, ainda, toda a parte de treinamento e capacitação dos usuários, para que possam utilizar a ferramenta em seu dia a dia para a tomada de decisões.

QUAIS ERROS EVITAR?

Mesmo com um planejamento bem estruturado e uma execução bem-feita, podem existir alguns erros que devem ser evitados de qualquer maneira. Veja alguns dos erros mais comuns que ocorrem durante o processo de implementação de um projeto de BI:

FALTA DE PLANEJAMENTO NA IMPLEMENTAÇÃO

Ao implementar uma ferramenta de BI, é essencial que se defina quais são os objetivos da empresa ao fazer esse investimento e de que modo essa solução vai contribuir para alcançar os resultados esperados.

Para que tudo funcione, deve-se ter uma visão sistêmica da empresa, compreendendo como cada recurso contribui e alimenta o Business Intelligence.

SUBUTILIZAR O SISTEMA

Um dos erros mais comuns é subutilizar o sistema. Isso ocorre quando a equipe não foi devidamente apresentada à ferramenta e desconhece sua importância e funcionamento.

Esse despreparo resulta em dados dispersos em diversas planilhas ou outros sistemas. É muito comum que o recurso mais utilizado do BI seja o botão “Exportar para o Excel”, e cada usuário passa a construir suas próprias análises em Excel ao invés de incorporá-las ao BI.

NÃO DAR ATENÇÃO À QUALIDADE DOS DADOS NA ORIGEM

Uma das premissas para um BI de sucesso é qualidade dos dados de origem porém, muitas vezes, os sistemas não possuem regras básicas de validação e tornam o processo de carga para o BI um grande desafio. Campos em branco, com valores incorretos ou grafados de maneira diferente podem distorcer as análises.

O BI vai mostrar exatamente o que está na base e, para que a análise possa ser utilizada em sua plenitude, na maioria dos projetos é necessário ajustar dados em sua origem.

FALTA DE INTEGRAÇÃO COM OUTRAS FERRAMENTAS

O BI deve se comunicar com todas as plataformas utilizadas para coletar, processar e analisar dados de uma série de fontes, como o TMS, ERP, CRM, Gestão de Projetos ou outras ferramentas utilizadas por sua empresa.

Uma atenção especial deve ser dada aos conectores disponíveis em cada ferramenta, algumas tem poucas opções, outras irão cobrar um valor extra para cada tipo de conexão, forçando o usuário a exportar dados manualmente para depois carregar no BI.

Ao não integrar essas ferramentas ao BI, ocorre a perda da capacidade de confrontação de dados e de análise dessas informações.

Para que seu projeto de BI tenha sucesso, é obrigatório ter um profissional devidamente qualificado, que entenda o funcionamento da ferramenta para auxiliar no processo de integração das informações.

Esse profissional vai verificar se as pessoas estão utilizando o sistema corretamente, se a equipe compreende a importância do processo de análise de dados e se são necessários mais treinamentos.

Por onde devo começar a gerar um BI na logística?

Além de todos os benefícios do BI dentro de sua empresa de logística permitindo tomada de decisões mais assertivas, que foram descritos acima, existem também aqueles benefícios que são vistos como diferencial competitivo que deverão alimentar o BI de seus clientes.

Sim, alimentar seus clientes com informações de fácil acesso, rápidas e confiáveis serão cada vez mais a bola da vez neste mercado.

Alguns operacionais ainda resistem a estas mudanças pois a falta de informação esconde suas ineficiências, mas até quando?

Enviar dados que apoiem o planejamento de seus clientes permitirão que o relacionamento operacional tenha mais amadurecimento e ai sim a Logistica 4.0 começa a fazer sentido para muitos empresas que acreditam que esta realidade ainda está distante no Brasil.

E como fazer isso?

Mapeie e revise seus processos operacionais

Lembre-se que quanto menos interferência humana menor será a possibilidade de erros.

Gradativamente migre para um modelo digital, as empresas com processos obsoletos, que insistem em modelos completamente analógicos e manuais de gestão, podem ter dificuldade para se adequar a esse novo momento.

Para o gestor que deseja potencializar os resultados da sua empresa, é muito importante que seus processos de trabalho sejam conhecidos e revisados, buscando otimizar e automatizar o máximo possível.

Invista na comunicação com seus embarcadores e clientes

Não dá mais para aceitar a troca de informações de pedidos, ocorrências de transporte e situação dos fretes por e-mail, e o lançamento manual de informações em sistemas, então a dica é apostar em tecnologias como EDI (Troca Eletrônica de Dados), e Webservices(é uma solução utilizada na integração de sistemas e na comunicação entre aplicações diferentes), que são capazes de integrar os embarcadores, transportadoras e demais parceiros (inclusive os fornecedores e clientes), evitando retrabalho, reduzindo custos, evitando erros e acelerando o trabalho.

Integração é a palavra-chave para adotar as práticas logísticas mais modernas na sua empresa. Essa conectividade facilita a gestão e permite controle completo sobre os processos.

Conecte a sua frota e motoristas e agregados à base em tempo real

Se um veículo não está seguindo o trajeto planejado, o gestor pode intervir imediatamente sobre frota. Dessa mesma forma, se um determinado motorista estiver apresentando médias de consumo de combustíveis ruins, ou padrões de condução inadequados, a tecnologia dos rastreadores integrados aos sistemas de gestão de frota permite avaliá-los individualmente ou enquanto grupo por meio das análises e estatísticas.

Caso qualquer anormalidade ocorra na operação de transporte, como uma falha mecânica ou um roubo de carga, as novas tecnologias permitem não só a notificação à empresa e o monitoramento dos veículos, mas também o desligamento remoto do caminhão.

Invista em Gestão de Pátios e registro de ocorrências

Se você é um operador logístico que conta com uma operação nervosa, onde seus clientes cobram agilidade nas cargas e descargas, e registro de ocorrências com alto nível de informação, no mercado já existem soluções que além de entender quanto tempo um veículo fica parado dentro de seu CD, e possível também formalizar ocorrências de avarias e faltas em tempo real.

Estruture armazéns inteligentes e mais eficientes

Concordo que falar em armazéns automatizados e algo ainda um pouco distante da logística brasileira, mas utilizar o BI para entender deslocamento de empilhadeiras, quantidades de movimentações, isso é bem real e ao seu alcance, avaliar melhor em quais posições o produto que mais giram e guardar de forma mais segura aqueles com maior valor agregado parece óbvio mas pouco avaliado na doidera dos armazéns brasileiros.

Utilizar empresas para realizar inventários através de drones, é outra realidade que começa a fazer parte do mercado logístico bem lentamente, mas que não permite somente agilidade mas uma economia de mão-de-obra e interrupção nas operações.

Crie uma rotina e cultura de gestão baseada em dados

Diante do grande volume de dados e informações que as novas tecnologias e sistemas disponibilizam, surgem as condições para que os gestores interessados possam analisar as suas empresas por diversos aspectos, e a partir disso tomar as melhores decisões, reduzindo custos, melhorando prazos de entrega e atendendo cada vez melhor os seus clientes. Mas para isso é fundamental que seja criada na empresa a cultura de seguir uma rotina de analisar os relatórios e dados gerados pelos sistemas com frequência.

Já deu para perceber que a Logística 4.0 é aliada de um trabalho eficiente e pode potencializar inclusive a segurança de seus colaboradores, processos e bens, certo? A novidade não é uma previsão para o futuro: é uma realidade inegável que precisa ser tão bem aproveitada quanto possível pelo gestor moderno.

Acredito ter demonstrado a importância que os dados possuem dentro da logística, e que se especializar para analisa-los será o grande diferencial entre as empresas.

Não resista àquilo que pode mudar o futuro da logística brasileira e principalmente o da sua empresa.

Quem estiver na frente destas análises descobrirá o melhor caminho e se tornará cada vez mais competitivo para brigar com aqueles que optaram em adotar a inovação como principal instrumento para atingir resultados.

Até a próxima.

e se eu quiser criar meu BI com software livre?

"E o que as empresas podem aprender com isso; Migração foi complexa, mas agora desenvolvedores têm mais liberdade e maior escala."

O Spotify iniciou a utilização da Google Cloud Platform (GCP) em 2016, com investimentos de US$ 450 milhões em três anos. Para o Google, a plataforma de streaming de músicas tornou-se um cliente referência, não apenas pela sua marca e escala, mas também pela reputação como uma empresa centrada em engenharia e orientada por dados.

O Spotify, desde então, fechou ambos os data centers instalados nos EUA e estará livre de infraestrutura on-premise até o final do ano, após uma migração complexa.

Por que migrar?

Ramon van Alteren, diretor de engenharia do Spotify, comenta que, se pensar na quantidade de esforço necessário para manter a capacidade de computação, em armazenamento e rede de uma empresa global que atende a mais de 170 milhões de usuários, isso é uma quantidade considerável de trabalho.

Além de evitar que desenvolvedores se preocupem com provisionamento e manutenção de infraestrutura, a empresa também queria aproveitar algumas das inovações do Google Cloud, especificamente o data warehouse em nuvem BigQuery, Pub/Sub para envio de mensagens, além da ferramenta DataFlow para processamento em lote e streaming.

Migração de serviços: passo a passo

O plano de migração atual foi formulado em 2015 e dividido em duas partes: serviços e dados. A migração de serviços se concentrou na transferência de quase 1,2 mil microsserviços de data centers para o Google Cloud Platform.

Os três principais objetivos durante a migração, de acordo com van Alteren, foram minimizar a interrupção do desenvolvimento do produto, terminar o mais rápido possível para evitar o custo e a complexidade da execução em um ambiente híbrido, além de garantir que o Spotify não tivesse nenhum serviço executando em seus data centers.

Uma das primeiras ações que as empresas fizeram foi construir uma pequena equipe de migração de engenheiros e criar uma visualização real time de todo o estado de migração para que os engenheiros pudessem se assistir para ver o andamento do projeto.

Essa visualização parece um conjunto de bolhas vermelhas (data center) e verdes (Google Cloud), com cada bolha representando um sistema e o tamanho da bolha representando o número de máquinas envolvidas.

A migração de serviços começou com as dependências de mapeamento, já que a arquitetura no Spotify significa que cada microsserviço depende de 10 a 15 pessoas para atender uma solicitação do cliente. Isso significa que uma migração “big bang”, em que tudo para, não era uma opção, pois os clientes esperam um tempo de atividade constante do serviço.

Em vez disso, as equipes de engenharia do Spotify receberam a tarefa de transferir seus serviços para a nuvem em um sprint de duas semanas, período em que pararam efetivamente qualquer desenvolvimento de produto. Isso também permitiu que essas equipes começassem a avaliar sua arquitetura e desativassem qualquer coisa desnecessária.

Uma coisa que o Google Cloud fez especificamente para o Spotify durante a migração é a opção Virtual Private Cloud (VPC). “Isso permite que você construa de forma semelhante a uma rede interna que conecta vários projetos e eles podem cruzar conversas”, disse van Alteren.

Isso permite às equipes terem um bom controle de suas demandas e, com isso, elas conseguem fazer o que precisam e, se algo dá errado, é somente no setor, e não em toda a empresa.

Uma vez que a migração estava em fluxo total, a equipe de migração central começou a induzir secretamente falhas nesses sistemas de nuvem, registrando como as equipes reagiram na nova arquitetura.

“Isso ajudou a garantir que os sistemas de monitoramento fossem adequadamente estendidos para a nova implementação na nuvem, se uma equipe não percebesse, Finalmente, tivemos esta cartilha em que eles poderiam começar a usar os modos de falha na nuvem que talvez não tivessem no passado”, explica Peter Mark Verwoerd, arquiteto de soluções do Google.

Em maio de 2017, cada sprint de migração foi concluído e o tráfego estava sendo encaminhado para o Google Cloud. Então, em dezembro de 2017, o Spotify atingiu 100% dos usuários e já havia fechado o primeiro dos quatro data centers. Desde então, o segundo data center foi fechado e os dois últimos, ambos na Europa, serão encerrados até o final deste ano.

Migração de dados

Devido a um gráfico de dependência altamente complexo, foi um desafio mover 20 mil tarefas diárias de dados para o GCP sem causar falhas no fluxo, de acordo com Josh Baer, ​​gerente sênior de produtos para a infraestrutura de machine learning do Spotify.

O Spotify começou avaliando a possibilidade de uma migração ‘big bang’. Porém, mesmo com um link de rede de 160 gigabits por segundo, seriam necessários dois meses para copiar os dados do cluster do Hadoop para a infraestrutura do Google. “Nós não seríamos um grande negócio se estivéssemos perdidos por dois meses”, acrescentou ele.

A melhor estratégia, então, foi copiar os dados. “À medida que você transfere seu trabalho para o GCP, você copia suas dependências e, em seguida, pode transportar seu trabalho”, explicou. “Então, se você tem consumidores downstream, talvez tenha que copiar a saída do seu trabalho de volta ao nosso cluster local para que eles não sejam quebrados. Como a maior parte da migração de dados durou de seis a 12 meses, estávamos executando muitos desses empregos para preencher lacunas em nossa árvore de dependência.

Lições aprendidas

Max Charas, engenheiro de nuvem do Google, alerta: “essa estratégia de migração é muito personalizada para o Spotify, então, quem quiser fazer algo assim, pode parecer muito diferente.”

A empresa aprendeu algumas lições importantes com a migração. A primeira delas foi a preparação. “Nós nos preparamos provavelmente dois anos antes da migração e cada migração levou cerca de um ano. Tentamos criar um caso de uso mínimo para mostrar os benefícios da mudança para o GCP, mas isso não poderia ser uma coisa pequena para mostrar a verdadeira valor”, diz Charas.

Em segundo lugar foi o foco. Para Van Alteren, é realmente incrível o que pode ser feito com uma equipe de engenheiros focada em uma única coisa. Isso também ajudará os parceiros de negócios, que ficam mais felizes com um curto período de tempo sem desenvolvimento de produto em vez de um longo período de tempo.

A terceira foi a construção de uma equipe de migração dedicada para atuar como proteção para ajudá-los a saber o que precisam, transmitir experiências e aprendizados passados ​​e apenas os recursos de que precisam.

A última foi “sair do híbrido o mais rápido possível – todos esses trabalhos de cópia são caros e complexos”, disse Baer.

Resultados

Com a migração, os desenvolvedores estão com mais liberdade e maior escala, sem sacrificar a qualidade do serviço. “Qualidade de serviço é algo que medimos diligentemente e não houve degradação”, disse Van Alteren. “Os benefícios incluem nosso canal de entrega de eventos, que carrega os pagamentos de royalties para detentores de direitos. Quando mudamos para a nuvem, o pipeline transportava no pico de 800 mil eventos por segundo e agora carregam três milhões por segundo”, finaliza.

serviços de migração de dados

Se estivesse vivo, Stanley Kubrick teria completado 90 anos no dia 26 de julho. Muito já se falou sobre este gênio do cinema e seu legado mas, talvez, poucos tenham feito paralelo entre a carreira do artista e o mercado corporativo. Em termos gerais, uma das grandes questões de recursos humanos é definir que tipo de executivo contratar: generalista ou especialista? Kubrick parece ter a resposta.

O diretor filmou apenas 13 longas-metragens, sendo que pelo menos sete de seus filmes se tornaram obras-primas reconhecidas e plenamente aceitas no meio artístico. Outras películas, no todo ou em parte, também se destacaram como pérolas cinematográficas. O mais instigante, de fato, é a variação de gênero que o cineasta vivenciou na profissão. Em Dr. Fantástico, fez comédia de humor negro. Spartacus, épico. 2001, expandiu o alcance da ficção. Uma odisseia no espaço! Com O Iluminado, intensificou o horror psicológico. Explorou a guerra em Nascido para Matar. Refinou a história policial em O Grande Golpe. É como se um executivo de marketing percoresse segmentos tão distintos como a indústria bélica, o comércio exterior, a inteligência artificial, hotelaria, recrutamento e seleção, loterias etc. Sempre com resultados bem acima da média.

Kubrick abordou diversos gêneros do cinema
assim como um executivo generalista atua em
diferentes segmentos de mercado.

E não é apenas na diversidade de estilos que Kubrick foi um generalista. Nos sets de filmagens atuava em outras frentes – fotografia, roteiro, efeitos especiais, montagem e produção. Também participava da direção de arte, da cenografia e da sonorização, com controle absoluto, embora os créditos fossem associados a outros profissionais atentos à sua batuta. Estudo conduzido por pesquisadores da Columbia Business School e da Tulane University com 400 executivos confirmou a vantagem daqueles que trazem um repertório mais amplo e eclético, com experiências diversas, tendendo a assumir posições de liderança mais rapidamente. No jargão do RH, Kubrick tinha habilidades multifuncionais (cross-functional skills).

Outra pesquisa, encomendada pela Microsoft e realizada pela International Data Corporation – IDC, empresa global de inteligência de mercado e consultoria, após avaliar 76 milhões de vagas de empregos, cravou que as oportunidades mais promissoras de ascensão profissional entre 2016 e 2024 exigirão competências multifuncionais em detrimento de habilidades técnicas e específicas, mesmo em áreas como TI, direito e saúde. A consultoria ainda apontou que nas 10 principais habilidades do profissional do futuro estão a orientação para o detalhe (detail oriented). O generalista não é um “superficialista”.

Relatórios de importantes universidades e
empresas americanas apontam as
competências multifuncionais como
habilidades essenciais do profissional do
futuro.

Mais uma vez Kubrick corresponde. Como um cientista de dados que cruza estatísticas, amostras e informações diversas do negócio para orientar estratégias mercadológicas, o cineasta americano ficou conhecido por seu perfeccionismo. Nas filmagens de 2001: Uma Odisseia no Espaço, desenvolveu a centrífuga que simulava os movimentos e efeitos de gravidade zero em uma estação espacial, muito similares ao que acontece na Estação Espacial Internacional construída 30 anos depois. O clássico que completou 50 anos este ano e que está sendo homenageado pelo Museu da Imagem e do Som – MIS em São Paulo, recebeu o Oscar de efeitos especiais. Para gravar Barry Lyndon, filme de época com locações na Inglaterra, encontrou na NASA a lente que permitiria a filmagem sob à luz de velas, com resultados estéticos jamais vistos e ainda não superados. A obra é uma referência estilística, inspirada em quadros do século XVIII, e transposta para as telas de cinema com rara beleza. Em O Iluminado utilizou os recursos da recém-inventada steadicam para obter planos-sequências fascinantes como nas cenas dos corredores e no labirinto do hotel Overlook.

Sempre na vanguarda da tecnologia, Kubrick
já abordava a inteligencia artificial, com o
computador HAL 9000, muito antes da
massificação deste conceito.

O reconhecimento pela gestão de atores é outro diferencial. Ao gravar inúmeras tomadas até a perfeição, Kubrick extraiu atuações icônicas de Peter Sellers, Sue Lyon, Malcolm McDowell, Jack Nicholson, Shelley Duvall e R. Lee Ermey. O desejo de trabalhar com o mestre fez o casal Tom Cruise e Nicole Kidman, o mais cobiçado na década de 90, dedicar-se exclusivamente ao filme De Olhos Bem Fechados, rejeitando qualquer outra oferta durante as gravações.

O ponto máximo da meticulosidade de Kubrick, no entanto, foi o projeto Napoleão. Embora não tenha sido viabilizado por limitações orçamentárias, o trabalho de pré-produção é considerado o mais perfeito já realizado. O livro Napoleon: The Greatest Movie Never Made (editora Taschen), sem tradução em português, de Alison Castle, revela o envolvimento do diretor na intensa pesquisa das locações, cenários, figurinos, elenco, cronologia dos fatos, textos históricos, cinematografia e no desenvolvimento dos argumentos e do roteiro para fundamentação da obra, o que gerou conteúdo e uma base de dados com aproximadamente 17 mil imagens relacionadas à era napoleônica. A intenção do filme, inacabado, fez a fama do diretor, completo.

Como um cientista de dados, Kubrick reuniu
conteúdo e 17 mil imagens para filmar a vida
de Napoleão Bonaparte.

A diversidade é um conceito poderoso e para profissionais generalistas, o conhecimento humano, em qualquer substância, forma ou amplitude é matéria-prima. Soma-se liberdade criativa e ousadia e tem-se o ambiente perfeito para o desenvolvimento de novos produtos, serviços e soluções nos negócios. O relatório da IDC ainda traz que a criatividade (creativity), também compõe o perfil do futuro executivo. Kubrick buscou nas outras artes elementos para enriquecer a sua própria. Escreveu seus filmes a partir da literatura de Nabokov, Clarke, Burgess, Thackeray, King, Schnitzler; orquestrou suas tramas com Strauss (Johann e Richard), Beethoven, Schubert, Haendel, Penderecki, Liszt, Ligeti; inspirou-se nas pinturas de Gainsborough, Reynolds, Chardin, Watteau, Chadowiecki para estabelecer o virtuosismo estético definitivo na sétima arte. Ganhou o reconhecimento dos estúdios, em especial da Warner Bros., que lhe conferia autonomia em troca do prestígio do diretor.

Kubrick buscou na diversidade de outras artes
elementos para enriquecer a sua própria.
Literatura, música e pintura abrilhantaram
a sua obra.