Business Intelligence & Business Analytics Tags

10 posições de TI mais difíceis de serem preenchidas

Dos profissionais de segurança cibernética aos engenheiros de DevOps, o relatório 2018 State of the CIO revela quais funções de TI continuam com demanda bem superior à oferta.

Melissa Person-Ashforth

CEO da Melissa International

"Encontrar e reter talentos de TI exige que as organizações pensem fora da caixa e se concentrem menos em encontrar a contratação perfeita e mais em manter os candidatos e funcionários atuais engajados, motivados e ansiosos para aprender novas habilidades. Para mim, claro, é sobre encontrar as habilidades certas, mas também saber que tratar bem meus funcionários, compensando-os e recompensando-os, significa que mantê-los felizes."

O relatório State of the do CIO de 2018 concluiu que, após anos de discórdia, a TI e as áreas de negócio estão finalmente aprendendo a trabalhar juntas para conduzir iniciativas estratégicas e atingir metas compartilhadas. Para fazer isso, é claro, as organizações precisam de talento em TI - mas alguns papéis são mais difíceis de preencher do que outros.

Os trabalhos relacionados à tecnologia de ponta, como Inteligência Artificial, Machine Learning e Realidade Virtual são tão especializa dos que os programas educacionais não conseguem acompanhar as demandas de pipeline, enquanto outros, como nuvem, desenvolvimento de aplicativos e software corporativo, simplesmente têm demanda excessiva.

Encontrar e reter talentos de TI exige que as organizações pensem fora da caixa e se concentrem menos em encontrar a contratação perfeita e mais em manter os candidatos e funcionários atuais engajados, motivados e ansiosos para aprender novas habilidades, diz Melissa Person-Ashforth, CEO da Melissa International.

"Para mim, claro, é sobre encontrar as habilidades certas, mas também saber que tratar bem meus funcionários, compensando-os e recompensando-os, significa que mantê-los felizes", diz Ashforth. “Todos fazendo um esforço conjunto para ir além, aprender mais e adquirir novas habilidades.”

A cultura também é uma peça importante do quebra-cabeça, diz Sherri Douville, CEO da Medigram, uma startup em rápido crescimento. Douville diz que a cultura é a chave para garantir que ela possa atrair, contratar e reter as pessoas certas. “Não temos um grande problema em contratar para funções de TI, mas nossa cultura é uma grande parte disso. Não estamos tentando transformar ou mudar uma cultura existente, o que pode dificultar nas empresas existentes e tradicionais”, diz ela.

O salário, é claro, ainda está no topo da lista de atratividade dos candidatos, e a contratação para qualquer função de TI exige acompanhar as taxas do mercado. Mas concentrar-se em benefícios, vantagens e cultura pode ajudá-lo a atrair, contratar e reter até mesmo para os papéis de TI mais difíceis de preencher.

Com base no relatório de 2018 sobre o estado do CIO, aqui estão os 10 principais empregos de TI mais difíceis para os empregadores preencherem, para que você saiba onde gastar esforços extras ao contratar.

1. Gerenciamento de segurança/risco

Mais de um terço (39%) dos entrevistados afirmam esperar dificuldades em encontrar as qualificações adequadas para preencher cargos de segurança e gerenciamento de risco, de acordo com nossa pesquisa. “As proteções de segurança cibernética devem ser sua prioridade número 1, sempre”, diz Person-Ashforth. “Muitas vezes vemos clientes evitando isso até que tenham uma brecha, o que é um erro”.

Além disso, conforme regulamentações como o GDPR entram em vigor, essa área, que já apresenta escassez de talentos, passa a ser uma das prioridades mais importantes para os departamentos de TI.

2. Inteligência de Negócios (BI) e Análise de Dados

Trinta e seis por cento dos entrevistados dizem que o preenchimento de funções de Business Intelligence e Analytics continua difícil. Saber como coletar, processar, analisar e atuar sobre as vastas quantidades de inteligência de negócios e dados que fluem para as empresas a cada ano é uma área estratégica crucial; e um grande diferencial competitivo em uma economia digital.

3. Integração na nuvem

Vinte e um por cento dos entrevistados dizem esperar dificuldades para preencher as funções de integração na nuvem. E à medida que mais organizações mudam de implantações locais para as implantações em nuvem, a necessidade de talentos de integração na nuvem continuará a crescer. Seja integrando com sistemas legados ou migrando entre provedores de nuvem, é um conjunto de habilidades críticas em TI.

4. Desenvolvimento de aplicativos

Seja no desenvolvimento de aplicativos para uso corporativo interno para promover objetivos de negócios ou no desenvolvimento de aplicativos para clientes externos, essa área é outra função crítica de TI que enfrenta escassez de talentos qualificados. Algumas organizações estão se voltando para o desenvolvimento de códigos para ajudar a aliviar a pressão; 20% dos entrevistados disseram que terão problemas para preencher as funções de desenvolvimento de aplicativos.

5. Software empresarial (ERP, CRM)

Para grandes empresas, as soluções de ERP e CRM são necessárias para garantir eficiência, permanecer dentro dos orçamentos e, é claro, comunicar-se efetivamente com os clientes, e 19% dos entrevistados dizem que terão dificuldade em preencher as funções de software corporativo. “Essa área é especialmente importante para nós, já que estamos usando o Salesforce para gerenciar e medir a eficácia das campanhas, além das plataformas de Marketing Digital de próxima geração”, diz Person-Ashworth.

6. Inteligência Artificial (IA)

Há um grande burburinho em torno da IA ​​ultimamente, especialmente em como ela pode ajudar as empresas a serem mais eficientes e as maneiras pelas quais ela afetará ou eliminará certas funções. Talento habilidoso para a construção, monitoramento e manutenção de IA estará em alta demanda à medida que esta tecnologia evoluir e amadurecer. Atualmente, 18% dos entrevistados antecipam que as funções de IA serão difíceis de preencher.

7. DevOps / Processos Ágeis

Hoje em dia, toda empresa é uma empresa de TI, e a grande maioria está envolvida em algum tipo de desenvolvimento de software para realizar seus negócios, seja sua única missão operacional ou apenas alavancando software para aprimorar sua linha principal de negócios. DevOps e Agile são metodologias que tornam mais fácil e rápido criar e implantar software, mantendo uma aderência próxima aos requisitos do cliente e do usuário final em todas as etapas de desenvolvimento. Dezessete por cento dos entrevistados dizem que será difícil preencher os papéis DevOps/Agile.

8. Internet das Coisas (IoT - dispositivos conectados, sensores)

Dezesseis por cento dos entrevistados dizem que terão dificuldade em preencher papéis relacionados à Internet das Coisas (IoT), incluindo papéis que envolvem a construção, programação, monitoramento e manutenção de dispositivos conectados, sensores e tudo o mais que envolve IoT.

9. Arquitetura Corporativa

As regras de transformação e disrupção digital no mundo da tecnologia atual e a arquitetura corporativa podem ajudar de forma proativa e holística na resposta de uma empresa a essas forças, identificando a estrutura e a estratégia existentes da empresa e planejando como direcioná-la melhor. Essas funções são críticas para qualquer empresa voltada para o futuro que queira permanecer líder de mercado, mas 16% dos entrevistados dizem que terão dificuldade para preencher as funções de arquitetura corporativa.

10. Serviços em nuvem

Seja público ou privado, os serviços em nuvem permitem acesso onipresente a pools de compartilhamento de recursos configuráveis ​​e personalizáveis ​​oferecidos aos clientes pela Internet. Com cada vez mais organizações acessando um ou mais serviços em nuvem, a demanda por talentos com experiência no fornecimento, solução de problemas e gerenciamento de serviços em nuvem está aumentando. Atualmente, 16% dos entrevistados dizem que terão dificuldades para preencher os papéis relacionados aos serviços na nuvem. Fonte:http://cio.com.br/gestao/

 

170 projetos de DATA SCIENCE e MACHINE LEARNING com Python, resolvidos e explicados

Business Analytics

A utilização de técnicas de Inteligência Artificial (AI) e/ou Aprendizado de Máquina (ML) promove projetos de Business Intelligence à categoria de projeto de Business Analytics.

Sem medo de me tornar repetitivo, deixo como sugestão de leitura a "Bíblia" da garimpagem de dados (Data Mining): Data Mining: Practical Machine Learning Tools and Techniques (Morgan Kaufmann Series in Data Management Systems) 4th Edição.

Muitas linguagens de programação e ferramentas podem ser adotadas para estas atividades. Costumamos utilizar uma ferramenta chamada Weka - Pentaho Data Mining, Machine learning software to solve data mining problems, integrada em nossas soluções.

Neste artigo, apresentarei a você mais de 170 projetos de ciência de dados e aprendizado de máquina resolvidos e explicados usando a linguagem de programação Python, separados em duas seções: uma para iniciantes e outra de nível avançado. 

Projetos de aprendizado de máquina para iniciantes

1. Previsão do preço das ações

2. Projeto de ciência de dados sobre Altura dos Presidentes

3. Projeto de ciência de dados sobre análise da taxa de natalidade

4. Projeto de ciência de dados em séries temporais

5. Projeto de Ciência de Dados sobre Área e População

6. Um passo a passo do projeto de aprendizado de máquina completo

7. Resumo do Texto

Projetos de aprendizado de máquina avançado

1. Previsão do preço da casa

2. Detecção de máscara facial em tempo real

3. Reconhecimento de entidade nomeada

4. Detecção da placa do número

5. Análise IPL com Python

6. Previsão do preço do ouro

7. Detecção de Objeto

8. Análise de atletas com salários mais altos

9. Geração de Texto

10. Correção ortográfica com Python

11. Classificação de renda

12. Modelo de tradução de idiomas

13. Retomar a triagem

14. Classificação da linguagem de sinais

15. Análise de Intenção de Compra Online

16. Análise de gráfico de rede

17. Extração de palavras-chave

18. Análise de livros mais vendidos da Amazon

19. Previsão de casos Covid-19 para os próximos 30 dias

20. Classificação de gênero

21. Reconhecimento de flores

22. Análise do Índice de Qualidade do Ar

23. Detecção de pneumonia

24. Previsão de atrito de funcionário

25. Reconhecimento de gestos manuais

26. Detecção de máscara facial

27. Análise de cesta de compras usando algoritmo a priori

28. Detecção de câncer de mama

29. Modelo de previsão de terremotos

30. Detecção de outlier

31. Previsão de doenças cardíacas

32. Análise de usuários de plástico

33. Chatbot com aprendizado de máquina

34. Modelo de previsão da próxima palavra

35. Idade e detecção de gênero com Python

36. Teclado de autocorreção com Python e aprendizado de máquina.

37. Aprendizado de máquina em 5 linhas de código.

38. Detecção de falsificação profunda com aprendizado de máquina.

39. Preveja as eleições dos EUA com Python.

40. Detecção de moeda falsa com aprendizado de máquina.

41. Prever partidas do Tinder com aprendizado de máquina.

42. Segmentação de imagem

43. Gerador de títulos com Python.

44. Esboço a lápis com Python.

45. OpenAI Gym em Aprendizado de Máquina

46. ​​Covid 19 Analysis.

47. Analisar correspondências ILP.

48. Leitor de código de barras e código QR com Python

49. Extraia texto de PDF com Python.

50. Prever IPL Winner 2020.

51. Preveja os preços dos carros.

52. Analisar registros de chamadas.

53. Crie uma API com Python.

54. Envie e-mails personalizados com Python.

55. Reconhecimento de cores com aprendizado de máquina.

56. Crie uma animação de vídeo 3D.

57. Graph Algorithms in Machine Learning.

58. Extração de recursos de imagem.

59. Previsão de chuva com aprendizado de máquina.

60. Classifique as nacionalidades com o aprendizado de máquina.

61. Detecção de fraude com aprendizado de máquina.

62. Modelagem de Tópico com Python

63. Reconhecimento de entidade nomeada

64. Análise de bate-papo em grupo do WhatsApp

65. Traduzir Linguagens Usando Python

66. Análise de segurança de rede

67. Corrida de gráfico de barras com Python

68. Pesquisa de palavra-chave com Python

69. Detecção de rosto com Python

70. Modelo de detecção de emoção

71. Telegram Bot com Python

72. Reconhecimento de Caligrafia

73. Visualize um sistema solar com Python.

74. Modelo de detecção de discurso de ódio

75. Construa Filtros do Instagram com Python.

76. Rastreamento de contato com aprendizado de máquina

77. Implantar um Chatbot com Python em um aplicativo da Web

78. Resuma o texto com o aprendizado de máquina

79. Classificação de idiomas com aprendizado de máquina.

80. GUI de verificação de OTP com Python

81. Crie um audiolivro com Python

82. Análise de sobrevivência do Titanic

83. Reconhecimento de imagem com PyTorch

84. Modelo de classificação de gênero

85. Previsão de nascimentos diários

86. Algoritmo de pesquisa binária

87. Classificação do Galaxy com aprendizado de máquina

88. Séries Temporais com Modelo LSTM

89. Classificação de imagem com TensorFlow

90. Preveja o clima com aprendizado de máquina

91. Crie um pacote com Python

92. Visão computacional com Python

93. Análise de diamantes com Python

94. Classificação de texto com TensorFlow

95. Segmentação de imagem com Python

96. Regressão Ridge e Lasso

97. Preveja a eficiência do combustível

98. Análise ABC com Python

99. Segmentação pulmonar com aprendizado de máquina

100. Análise RFM com Python

101. Construir rede neural com código Python

102. Algoritmo Genético com Python

103. Prever migração com aprendizado de máquina

104. Analisar dados de saúde

105. PNL para outros idiomas

106. Projeto de Ciência de Dados em Texto e Anotações

107. Data Science Project on - Handwritten Digits

108. Projeto de Ciência de Dados em - Máquinas de Vetor de Suporte

109. Projeto de Ciência de Dados - Previsão de Preço de Ações com Aprendizado de Máquina

110. Data Science Project on - Classificação do Texto

111. Projeto de Ciência de Dados sobre Extração de Características HOG

112. Data Science Project on - Análise de sentimentos de produtos da Amazon com aprendizado de máquina

113. Projeto de ciência de dados - detecção de spam de e-mail com aprendizado de máquina

114. Projeto de Ciência de Dados - Previsão de Doenças Cardíacas com Aprendizado de Máquina

115. Projeto de Ciência de Dados - Sistema de Recomendação de Filmes

116. Projeto de Ciência de Dados - Análise de Desempenho do Aluno com Aprendizado de Máquina

117. Projeto de ciência de dados sobre análise FIFA com python

118. Projeto de ciência de dados - Fake News Classification

119. Projeto de Ciência de Dados - Sequenciamento de DNA com Aprendizado de Máquina

120. Projeto de ciência de dados - sistema de recomendação de livros com aprendizado de máquina

121. Projeto de Ciência de Dados - Previsão de Preço de Bitcoin com Aprendizado de Máquina

122. Projeto de aprendizado de máquina - Redes neurais artificiais

123. Estratégia de negociação algorítmica com aprendizado de máquina e Python

124. Análise de sentimento de resenhas de filmes - Classificação binária com aprendizado de máquina

125. Projeto de Ciência de Dados - Análise de Vendas de Supermercado

126. Projeto de Ciência de Dados - Análise do PIB

127. Projeto de ciência de dados - prever a rotatividade do cliente com Python e aprendizado de máquina

128. Data Science Project - San Francisco Crime Analysis

129. Projeto de aprendizado de máquina - reconhecimento de atividade humana usando dados de smartphone

130. Detecção de fraude de cartão de crédito com aprendizado de máquina

131. Previsão do tempo com aprendizado de máquina

132. Detecção de spam de SMS com aprendizado de máquina

133. Detecção de Covid-19 com aprendizado de máquina e IA

134. Segmentação de clientes com aprendizado de máquina

135. Previsão de rotatividade de funcionários com aprendizado de máquina

136. Prever diabetes com aprendizado de máquina

137. Classificação de imagens com PyTorch

138. Previsão de série temporal com modelo ARIMA

139. Processamento de linguagem natural em bate-papos do WhatsApp

140. Modelo de detecção de notícias falsas

141. Classificação de imagens com redes neurais artificiais

142. Modelo de classificação binária

143. Aumento de dados com aprendizado profundo

144. Modelo de previsão da próxima palavra.

145. Segmentação de imagem

146. Algoritmo XGBoost em Aprendizado de Máquina

147. Detecção de pontos de referência de rosto

148. Filtragem de imagens com aprendizado de máquina

149. Extração de recurso de áudio

150. Modelo de tradução automática

151. Modelo de classificação de gênero

152. Crie um vídeo 3D com Python e aprendizado de máquina.

153. Reconhecimento de entidade nomeada

154. Análise de bate-papo em grupo do WhatsApp

155. Traduzir idiomas usando Python

156. Projetos Covid-19 com aprendizado de máquina

157. Projetos de aprendizado profundo com aprendizado de máquina

158. Projetos de sistema de recomendação com aprendizado de máquina

159. Projetos de análise de sentimento com aprendizado de máquina

160. Projetos de classificação para aprendizado de máquina

161. Projetos de regressão para aprendizado de máquina

162. Projetos de chatbot com Python

163. Projetos de aprendizado de máquina sobre previsão do futuro

Segue a mesma lista em inglês, o que pode facilitar a busca de muitos que já estão habituados com os nomes.

Machine Learning Projects for Beginners

1. Stock Price Prediction

2. Data Science Project on President Heights

3. Data Science Project on Birth Rate Analysis

4. Data Science Project on Time Series

5. Data Science Project on Area and Population

6. A Complete Machine Learning Project Walkthrough

7. Text Summarization

Advanced Machine Learning Projects

1. House Price Prediction

2. Real-Time Face Mask Detection

3. Named Entity Recognition

4. Number Plate Detection

5. IPL Analysis with Python

6. Gold Price Prediction

7. Object Detection

8. Highest-Paid Athletes Analysis

9. Text Generation

10.  Spelling Correction with Python

11.  Income Classification

12.  Language Translation Model

13.  Resume Screening

14.  Sign Language Classification

15.  Online Shopping Intention Analysis

16.  Network Graph Analysis

17.  Keyword Extraction

18.  Amazon Best Selling Books Analysis

19.  Covid-19 Cases Prediction for Next 30 Days

20.  Gender Classification

21.  Flower Recognition

22.  Air Quality Index Analysis

23.  Pneumonia Detection

24.  Employee Attrition Prediction

25.  Hand Gesture Recognition

26.  Face mask Detection

27.  Market Basket Analysis using Apriori Algorithm

28.  Breast Cancer Detection

29.  Earthquake Prediction Model

30.  Outlier Detection

31.  Heart Disease Prediction

32.  Plastic Users Analysis

33.  Chatbot with Machine Learning

34.  Next Word Prediction Model

35.  Age and Gender Detection with Python

36.  Autocorrect Keyboard with Python and Machine Learning.

37.  Machine Learning in 5 lines of code.

38.  Deepfake Detection with Machine Learning.

39.  Predict US Elections with Python.

40.  Fake Currency Detection with Machine Learning.

41.  Predict Tinder Matches with Machine Learning.

42.  Image Segmentation

43.  Title Generator with Python.

44.  Pencil Sketch with Python.

45.  OpenAI Gym in Machine Learning

46.  Covid 19 Analysis.

47.  Analyze ILP Matches.

48.  Barcode and QR code Reader with Python

49.  Extract Text From PDF with Python.

50.  Predict IPL Winner 2020.

51.  Predict Car Prices.

52.  Analyze Call Records.

53.  Create an API with Python.

54.  Send Custom Emails with Python.

55.  Colour Recognition with Machine Learning.

56.  Create a 3D Video Animation.

57.  Graph Algorithms in Machine Learning.

58.  Image Features Extraction.

59.  Rainfall Prediction with Machine Learning.

60.  Classify Nationalities with Machine Learning.

61.  Fraud Detection with Machine Learning.

62.  Topic Modeling with Python

63.  Named Entity Recognition

64.  WhatsApp Group Chat Analysis

65.  Translate Languages Using Python

66.  Network Security Analysis

67.  Bar Chart Race with Python

68.  Keyword Research with Python

69.  Face Detection with Python

70.  Emotion Detection Model

71.  Telegram Bot with Python

72.  Handwriting Recognition

73.  Visualize a Solar System with Python.

74.  Hate Speech Detection Model

75.  Build Instagram Filters with Python.

76.  Contact Tracing with Machine Learning

77.  Deploy a Chatbot with Python into a Web Application

78.  Summarize Text with Machine Learning

79.  Language Classification with Machine Learning.

80.  OTP Verification GUI with Python

81.  Create an Audiobook with Python

82.  Titanic Survival Analysis

83.  Image Recognition with PyTorch

84.  Gender Classification Model

85.  Daily Births Forecasting

86.  Binary Search Algorithm

87.  Galaxy Classification with Machine Learning

88.  Time Series with LSTM Model

89.  Image Classification with TensorFlow

90.  Predict Weather with Machine Learning

91.  Create a Package with Python

92.  Computer Vision with Python

93.  Diamonds Analysis with Python

94.  Text Classification with TensorFlow

95.  Image Segmentation with Python

96.  Ridge and Lasso Regression

97.  Predict Fuel Efficiency

98.  ABC Analysis with Python

99.  Lung Segmentation with Machine Learning

100. RFM Analysis with Python

101. Build Neural Network with Python Code

102. Genetic Algorithm with Python

103. Predict Migration with Machine Learning

104. Analyze Healthcare Data

105. NLP For Other Languages

106. Data Science Project on Text and Annotations

107. Data Science Project on — Handwritten Digits

108. Data Science Project on- Support Vector Machines

109. Data Science Project — Stock Price Prediction with Machine Learning

110. Data Science Project on — Classification of Text

111. Data Science Project on-Extracting HOG Features

112. Data Science Project on — Amazon Products Reviews Sentiment Analysis with Machine Learning

113. Data Science Project — Email spam Detection with Machine Learning

114. Data Science Project — Heart Disease Prediction with Machine Learning

115. Data Science Project — Movie Recommendation System

116. Data Science Project — Student Performance Analysis with Machine Learning

117. Data Science Project on FIFA Analysis with python

118. Data science project — Fake News Classification

119. Data Science Project — DNA Sequencing with Machine Learning

120. Data Science Project — Book Recommendation System with Machine Learning

121. Data Science Project — Bitcoin Price Prediction with Machine Learning

122. Machine Learning Project — Artificial Neural Networks

123. Algorithmic Trading Strategy with Machine Learning and Python

124. Movie Reviews Sentiment Analysis -Binary Classification with Machine Learning

125. Data Science Project — Supermarket Sales Analysis

126. Data Science Project — GDP Analysis

127. Data Science Project — Predict Customer Churn with Python and Machine Learning

128. Data Science Project — San Francisco Crime Analysis

129. Machine Learning Project — Human Activity Recognition using Smartphone Data

130. Credit Card Fraud Detection with Machine Learning

131. Weather Forecasting with Machine Learning

132. SMS Spam Detection with Machine Learning

133. Covid-19 Detection with Machine Learning and AI

134. Customer Segmentation with Machine Learning

135. Employee Turnover Prediction with Machine Learning

136. Predict Diabetes with Machine Learning

137. Image Classification with PyTorch

138. Time Series Forecasting with ARIMA Model

139. Natural Language Processing on WhatsApp Chats

140. Fake News Detection Model

141. Image Classification with Artificial Neural Networks

142. Binary Classification Model

143. Data Augmentation with Deep Learning

144. Next Word Prediction Model.

145. Image Segmentation

146. XGBoost Algorithm in Machine Learning

147. Face Landmarks Detection

148. Image Filtering with Machine Learning

149. Audio Feature Extraction

150. Machine Translation Model

151. Gender Classification Model

152. Create a 3D Video with Python and Machine Learning.

153. Named Entity Recognition

154. WhatsApp Group Chat Analysis

155. Translate Languages Using Python

156. Covid-19 Projects with Machine Learning

157. Deep Learning Projects with Machine Learning

158. Recommendation System Projects with Machine Learning

159. Sentiment Analysis Projects with Machine Learning

160. Classification Projects For Machine Learning

161. Regression Projects for Machine Learning

162. Chatbot Projects with Python

163. Machine Learning Projects on Future Prediction

 

Contato

 

Adaptado de https://medium.com/coders-camp/180-data-science-and-machine-learning-projects-with-python-6191bc7b9db9

Atualizações sobre o mundo Pentaho

Aquecimento

Para iniciar, cabe uma breve explanação sobre os acontecimentos que têm aquecido o mercado e a comunidade de empresas, usuários e desenvolvedores de soluções de apoio a decisão, que evitam desperdiçar verdadeiros latifúndios com licenças de uso de softwares antigos e criam suas próprias soluções, sob medida, e sem vínculos com quem quer que seja. Nem com vendedores de licenças, nem de servidores nem de consultorias, cursos ou treinamentos caríssimos e infinitos.

Muitos projetos ambiciosos da atualidade, em todo o mundo, só são considerados viáveis por conta das facilidades oferecidas pelo produto Pentaho, uma suíte (um conjunto de softwares integrados entre si) de código aberto, gratuito, que contempla todas as etapas de soluções de Business Analytics e/ou Business Intelligence, end to end. O Pentaho tem sido turbinado, digamos assim, pelas CTools, um conjunto de plugins criados por uma empresa portuguesa, a Webdetails. Em 2013 ela foi comprada pela Pentaho, empresa que mantém o produto com o mesmo nome, que conta com uma versão Enterprise, não gratuita e ainda mais completa que a versão gratuita, a Community. Ambas as versões passam a contar com várias das Ctools como parte integrante, juntamente com o Pentaho Marketplace, responsável pela instalação e gerenciamento de plugins.

Em 2015 a empresa Pentaho foi comprada por um dos maiores grupos do mundo, a Hitachi, um líder global em indústrias, infraestrutura e tecnologia, que tem, entre outros, foco no mercado de IoT, internet das coisas. Eles gerenciam entre outros empreendimentos, usinas nucleares, metrôs, ferrovias e têm uma gama de sensores bastante considerável. Todos estes sensores geram dados, que precisam ser analisados em tempo hábil para que façam algum sentido e ajudem na tomada de decisões, aplicáveis em praticamente todas as esferas da sociedade. Aí é que entra a suíte Pentaho.

Pentaho Day 2017 Brasil - Curitiba/PR

Pentaho Day 2017 - BrasilE ao falarmos de Pentaho, cabe aqui destacar, ainda com certo delay, que o Pentaho Day 2017 Brasil - Curitiba/PR foi fantástico, como sempre. Foram tantos aprendizados e tantos contatos estabelecidos, que vários projetos desde então foram executados aqui na e-Setorial e nos consumiram, mas não podemos deixar de enaltecer mais essa iniciativa da comunidade Pentaho Brasil, que ajuda profissionais e empresas de ramos de atividade e portes diferentes. A título de exemplo, nossos projetos este ano foram tão variados, que foram desde a análise de dados de Educação à Distância, do Enriquecimento de Dados de Pessoas Físicas e Jurídicas do Brasil, a análise de dados Hospitalares para Planos de Saúde, até um sistema completo para gestão de risco em Usinas Hidrelétricas e Barragens. Todos desenvolvidos utilizando o Pentaho em sua versão gratuita, atingindo excelentes resultados.

O maior evento da comunidade Pentaho do Mundo, contou com mais de 400 participantes e teve Palestras, Cases e Minicursos ministrados por algumas das maiores referências sobre o tema, que aconteceu na Universidade Positivo, em Curitiba/PR, no Brasil, nos dias 11 e 12 de maio.

O destaque principal ficou para apresentação de Matt Casters sobre o seu fantástico Web Spoon, que é o Pentaho Data Integration rodando inteiramente na web, facilitando ainda mais o desenvolvimento e manutenção das soluções.

Muito do material produzido e apresentado no evento está disponível no site do evento, inclusive o minicurso oferecido por Eduardo Carvalho, da e-Setorial, com o título "Design Patterns para Tuning Pentaho com Ctools".

Espaço para Tietagem

Eduardo Alves de Carvalho

Analista Sênior de BI na e-Setorial

"Não são todos os dias que encontramos tantos profissionais que admiramos de uma só vez. Não poderia deixar de registrar a confraternização com o norte americano Matt Casters, à esquerda, criador do Pentaho Data Integration e o português Pedro Alves, ao centro, o Criador das CTools, amigo e meu instrutor por diversas oportunidades, desde 2012. E isso acontecendo em minha cidade natal, Curitiba. Pentaho Day Brasil 2017"


Capricho da organização

A organização do evento foi impecável. Deixamos o agradecimento ao amigo Marcio Junior Vieira, da Ambiente Livre, responsável por mais esta edição do evento.

Hitachi Vantara

Hitachi VantaraEm 18 de setembro de 2017 a Hitachi anunciou a formação da Hitachi Vantara, uma empresa cujo objetivo é ajudar as organizações a prosperar nos tempos incertos e turbulentos de hoje e se preparar para o futuro. Esta nova empresa unifica a missão e as operações da Pentaho, Hitachi Data Systems e Hitachi Insight Group em um único negócio, a Hitachi Vantara. Juntas, dão aos líderes empresariais uma vantagem para encontrar e usar o valor em seus dados, inovar inteligentemente e atingir os resultados que são importantes para as empresas e a sociedade.

Apresentando a Vantara: uma combinação de TI, tecnologia operacional (OT) e expertise de domínio. Com o software de integração e análise de dados Pentaho, a Vantara oferece às organizações o poder de capturar e usar dados de forma eficiente a partir da "borda", onde os dados são movidos de forma fluida por sensores e dispositivos fora dos internos do negócio do dia-a-dia e combinam estes dados de sensores com recursos de dados corporativos mais tradicionais para fornecer um alto nível de contexto e previsões inteligentes que levam a resultados comerciais reais.

O que dizem os envolvidos

Donna Prlich

CHIEF PRODUCT OFFICER

A integração e análise de dados Pentaho continuará a evoluir, e a Hitachi Vantara irá investir para se manter à frente dos futuros desenvolvimentos em grandes dados, IoT e aprendizagem de máquinas. Sabemos o que nossos clientes precisam e com o poder e os recursos da Hitachi, podemos levá-los até mais rápido.

Pedro Alves

SVP Community / Product Designer for Pentaho at Hitachi Vantara

Não há planos de mudar a estratégia de código aberto ou parar de fornecer uma edição CE para a nossa comunidade! Essa mudança pode acontecer no futuro? Oh, absolutamente sim! Assim como poderia ter mudado no passado. E quando poderia mudar? Quando ele deixa de fazer sentido; quando deixa de ser mutuamente benéfico. E naquele dia, serei o primeiro a sugerir uma mudança em nosso modelo. Se a opensource nos trouxe aqui em primeiro lugar - mudaremos realmente isso agora que as coisas estão se aquecendo? Nós somos loucos, não estúpidos;)

Em resumo, foi criada uma nova empresa com uma estrutura muito maior, chamada Hitachi Vantara, que continuará a trabalhar com o produto Pentaho nas suas versões Enterprise, paga, e Community, gratuita.

Pentaho 8.0

Hitachi VantaraA comunidade está em polvorosa e no evento mundial da Pentaho, o PentahoWorld 2017, que aconteceu na semana passada, entre 25 e 27 de outubro em Orlando na Florida.

Entre todos os fantásticos cases apresentados, surgiu mais uma novidade bombástica. Foi anunciado a versão 8 do Pentaho, já para o mês que vem.

  • Plataforma e Escalabilidade
    • Worker nodes
    • Novo tema
  • Data Integration
    • Suporte de streaming!
    • Execute configurações para jobs
    • Filtros no Data Explorer
    • Nova experiência de Abrir / Salvar
  • Big Data Vendemos Inteligência Empresarial
    • Melhorias em AEL
    • Formatos de arquivo para Big Data - Avro e Parquet
    • Segurança em Big Data- Suporte para Knox
    • Melhorias de VFS para Clusters de Hadoop
  • Outras
    • Ops Mart para Oracle, MySQL, SQL Server
    • Melhorias na segurança da senha da plataforma
    • Mavenization PDI
    • Alterações de documentação em help.pentaho.com
    • Remoção de recursos:
      • Analisador em MongoDB
      • Plug-in móvel (desativado em 7.1)

Conclusão

Hitachi Vantara Com investimentos que só uma grande corporação pode fazer, o produto tem tudo para se disseminar ainda mais e ganhar espaço dos grandes players. A equipe de desenvolvimento não para, ao contrário dos concorrentes que só pensam em vender licenças de uso de suas ferramentas. Cada vez mais o pentaho traz segurança, facilidade em desenvolver e manter e o melhor de tudo, com funcionalidades que surpreende até aos mais exigentes. É verdade que ainda são necessários conhecimentos em Java Script e MDX para a implementação de dashboards mais específicos, entretanto aplicações simples, mas e poderosas, podem ser criadas em minutos, sem escrever uma linha de código. O caminho é este.

E que venha o Pentaho 8.0!

Links Úteis

E para onde foram os fóruns, wikis e comunidades? Abaixo separamos alguns links importantes, que o deixarão com mais segurança: 

# Dicas
1 Ctools
2 CCC Playground - Documentação dos gráficos Ctools
3 Alguns dashboards de demonstração
4 Pentaho Community website
5 Grupo de usuários Brasil
6 Forum mundial da comunidade
7 Blog Pedro Alves
8 Desenvolvimento, treinamento e consultoria especializada em Pentaho

Referências

Como usar Data Science para revelar perfis comportamentais?

Em junho deste ano, a empresa Tail Target, em parceria com grupos de usuário, fez um estudo sobre o perfil do desenvolvedor Java no Brasil. Para isso, divulgou entre os desenvolvedores um link que deveria ser clicado por quem quisesse participar da pesquisa.

Este link não continha uma pergunta sequer nem levava para nenhum questionário. Imediatamente, choveram e-mails avisando que o link divulgado estava errado. Não estava. Em menos de uma semana estava pronto um estudo completo que mostrava os interesses, demografia e estilo de vida dos desenvolvedores. Mágica? Não, Data Science.

Data Science é um novo campo que alia Big Data, processamento estatístico e inteligência artificial para encontrar informações e detectar padrões. É cada vez mais comum encontrar grandes empresas cuja tomada de decisão está baseada em Data Science.

Para outras, Data Science é fundamental para a própria existência do seu negócio. No Netflix, 75% da audiência vem do seu algoritmo de recomendação, que é um ótimo exemplo de Data Science aplicada. A plataforma de relacionamentos e-Harmony usa Data Science para encontrar o par ideal para uma pessoa e já é responsável por 5% dos casamentos nos EUA.

O estudo sobre o perfil do desenvolvedor Java analisou dados de navegação anônimos de centenas de pessoas que visitaram um dos sites sobre desenvolvimento Java que estavam sendo monitorados. Fazendo uma análise sobre que outros sites estas pessoas visitavam, algoritmos de inteligência artificial detectaram padrões que permitiram traçar um perfil comportamental dessas pessoas.

Segundo esse estudo, 88% dos desenvolvedores Java brasileiros são homens e apenas 12% são mulheres. Os adultos representam a maioria desses desenvolvedores (44%), seguidos de jovens adultos (30%) e adolescentes (25%). Finanças, tecnologia, futebol, viagens e TV, nessa ordem, são os assuntos que mais interessam os desenvolvedores.

A surpresa nesse estudo veio ao medir os microssegmentos que mais interessavam aos desenvolvedores homens e mulheres. Entre os homens, os principais microssegmentos são TV Aberta, novelas, carros de alta renda, séries de TV e viagens internacionais. Já as mulheres preferem ler sobre TV Aberta, TV a cabo, cabelo e maquiagem. Ou seja, os desenvolvedores homens são noveleiros. As desenvolvedoras não.

Os algoritmos aplicados não coletam informações demográficas nem qualquer informação fornecida pelos usuários. O que eles fazem é processar registros de acesso a milhares de sites e executar uma série de algoritmos de inteligência artificial que tentam adivinhar as informações demográficas e os interesses baseado no comportamento online dessas pessoas.

Obviamente existe uma margem de erro nesses algoritmos, mas eles têm se tornado cada vez mais precisos. Depois da publicação deste estudo, um pesquisador da Universidade de Kent enviou os dados de uma pesquisa similar feita em 2003. Esse estudo usou métodos tradicionais: entrevistas e questionários para encontrar a demografia do desenvolvedor Java. O estudo de 2003 identificou que 88% dos desenvolvedores eram homens. Esse é exatamente o mesmo número encontrado pelos algoritmos que fizeram o mesmo levantamento usando dados comportamentais.

*Fabiane Nardon é PhD em Engenharia Eletrônica pela Escola Politécnica da USP, Mestre em Ciência da Computação pela Universidade Federal do Rio Grande do Sul e Bacharel em Ciência da Computação pela Universidade de Passo Fundo. Desde 2012, é a Cientista Chefe da Tail Target.

fonte

O perfil do cientista de dados, de acordo com o LinkedIn

Ferris Jumah, cientista de dados do Linked In, publicou na rede um artigo sobre a dificuldade em descrever as características de sua profissão, mesmo que já existam diversos materiais que oferecem descrições e guias sobre esta carreira. Jumah fez algo diferente: analisou dados retirados da própria plataforma Linked In, a partir do perfil de pessoas que se dominavam “cientistas de dados”. Assim, conseguiu realizar uma abordagem mais assertiva para a definição desse profissional.

Habilidades mais populares entre os cientistas de dados, de acordo com o Linked In

Data Mining

Machine Learning

R

Phyton

Data Analysis

Statistics

SQL

Java

Matlab

Algorithms

Embora essa lista nos mostre quais são as habilidades mais encontradas nos perfis profissionais, fica difícil relacioná-las observando apenas para um ranking. Para facilitar o entendimento, Ferris Jumah foi mais fundo e criou o seguinte gráfico:

(clique aqui para visualizar a imagem em melhor resolução)

Cada nó representa uma habilidade. Com o objetivo de facilitar a visualização e o entendimento dessas informações, elas foram agrupadas por semelhança e representadas por cores. Em seguida, foram dimensionadas em relação a quantas vezes apareceram conectadas e em suas influências em outras habilidades na rede.

Várias são as conclusões podem ser tiradas a partir desse estudo. São algumas delas:

1) Abordam dados com uma mentalidade matemática

Vemos que machine learning, data mining, data analysisstatistics possuem uma classificação alta. Isso indica que ser capaz de entender e representar dados matematicamente, com intuição estatística, é uma habilidade fundamental para os cientistas de dados.

2) Uso de uma linguagem comum para o acesso, exploração e modelagem de dados

Python, R,e Matlab são as três linguagens mais populares para a visualização e modelo de desenvolvimento, e SQL é a mais comum para acesso a dados . Quando se trata de dados, extrair, explorar e testar hipóteses é uma grande parte do trabalho. Não é nenhuma surpresa que estas habilidades estejam em destaque.

3) Fortes desenvolvedores

Vemos também computer science e software engineering como qualificações, juntamente com Java, C ++, Algoritmos e Hadoop - todas tendo espaço notável na visualização de rede . Estas são as habilidades são usadas principalmente para aproveitar os dados para o desenvolvimento de sistemas.

Provavelmente não existe um profissional especialista em todas essas habilidades, mas sim e um ou duas delas. Esta é, portanto, uma visão holística das características representadas dentro de uma equipe típica de cientistas de dados.

E você, chegou a alguma outra conclusão a partir do estudo de Ferris Jumah? Divida com a gente!

Serviços

Em busca da informação gerencial estratégica, reunimos as técnicas mais modernas de software, processos e pessoas especializadas para conceber soluções completas de acordo com a sua necessidade. O objetivo é fazer você concentrar seus esforços naquilo que importa: o seu produto ou serviço!

A e-Setorial disponibiliza uma completa gama de serviços voltados para: