Openin Big Data

22/10/2024

Quando o assunto é uma moderna arquitetura de dados, Data Lakehouse é quase unanimidade como solução! No entanto, quando todos os ingredientes necessários não estão no lugar, a atmosfera de armazenamento torna-se o que muitos chamam de "pântano de dados" 🌊🔮

Por isso que a aplicação de melhores práticas de uso, como a utilização de uma arquitetura baseada em object storage, segmentação, organização, ciclo de vida, agrupamento, formato aberto dos arquivos e formato aberto de tabelas, são necessárias para uma sustentação mais simples, ágil e um custo controlado 💡💎

Te interessou o assunto? Ele será um dos casos de uso abordado na 12° edição do Bootcamp Data Engineering com AWS & Cia, que será realizado em Novembro/2024 📅🎉. Acesse o link e saiba mais: https://open.eadplataforma.app/curso/12-bootcamp-data-engineering-com-aws-cia-66e31c2b4f133 📚👇!
🔎

28/08/2023

🍤 Camarão que dorme a onda leva! 🚨 Vai ter virada de lote do Bootcamp sobre Data Engineering mais completo do mercado, nesta segunda-feira (23h59)

Hoje é o ultimo dia para adquirir o ingresso do 2° lote com um BAITA DESCONTO para a 10° edição do Bootcamp Data Engineerig com AWS, Apache Hop & Cia. Amplie suas competências nesse segmento da TI que mais cresce em todo o mercado e que está apoiando as melhores decisões de negócios de empresas data-driven do Brasil.

Para mais informações, acesse: https://lnkd.in/dv_Gz4vM

23/08/2023

IaC (Infrastructure as code) em Engenharia de Dados - "CORTES" - EP10 do Bootcamp Data Engineering com AWS, Apache Hop & Cia. 🛠️🏗️👨‍💻

No intuito de fomentar o uso de serviços gerenciados AWS e estimular o interesse por todos os assuntos abordados no Bootcamp Data Engineering com AWS, Apache Hop & Cia, trago numa série de cortes 🎬, os melhores momentos desse treinamento onde já passaram +350 alunos. 🚀👥

Caso queira participar da próxima edição do Bootcamp Data Engineering com AWS, Apache Hop & Cia que vai acontecer em Setembro/2023 online e ao vivo, acesse o link abaixo para saber mais:
👉 https://www.sympla.com.br/evento-online/10-bootcamp-data-engineering-com-aws-apache-hop-cia/2014454

Os cortes desse episódio apresentam o uso de IaC (Infraestrutura como código) utilizando o AWS CloudFormation ☁️, ferramenta essa responsável pela criação e manutenção de toda a infra da arquitetura do treinamento. 🏞️💡
👉 https://www.youtube.com/watch?v=LPKnXsWEcuY

🔎

No intuito de fomentar o uso de serviços gerenciados AWS e estimular o interesse por todos os assuntos abordados no Bootcamp Data Engineering com AWS, Apache...

22/08/2023

🎯 Upserts, estendem os recursos dos data lakes e são essenciais em muitos casos de uso de negócios. 💻💾

A execução de atualizações e exclusões é uma função básica em bancos de dados OLTP. Esses bancos de dados usam armazenamento em nível de linha com índices integrados que facilitam a identificação de um registro específico para upserts. Data lakes, no entanto, armazenam dados em um formato colunar sem índices, o que dificulta a execução de upserts em nível de registro. 🤔

É por isso que atualizar ou excluir dados é surpreendentemente difícil de fazer no armazenamento de data lake. Encontrar os registros a serem atualizados ou excluídos requer uma varredura de dados completa. Mas a varredura de um armazenamento de dados inteiro para cada upsert é cara e demorada. Isso pode sobrecarregar os recursos de TI e atrasar as respostas às solicitações de mudança. Enquanto isso, os profissionais de dados não conseguem obter a visão consistente dos dados que esperam dos bancos de dados. 😩💸

Abordamos o assunto nessa live e usando o Apache Hop conseguimos ter um ambiente de upasert em Data Lake sem envolver tecnologias de Format Table, como Delta Table, Apache Iceberg ou Apache Hudi, confira em https://lnkd.in/duYVbRNs 📺🚀

O assunto abordado na live faz parte do conteúdo da nossa 10° edição do Bootcamp Data Engineering com AWS, Apache Hop & Cia que vai rolar em Setembro/2023 e estamos com o 2° lote de ingressos com um BAITA DESCONTO, aproveitem, pois esse lote vai durar até o dia 28/08 📢💸💻

Segue o link do evento para vcs avaliarem a ementa. Será um grande prazer te-los no curso 😊👨‍🎓
https://lnkd.in/dv_Gz4vM

🔎

Quer aprender a desenvolver em detalhes essa solução? A 10° edição do Bootcamp Data Engineering com AWS & Cia já está com suas matrículas abertas, aproveite ...

20/08/2023

Aprimorando sua Bus Matrix em mais uma da serie dicas do vovô Kimball para Data Warehouses/Lakehouses

Em novembro de 2002, "Design Tip 41: Drill Down into a More Detailed Bus Matrix," o artigo apresenta como aprofundar suas análises de dados de forma divertida e eficaz. 🕵️‍♂️🔍 O artigo oferece uma dica valiosa sobre como aprimorar sua Bus Matrix, permitindo que você mergulhe em informações mais detalhadas. 📊🚀 Embora eu não possa acessar o conteúdo específico, espera-se que você encontre insights sobre a construção de matrizes de dados mais ricas e precisas. 💡🧩 Se você deseja aperfeiçoar suas habilidades de análise e a tomada de decisões, este link pode ser uma joia escondida! 💎🌟

Quer ler na integra o artigo? Segue o link abaixo
https://www.kimballgroup.com/2002/11/design-tip-41-drill-down-into-a-more-detailed-bus-matrix/

Tem interesse por modelagem de dados dimensional para o seu Data Warehouse ou Data Lakehouse? Segue essa indicação de curso > https://www.udemy.com/course/desenhando-modelos-dimensionais-para-data-warehouses/

🔎

Aprenda a criar um modelo dimensional robusto de dados para potencializar a entrega de informações

03/04/2023

Essa é a badge 🏆 que aguarda os quase 30 alunos já inscritos na 9° edição do Bootcamp Data Engineering com AWS, Apache Hop & Cia que vai rolar em Maio/2023 🎉.

Venha dar um UP em sua carreira e participe deste segmento de mercado de TI 💻 que mais cresce no momento e se capacite no desenvolvimento de uma moderna arquitetura de dados de alta performance, baixo custo de armazenamento e processamento para análises de grandes volumes de dados 🚀📊.

Aqui o link do evento: https://lnkd.in/d95S8tU2

🔎

07/03/2023

Casos de uso de Data Engineering 🚀

A infraestrutura de dados moderna tornou-se tão empolgante e com infinitas possibilidades, que hoje, trago a utilização de containers gerenciados na Amazon Web Services (AWS), como uma grande alternativa de menor custo ao modelo de infra sempre disponível, pois a utilização de serviços gerenciados pela AWS, você paga somente pelo que consume e ver isso funcionando para execução de pipelines de dados é FANTÁSTICO.

Te interessou o assunto? Ele será um dos casos de uso abordado na 9° edição do Bootcamp Data Engineering com AWS & Cia que será realizado em Maio/2023. Acesse o link e saiba mais https://lnkd.in/d95S8tU2

06/03/2023

No intuito de fomentar o uso de serviços gerenciados AWS e estimular o interesse por todos os assuntos abordados no Bootcamp Data Engineering com AWS, Apache Hop & Cia, trago numa série de cortes, os melhores momentos desse treinamento onde já passaram +300 alunos.

Neste 1° episódio, você verá momentos sobre a introdução ao treinamento. Aproveita para se inscrever no canal e saber quando novos episódios estarão disponíveis, pois os episódios ficaram acessíveis por pouco tempo.

👉 https://youtu.be/k1Y3qOv0P4M

24/01/2023

Que tal aprender a desenvolver e entregar uma solução de Data Lakehouse fim a fim em apenas 24 horas?

Então, é justamente o que veremos na 9° edição do Bootcamp Data Engineering com AWS & Cia que vai acontecer em Março, de 02 à 28, com encontros online ao vivo as terças e quintas a partir das 19h com 3 horas de duração cada encontro.

Lá, será apresentado do absoluto zero, o desenvolvimento de uma arquitetura moderna de dados para Data Lakehouse, usando serviços AWS como: S3, Glue, Athena, Redshift Spectrum, Cloudformation, IAM, Eventbridge, Quicksight, VPC, ECS, ECR, Fargate, RDS, DMS, CloudWatch e outros serviços e ferramentas como: Github, Github Actions, Apache Hop, Apache Airflow e Docker.

Casos de uso com os Serviços e Ferramentas utilizadas:

👉 DevOps com Github para versionamento e deploy de todos os artefatos gerados no desenvolvimento

👉 Cloudformation como solução de IaC para subir toda a infra necessária para o desenvolvimento

👉 VPC específica para segmentar todos os recursos a serem utilizados no desenvolvimento

👉 Guardrails com IAM para o controle da segurança dos acessos aos recursos

👉 Github Actions como esteira CI/CD do deploy de toda a infra via IaC Cloudformation

👉 RDS como ambiente OLTP (Transacional), fonte de dados para o Data Lakehouse

👉 S3 como solução de object storage para o Data Lake organizado em zonas

👉 DMS para ingestão de dados no Data Lake via CDC

👉 Glue como camada semântica das estruturas de dados do Data Lakehouse

👉 Athena como camada de query SQL do Data Lakehouse

👉 Apache Hop como ferramenta (nocode/lowcode) de Data Transformation

👉 Power BI e QuickSight como ferramenta de Data Viz

👉 Estendendo o Data Lake para o uso com Redshift Spectrum

👉 Tornando o Apache Airflow, a ferramenta para o Job Scheduler

👉 Containers Dockers para execuções Hop long lived e Hop short lived

👉 ECS orquestrando e executando workflows e pipelines em containers gerenciados

👉 Eventbridge como serviço de agendamento dos containers gerenciados em Fargate

👉 CloudWatch para monitorar as execuções e performance dos containers gerenciados

Inscrições no valor de R$540,00 (valor de 1° lote que vence em 26/01, depois o valor será de R$880,00)

Para mais informações, acesse: https://lnkd.in/dqJYYVTS

20/01/2023

O Bootcamp de Engenharia de Dados 🎲 com AWS & Cia já capacitou mais de 300 profissionais, venha fazer parte da 9° edição que vai acontecer em Março, de 02 à 28 🗓, com encontros online ao vivo as terças e quintas.

Faça parte desse seleto grupo de profissionais que estão desenvolvendo os projetos mais tecnológicos do mercado, apoiando suas empresas a se tornarem mais orientadas a dados.

Para mais informações, acesse: 👉 https://lnkd.in/dqJYYVTS