Engenharia de Dados [Cast]

Luan Moreno M. Maciel

Aqui no podcast, sabemos que o mundo de dados pode ser overwhelming: são tantas ferramentas, plataformas e metodologias novas surgindo toda semana que fica difícil acompanhar.  Nossa missão é simplificar essa complexidade e te ajudar a fazer escolhas mais inteligentes sobre qual tecnologia usar em cada situação. Em cada episódio, conversamos com especialistas que estão na linha de frente, compartilhando experiências reais, acertos, erros e lições aprendidas. É aquele papo técnico que você teria com um colega experiente tomando um café , só que gravado para você ouvir quando e onde quiser. A ideia é que você saia de cada episódio com algo prático para aplicar no seu dia a dia, seja uma nova perspectiva sobre uma ferramenta, uma dica de arquitetura ou insights sobre tendências que realmente valem a pena acompanhar. Nosso objetivo é simples: te ajudar a se tornar um profissional mais confiante e preparado, sem a pressão de ter que saber tudo sobre tudo. É o lugar onde conhecimento técnico encontra conversas humanas, criando uma comunidade de profissionais que crescem juntos na área de dados.

  1. Jul 18

    IA, Carreira e o novo dia a dia do Engenheiro de Dados

    Em que momento a IA deixou de ser uma curiosidade e passou a mudar, de verdade, o jeito de trabalhar com dados? Neste episódio do Engenharia de Dados Cast, Lucas Tancredi recebe Rafael e os profissionais da DataShip Anthony Lucas e Vinícius para uma conversa sobre carreira, produtividade e o uso de IA no dia a dia. Anthony conta como conseguiu construir em menos de um mês um pipeline que, no modelo tradicional, poderia levar meses e exigir uma equipe inteira. Vinícius fala sobre sua experiência com Spec-Driven Development, usando reuniões, notas e requisitos como ponto de partida para desenvolver com mais velocidade e menos retrabalho. Rafael compartilha o que aprendeu em projetos de aceleração de IA com a Microsoft, inclusive assumindo tarefas que antes dependeriam de especialistas de áreas diferentes. A conversa também entra nas perguntas que muita gente da área já está fazendo: O que muda na carreira de quem trabalha com dados?Quais habilidades passam a valer mais?Como usar IA sem terceirizar o raciocínio?Até onde uma pessoa consegue chegar com agentes e bons processos?O que acontece com os times quando um profissional passa a executar o trabalho de vários papéis?Não tem papo de que a IA vai resolver tudo, nem previsão apocalíptica sobre o fim da profissão. Tem experiência real de quem já mudou o próprio workflow e está entendendo, na prática, onde a IA ajuda, onde ainda falha e por que saber trabalhar com ela está virando parte do ofício. Se você trabalha com engenharia de dados e ainda trata IA como algo para "ver depois", este episódio pode ser a sua virada de chave. Lucas Tancredi - Linkedin Rafael Rodrigues - Linkedin Antony Lucas - Linkedin Vinicius Peres - Linkedin  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

  2. Jul 8

    Agentic Engineering: Do Loop à Fábrica Autônoma

    Prepare-se para uma conversa direta sobre a disciplina que está silenciosamente substituindo a engenharia de dados como a gente conhece, e que ainda não tem nome no mercado brasileiro. Neste episódio, Lucas Tancredi e Luan Moreno discutem, sem rodeios, por que Engenharia Agêntica não é prompt engineering glorificado, o que mudou de verdade no workflow de quem já está construindo sistemas autônomos, e como o Data Engineer chegou ao centro dessa transformação. O que você vai aprender neste episódio: Por que o medo não desaparece mesmo pra quem já constrói sistemas agênticos há dois anos, e o que isso diz sobre a velocidade do que está acontecendo.O que o Karpathy quis dizer com Software 3.0 e por que isso muda a forma como você pensa sobre o seu trabalho com dados hoje.As 5 camadas da Engenharia Agêntica (Prompt, Context, Harness, Loop e Eval Engineering) e por que a maioria das empresas ainda investe tudo na camada menos importante.O que é uma Dark Factory e como um sistema de 42 agentes fez em 6 meses o que um time de 7 pessoas levou 3 anos pra tentar, e ainda encontrou um bug de 137 mil dólares que ninguém havia visto.Por que você não vai ser substituído pela IA, mas pode ser substituído por alguém que a usa melhor do que você, e o que isso significa pra quem está no mercado agora.Este não é um episódio sobre ferramentas. É uma conversa sobre por que esse momento não vai esperar você estar pronto. Lucas Tancredi - Linkedin  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

  3. Mar 10

    Era dos Agentes: Refatorando InfraView com Claude Code e Lakeflow

    Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias? Neste episódio da série Era dos Agentes, exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de três camadas, usando AWS Lambda, Lakeflow Declarative Pipelines e Databricks Asset Bundles. A história começa com um problema real: a infraestrutura que sustentava a cobrança de clientes era frágil, não escalável e impossível de testar. Um timeout de API às duas da manhã derrubava o pipeline inteiro. Doze constantes críticas de threshold estavam espalhadas como números mágicos por cinco arquivos diferentes. Ninguém conseguia provar que as fórmulas estavam corretas. Na segunda sessão, o projeto quase parou. Um bug não documentado no motor DLT: o decorator dp.table em Python, com nomes fully qualified, quebrava a resolução do grafo JVM em pipelines multi-schema. Foram três a quatro horas de debugging. Sete abordagens falharam. Até que surgiu o Padrão Híbrido SQL+Python: notebooks Python criam views temporárias com dp.view para a lógica complexa, e notebooks SQL registram as tabelas finais com CREATE OR REFRESH. O DLT processa tudo como um único grafo de computação. O clímax é a validação em escala de produção: 920.676 registros reais de OTel processados simultaneamente pelos dois pipelines, legado e novo. 822 milhões de linhas Silver geradas. O resultado: InfraRating (risco e otimização) com 100% de match exato em 42.640 comparações. Performance de 38 minutos no serverless contra 90 minutos no clássico: 2,3 vezes mais rápido, com dados idênticos. O novo pipeline encontrou 68 hosts onde o legado encontrava apenas 14. Não é só equivalente: é melhor. Como foi construído: uma pessoa de engenharia trabalhando com Claude Code e quarenta agentes de IA especializados: lakeflow architect, spark specialist, code reviewer, lambda builder, medallion architect. Seis sessões ao longo de três dias. 1,8 milhão de tokens de raciocínio colaborativo. Tecnologias: Claude Code, Databricks Lakeflow, Unity Catalog, AWS Lambda, SAM, Databricks Asset Bundles, PySpark, Spark SQL, Auto Loader e Delta Live Tables. Este episódio foi gerado com NotebookLM a partir de fontes produzidas por agentes de IA especializados. O conteúdo que você ouve é o produto direto da era agêntica em ação.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

  4. Jan 7

    De DBA a Lead Data Engineer: a Jornada de Luan Moreno na Engenharia de Dados

    Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer.  Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V.  Luan também enfatiza a relevância da comunidade e do networking, bem como a necessidade de soft skills, como comunicação, no ambiente de trabalho.  Ele apresenta sua metodologia de aprendizado, o método GEAR, que combina teoria e prática, e reflete sobre a pressão e o estresse no trabalho, destacando a importância de ter suporte e mentores. A comunidade é essencial para o crescimento profissional.A formação acadêmica é uma das várias formas de alcançar o sucesso.A pressão inicial na carreira pode moldar a forma como lidaremos com os desafios futuros.A comunicação é uma habilidade crucial no mercado de trabalho.A metodologia GEAR combina teoria e prática para um aprendizado eficaz.A constância no estudo é fundamental para o sucesso.Mentores podem acelerar o aprendizado e a carreira.Projetos solicitados são oportunidades de aprendizado.Networking é vital para oportunidades de carreira.A velocidade das mudanças tecnológicas exige adaptação constante.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

  5. 08/24/2025

    Data AI Sunset Meetup Brasília - O Futuro da Engenharia de Dados, Comunidade, IA e Carreira

    Prepare-se para uma imersão nos bastidores do mais recente encontro de engenharia de dados em Brasília e descubra as tendências que estão moldando o futuro da área. Neste episódio, Vitor Ramos conversa com Wesley Outeiro e outros participantes para compartilhar os principais insights e aprendizados do evento presencial, organizado pela Engenharia de Dados Academy e como palestrante Luan Moreno. Uma conversa sincera sobre a importância das interações presenciais, a evolução da comunidade de dados e o impacto da Inteligência Artificial no dia a dia dos profissionais. O que você vai aprender neste episódio: A importância do networking e da comunidade para o crescimento pessoal e profissional na área de dados.Como a interação presencial em eventos potencializa o aprendizado e a colaboração.As principais tendências em dados e IA que estão criando novas oportunidades e desafios para o mercado.Por que o domínio dos conceitos fundamentais é mais crucial do que nunca para o sucesso na engenharia de dados.A relevância de FinOps para a gestão eficiente de custos de nuvem em projetos de dados.Reflexões sobre como a dinâmica de eventos e a troca de conhecimento estão evoluindo.O poder de se conectar com líderes da indústria para se inspirar e motivar sua carreira. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

  6. 06/23/2025

    The Data Engineering & GenAI Era: Insights with Eduardo Ordax

    O Impacto da IA Generativa no Presente e Futuro dos Dados Prepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax, Líder de IA Generativa na AWS, e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado. O que você vai aprender neste episódio: Como a IA Generativa está mudando a forma como construímos pipelines, produtos e soluções de dados.Os principais desafios que empresas enfrentam ao implementar GenAI — e por que tecnologia não é mais o problema, mas sim pessoas e dados.O papel da Engenharia de Dados no mundo da IA e como ela se conecta com conceitos como LLMOps, Fine-Tuning, Prompt Engineering e Data-Centric AI.Por que o domínio dos fundamentos nunca foi tão importante para quem trabalha (ou quer trabalhar) com dados e IA.Reflexões sobre o futuro das carreiras em dados e IA — será que os engenheiros de dados, cientistas de dados e desenvolvedores serão substituídos ou terão um papel ainda mais relevante?As diferenças entre usar IA para brincar no ChatGPT e levar IA para resolver problemas de negócios no mundo real, em escala e em produção.Este é um papo sobre IA.  É uma imersão completa sobre os desafios, as oportunidades e a visão de futuro para quem trabalha com dados, engenharia, machine learning e inteligência artificial.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

About

Aqui no podcast, sabemos que o mundo de dados pode ser overwhelming: são tantas ferramentas, plataformas e metodologias novas surgindo toda semana que fica difícil acompanhar.  Nossa missão é simplificar essa complexidade e te ajudar a fazer escolhas mais inteligentes sobre qual tecnologia usar em cada situação. Em cada episódio, conversamos com especialistas que estão na linha de frente, compartilhando experiências reais, acertos, erros e lições aprendidas. É aquele papo técnico que você teria com um colega experiente tomando um café , só que gravado para você ouvir quando e onde quiser. A ideia é que você saia de cada episódio com algo prático para aplicar no seu dia a dia, seja uma nova perspectiva sobre uma ferramenta, uma dica de arquitetura ou insights sobre tendências que realmente valem a pena acompanhar. Nosso objetivo é simples: te ajudar a se tornar um profissional mais confiante e preparado, sem a pressão de ter que saber tudo sobre tudo. É o lugar onde conhecimento técnico encontra conversas humanas, criando uma comunidade de profissionais que crescem juntos na área de dados.

You Might Also Like