Engenharia de Dados [Cast]

Luan Moreno M. Maciel
  • 0.0 (0)
  • CAREERS

Aqui no podcast, sabemos que o mundo de dados pode ser overwhelming: são tantas ferramentas, plataformas e metodologias novas surgindo toda semana que fica difícil acompanhar.  Nossa missão é simplificar essa complexidade e te ajudar a fazer escolhas mais inteligentes sobre qual tecnologia usar em cada situação. Em cada episódio, conversamos com especialistas que estão na linha de frente, compartilhando experiências reais, acertos, erros e lições aprendidas. É aquele papo técnico que você teria com um colega experiente tomando um café , só que gravado para você ouvir quando e onde quiser. A ideia é que você saia de cada episódio com algo prático para aplicar no seu dia a dia, seja uma nova perspectiva sobre uma ferramenta, uma dica de arquitetura ou insights sobre tendências que realmente valem a pena acompanhar. Nosso objetivo é simples: te ajudar a se tornar um profissional mais confiante e preparado, sem a pressão de ter que saber tudo sobre tudo. É o lugar onde conhecimento técnico encontra conversas humanas, criando uma comunidade de profissionais que crescem juntos na área de dados.

  1. MAR 10

    Era dos Agentes: Refatorando InfraView com Claude Code e Lakeflow

    Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias? Neste episódio da série Era dos Agentes, exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de três camadas, usando AWS Lambda, Lakeflow Declarative Pipelines e Databricks Asset Bundles. A história começa com um problema real: a infraestrutura que sustentava a cobrança de clientes era frágil, não escalável e impossível de testar. Um timeout de API às duas da manhã derrubava o pipeline inteiro. Doze constantes críticas de threshold estavam espalhadas como números mágicos por cinco arquivos diferentes. Ninguém conseguia provar que as fórmulas estavam corretas. Na segunda sessão, o projeto quase parou. Um bug não documentado no motor DLT: o decorator dp.table em Python, com nomes fully qualified, quebrava a resolução do grafo JVM em pipelines multi-schema. Foram três a quatro horas de debugging. Sete abordagens falharam. Até que surgiu o Padrão Híbrido SQL+Python: notebooks Python criam views temporárias com dp.view para a lógica complexa, e notebooks SQL registram as tabelas finais com CREATE OR REFRESH. O DLT processa tudo como um único grafo de computação. O clímax é a validação em escala de produção: 920.676 registros reais de OTel processados simultaneamente pelos dois pipelines, legado e novo. 822 milhões de linhas Silver geradas. O resultado: InfraRating (risco e otimização) com 100% de match exato em 42.640 comparações. Performance de 38 minutos no serverless contra 90 minutos no clássico: 2,3 vezes mais rápido, com dados idênticos. O novo pipeline encontrou 68 hosts onde o legado encontrava apenas 14. Não é só equivalente: é melhor. Como foi construído: uma pessoa de engenharia trabalhando com Claude Code e quarenta agentes de IA especializados: lakeflow architect, spark specialist, code reviewer, lambda builder, medallion architect. Seis sessões ao longo de três dias. 1,8 milhão de tokens de raciocínio colaborativo. Tecnologias: Claude Code, Databricks Lakeflow, Unity Catalog, AWS Lambda, SAM, Databricks Asset Bundles, PySpark, Spark SQL, Auto Loader e Delta Live Tables. Este episódio foi gerado com NotebookLM a partir de fontes produzidas por agentes de IA especializados. O conteúdo que você ouve é o produto direto da era agêntica em ação. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    13 min

  2. JAN 7

    De DBA a Lead Data Engineer: a Jornada de Luan Moreno na Engenharia de Dados

    Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer.  Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V.  Luan também enfatiza a relevância da comunidade e do networking, bem como a necessidade de soft skills, como comunicação, no ambiente de trabalho.  Ele apresenta sua metodologia de aprendizado, o método GEAR, que combina teoria e prática, e reflete sobre a pressão e o estresse no trabalho, destacando a importância de ter suporte e mentores. A comunidade é essencial para o crescimento profissional.A formação acadêmica é uma das várias formas de alcançar o sucesso.A pressão inicial na carreira pode moldar a forma como lidaremos com os desafios futuros.A comunicação é uma habilidade crucial no mercado de trabalho.A metodologia GEAR combina teoria e prática para um aprendizado eficaz.A constância no estudo é fundamental para o sucesso.Mentores podem acelerar o aprendizado e a carreira.Projetos solicitados são oportunidades de aprendizado.Networking é vital para oportunidades de carreira.A velocidade das mudanças tecnológicas exige adaptação constante. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    49 min

  3. 08/31/2025

    Desenvolvimento em Kubernetes

    Neste episódio do Engenharia de Dados Cast, Vitor Ramos e Victor Grudtner discutem com o convidado Matheus Nogueira sobre a experiência prática com Kubernetes, abordando desde a introdução à ferramenta até desafios enfrentados em produção.  O convidado compartilha dicas sobre como começar a estudar Kubernetes, a importância da observabilidade e a cultura de trabalho em equipes que utilizam essa tecnologia.  Além disso, são discutidos os desafios da arquitetura distribuída e a necessidade de um planejamento cuidadoso para evitar problemas financeiros e operacionais.  Matheus Nogueira compartilha suas experiências e dicas sobre o uso do Kubernetes, abordando desde a importância de evitar o namespace padrão até a comunicação eficaz entre equipes técnicas e de negócios.  Ele discute o futuro do Kubernetes, destacando sua relevância e as tendências emergentes, além de oferecer recomendações práticas para otimização de containers e automação de testes com inteligência artificial. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    1h 5m

  4. 08/24/2025

    Data AI Sunset Meetup Brasília - O Futuro da Engenharia de Dados, Comunidade, IA e Carreira

    Prepare-se para uma imersão nos bastidores do mais recente encontro de engenharia de dados em Brasília e descubra as tendências que estão moldando o futuro da área. Neste episódio, Vitor Ramos conversa com Wesley Outeiro e outros participantes para compartilhar os principais insights e aprendizados do evento presencial, organizado pela Engenharia de Dados Academy e como palestrante Luan Moreno. Uma conversa sincera sobre a importância das interações presenciais, a evolução da comunidade de dados e o impacto da Inteligência Artificial no dia a dia dos profissionais. O que você vai aprender neste episódio: A importância do networking e da comunidade para o crescimento pessoal e profissional na área de dados.Como a interação presencial em eventos potencializa o aprendizado e a colaboração.As principais tendências em dados e IA que estão criando novas oportunidades e desafios para o mercado.Por que o domínio dos conceitos fundamentais é mais crucial do que nunca para o sucesso na engenharia de dados.A relevância de FinOps para a gestão eficiente de custos de nuvem em projetos de dados.Reflexões sobre como a dinâmica de eventos e a troca de conhecimento estão evoluindo.O poder de se conectar com líderes da indústria para se inspirar e motivar sua carreira. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    1h 4m

  5. 06/23/2025

    The Data Engineering & GenAI Era: Insights with Eduardo Ordax

    O Impacto da IA Generativa no Presente e Futuro dos Dados Prepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax, Líder de IA Generativa na AWS, e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado. O que você vai aprender neste episódio: Como a IA Generativa está mudando a forma como construímos pipelines, produtos e soluções de dados.Os principais desafios que empresas enfrentam ao implementar GenAI — e por que tecnologia não é mais o problema, mas sim pessoas e dados.O papel da Engenharia de Dados no mundo da IA e como ela se conecta com conceitos como LLMOps, Fine-Tuning, Prompt Engineering e Data-Centric AI.Por que o domínio dos fundamentos nunca foi tão importante para quem trabalha (ou quer trabalhar) com dados e IA.Reflexões sobre o futuro das carreiras em dados e IA — será que os engenheiros de dados, cientistas de dados e desenvolvedores serão substituídos ou terão um papel ainda mais relevante?As diferenças entre usar IA para brincar no ChatGPT e levar IA para resolver problemas de negócios no mundo real, em escala e em produção.Este é um papo sobre IA.  É uma imersão completa sobre os desafios, as oportunidades e a visão de futuro para quem trabalha com dados, engenharia, machine learning e inteligência artificial. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    56 min

  6. 05/29/2024

    Como é Trabalhar com Apache Spark na Visão de uma Engenharia de Dados Iniciante

    No episódio de hoje Mateus Oliveira entrevistou  Ananda Ellen (Engenharia de Dados),  Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution. Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia. Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado de Apache Spark. Não somente isso, falamos também sobre a área de Analytics na visão do Leonardo e do Victor, consultores da One Way Solution. Neste podcast iremos falar sobre: Área de AnalyticsApache Spark para IniciantesEsse podcast tem como principal intuito mostrar os desafios que os profissionais iniciantes na área de dados tem em comum, e como você pode se sobressair nestes desafios, com experiências de quem já passou por isso. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    1h 4m

  7. 03/27/2024

    O Dia a Dia de um Analytics Engineer com o Time de Dados da Clicksign

    No episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer), Bruno Bento (Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acontecer na engenharia de dados, devido a complexidade dos processos e necessidades de especialistas. Neste bate papo iremos falar sobre: Analytics EngineerModelagem de Dados nas empresasEsse podcast tem como principal intuito mostrar o dia-a-dia dos Analytics Engineer nas empresas para que você, aspirante a esta área, entenda o exercicio da profissão na realidade. Além disso, queremos demonstrar o quanto esta profissão vem crescendo e expandindo em grandes empresas como Clicksign. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Alessandro Gums (Analytics Engineer):https://www.linkedin.com/in/alessandro-gums/ Bruno Bento (Analytics Engineer):https://www.linkedin.com/in/bruno-pereira-bento/ Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    51 min

  8. 03/13/2024

    O Dia a Dia de um Arquiteto e Engenheiro de Dados com o Time de Dados da Clicksign

    No episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign. Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de mercado, como também escolha de qual caminho seguir. Neste bate papo iremos falar sobre: Arquiteturas de DadosEngenharia de DadosEsse podcast tem como principal intuito entender melhor como criar e evoluir arquiteturas de dados para melhor atender o negócio e como a engenharia de dados é usada dentro das grandes empresas, indo além de tecnologias e falando de metodologias e processos. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Vinicius Gasparini (Engenharia de Dados): https://www.linkedin.com/in/vngasp/ (editado)  Luan Moreno = https://www.linkedin.com/in/luanmoreno/

    56 min
See All (70)

About

Aqui no podcast, sabemos que o mundo de dados pode ser overwhelming: são tantas ferramentas, plataformas e metodologias novas surgindo toda semana que fica difícil acompanhar.  Nossa missão é simplificar essa complexidade e te ajudar a fazer escolhas mais inteligentes sobre qual tecnologia usar em cada situação. Em cada episódio, conversamos com especialistas que estão na linha de frente, compartilhando experiências reais, acertos, erros e lições aprendidas. É aquele papo técnico que você teria com um colega experiente tomando um café , só que gravado para você ouvir quando e onde quiser. A ideia é que você saia de cada episódio com algo prático para aplicar no seu dia a dia, seja uma nova perspectiva sobre uma ferramenta, uma dica de arquitetura ou insights sobre tendências que realmente valem a pena acompanhar. Nosso objetivo é simples: te ajudar a se tornar um profissional mais confiante e preparado, sem a pressão de ter que saber tudo sobre tudo. É o lugar onde conhecimento técnico encontra conversas humanas, criando uma comunidade de profissionais que crescem juntos na área de dados.

Information

  • Creator
    Luan Moreno M. Maciel
  • Years Active
    2021 - 2026
  • Episodes
    70
  • Rating
    Clean
  • Copyright
    © 2026 Engenharia de Dados [Cast]
  • Show Website
    Engenharia de Dados [Cast]