Data Engineering від А до Я

Data Enthusiast FM
  • 0.0（0則評分）
  • 課程
  • 每週更新

Що робить Data Engineer, чому без нього дані не працюють і як потрапити у професію? Цей подкаст — для тих, хто хоче розібратися в інженерії даних без зайвої термінології, з прикладами з життя, гумором і структурою. Пояснюємо, як працює сучасна команда даних, що таке ETL, пайплайни, хмара, архітектура — і чому це справді "нова золота жила в IT". Щотижня — новий епізод про важливе та цікаве в data engineering. Без нудьги, по суті.

  1. 3 天前

    Data Orchestration: від cron до DAG — глибше за Airflow

    Ми вже говорили про Airflow як приклад оркестратора. У цьому епізоді йдемо ширше й глибше: пояснюємо, що таке data orchestration, навіщо вона потрібна та як виглядає зріла оркестрація поза межами одного інструмента. Розберемо історичні болі cron (залежності, продуктивність, «клейовий» код, data silos), три основні кроки collection → unification → activation, типи платформ (інженерні Airflow/Dagster, модельні dbt, low/no-code), роль DAG (upstream/downstream, без циклів, паралельність). Поговоримо про тригери (time/event/manual), SLA, алерти, retries, idempotency, чеки якості, а також observability (метрики, логи, lineage), вартість і RBAC. Наприкінці — як почати перехід від cron до керованих DAG і вибрати стек під вашу команду.

    8 分鐘

  2. 8月11日

    SQL: Query, DDL vs DML та життєвий цикл запиту (Query Life Cycle)

    У цьому епізоді просто й по суті: пояснюємо, що таке query (запит) у СУБД, чітко розводимо DDL vs DML(структура проти даних) і проходимо Query Life Cycle від парсера та оптимізатора до виконання плану зі стадіями wait → read → compute → write. Розберемо ключові команди без коду:— DDL: CREATE, ALTER, DROP, TRUNCATE, RENAME, INDEX;— DML: SELECT, INSERT, UPDATE, DELETE, MERGE.Пояснимо, як думати про партиціювання (PARTITION BY), кластеризацію (CLUSTER BY) і фільтри до JOIN, щоб запити працювали швидше й дешевше. Підписуйтесь, буде практично й без «води».

    6 分鐘

  3. 8月6日

    Steps of Dimensional Modeling: 4 кроки на прикладі оренди e-самокатів

    У 21-му випуску ми покроково проведемо вас крізь процес Dimensional Modeling за методологією Кімбалла. На прикладі компанії з оренди електросамокатів ви дізнаєтеся: Select the business process – чому grain = одна завершена поїздка. Declare the grain – як вибір атомарного рівня деталізації дає гнучкість у запитах. Identify the dimensions – створюємо таблиці Rider (SCD1), City (SCD2) і Vehicle + mini-dimension (SCD4). Identify the facts – які метрики (duration, distance, price, pauses, rating) варто зберігати в fact table. Наприкінці епізоду словесно опишемо, як у BigQuery побудувати датасет, налаштувати партиціювання за датою та кластеризацію за ключами вимірювань для максимальної продуктивності ваших аналітичних запитів. Підпишіться, щоб не пропустити детальні гайди з практичною реалізацією!

    7 分鐘

  4. 8月1日

    Dimensional Modeling: OLTP vs OLAP, освоюємо Kimball’s Star Schema (Зіркова схема Кімбела) та Slowly Changing Dimension (SCD, повільно змінювана розмірність)

    У цьому випуску ми просто й зрозуміло розкажемо: OLTP vs OLAP: навіщо потрібні окремі оперативні й аналітичні бази даних. Star Schema by Kimball: як факти (fact table) у центрі та виміри (dimension tables) навколо допомагають робити запити швидко й зрозуміло. Snowflake Schema: коли варто нормалізувати виміри, щоб зекономити місце. Slowly Changing Dimension (SCD): п’ять способів (Type 0–4) зберегти історію змін атрибутів. Після цього епізоду ви знатимете, як правильно спроєктувати модель даних для свого data warehouse. Підпишіться, щоб не пропустити інші корисні випуски!

    11 分鐘

  5. 7月26日

    Вступ до Data Modeling: Як перетворити бізнес-вимоги на таблиці

    У цьому випуску — introduction to data modeling для data engineers. Розбираємо три рівні моделювання: conceptual, logical та physical. Пояснюємо, що таке granularity, normalization, primary keys, foreign keys та як усе це допомагає побудувати зрозумілу, масштабовану аналітичну систему. 📦 На прикладі продуктової мережі моделюємо процес продажів: від бізнес-процесу до BigQuery-таблиць. Це — основи, без яких неможливо побудувати якісний data warehouse чи data product. 👉 У наступному випуску поговоримо про Kimball’s Dimensional Modeling Підпишись, щоб не пропустити продовження!

    8 分鐘

  6. 7月23日

    Ingest with Python — pandas та PySpark у data pipelines

    Цей випуск завершує серію про ingestion-методи. Говоримо про два популярних інструменти з Python-екосистеми — pandas та PySpark.Коли варто використовувати кожен? Як зчитувати, обробляти і завантажувати дані з CSV, BigQuery або DataFrame-структури? Чим відрізняються RDD, DataFrame і Dataset у Spark? Щоб не пропустити нові епізоди — підпишіться на подкаст ✨

    7 分鐘

  7. 7月22日

    Real-Time Ingestion без магії — CDC та Streaming Explained (Kafka)

    Real-time ingestion — це вже не розкіш, а норма. У цьому випуску розбираємо, як працює CDC (Change Data Capture), чим він відрізняється від Kafka, і які існують варіанти стримінгових платформ для обробки подій у реальному часі.

    7 分鐘

  8. 7月15日

    SFTP vs API vs Object Storage: Битва ingestion-методів

    У цьому випуску — глибоке занурення у три архітектурно різні способи інжесту: від старої школи (SFTP) до REST API та сучасних data lake-підходів через object storage. Пояснюю на прикладах, коли обрати який.

    7 分鐘
顯示全部 (23)

預告片

簡介

Що робить Data Engineer, чому без нього дані не працюють і як потрапити у професію? Цей подкаст — для тих, хто хоче розібратися в інженерії даних без зайвої термінології, з прикладами з життя, гумором і структурою. Пояснюємо, як працює сучасна команда даних, що таке ETL, пайплайни, хмара, архітектура — і чому це справді "нова золота жила в IT". Щотижня — новий епізод про важливе та цікаве в data engineering. Без нудьги, по суті.

資訊