Data Engineering від А до Я

Data Enthusiast FM
  • 0.0 (0)
  • COURSES
  • UPDATED WEEKLY

Що робить Data Engineer, чому без нього дані не працюють і як потрапити у професію? Цей подкаст — для тих, хто хоче розібратися в інженерії даних без зайвої термінології, з прикладами з життя, гумором і структурою. Пояснюємо, як працює сучасна команда даних, що таке ETL, пайплайни, хмара, архітектура — і чому це справді "нова золота жила в IT". Щотижня — новий епізод про важливе та цікаве в data engineering. Без нудьги, по суті.

  1. 1 DAY AGO

    Steps of Dimensional Modeling: 4 кроки на прикладі оренди e-самокатів

    У 21-му випуску ми покроково проведемо вас крізь процес Dimensional Modeling за методологією Кімбалла. На прикладі компанії з оренди електросамокатів ви дізнаєтеся: Select the business process – чому grain = одна завершена поїздка. Declare the grain – як вибір атомарного рівня деталізації дає гнучкість у запитах. Identify the dimensions – створюємо таблиці Rider (SCD1), City (SCD2) і Vehicle + mini-dimension (SCD4). Identify the facts – які метрики (duration, distance, price, pauses, rating) варто зберігати в fact table. Наприкінці епізоду словесно опишемо, як у BigQuery побудувати датасет, налаштувати партиціювання за датою та кластеризацію за ключами вимірювань для максимальної продуктивності ваших аналітичних запитів. Підпишіться, щоб не пропустити детальні гайди з практичною реалізацією!

    7 min

  2. 6 DAYS AGO

    Dimensional Modeling: OLTP vs OLAP, освоюємо Kimball’s Star Schema (Зіркова схема Кімбела) та Slowly Changing Dimension (SCD, повільно змінювана розмірність)

    У цьому випуску ми просто й зрозуміло розкажемо: OLTP vs OLAP: навіщо потрібні окремі оперативні й аналітичні бази даних. Star Schema by Kimball: як факти (fact table) у центрі та виміри (dimension tables) навколо допомагають робити запити швидко й зрозуміло. Snowflake Schema: коли варто нормалізувати виміри, щоб зекономити місце. Slowly Changing Dimension (SCD): п’ять способів (Type 0–4) зберегти історію змін атрибутів. Після цього епізоду ви знатимете, як правильно спроєктувати модель даних для свого data warehouse. Підпишіться, щоб не пропустити інші корисні випуски!

    11 min

  3. 26 JUL

    Вступ до Data Modeling: Як перетворити бізнес-вимоги на таблиці

    У цьому випуску — introduction to data modeling для data engineers. Розбираємо три рівні моделювання: conceptual, logical та physical. Пояснюємо, що таке granularity, normalization, primary keys, foreign keys та як усе це допомагає побудувати зрозумілу, масштабовану аналітичну систему. 📦 На прикладі продуктової мережі моделюємо процес продажів: від бізнес-процесу до BigQuery-таблиць. Це — основи, без яких неможливо побудувати якісний data warehouse чи data product. 👉 У наступному випуску поговоримо про Kimball’s Dimensional Modeling Підпишись, щоб не пропустити продовження!

    8 min

  4. 23 JUL

    Ingest with Python — pandas та PySpark у data pipelines

    Цей випуск завершує серію про ingestion-методи. Говоримо про два популярних інструменти з Python-екосистеми — pandas та PySpark.Коли варто використовувати кожен? Як зчитувати, обробляти і завантажувати дані з CSV, BigQuery або DataFrame-структури? Чим відрізняються RDD, DataFrame і Dataset у Spark? Щоб не пропустити нові епізоди — підпишіться на подкаст ✨

    7 min

  5. 22 JUL

    Real-Time Ingestion без магії — CDC та Streaming Explained (Kafka)

    Real-time ingestion — це вже не розкіш, а норма. У цьому випуску розбираємо, як працює CDC (Change Data Capture), чим він відрізняється від Kafka, і які існують варіанти стримінгових платформ для обробки подій у реальному часі.

    7 min

  6. 15 JUL

    SFTP vs API vs Object Storage: Битва ingestion-методів

    У цьому випуску — глибоке занурення у три архітектурно різні способи інжесту: від старої школи (SFTP) до REST API та сучасних data lake-підходів через object storage. Пояснюю на прикладах, коли обрати який.

    7 min

  7. 15 JUL

    Push чи Pull: як обрати правильну стратегію для data ingestion

    Push чи Pull? Розбираємось, як саме дані потрапляють у систему: хто ініціює передачу, як це впливає на швидкість, надійність і масштабування. Порівнюємо обидва підходи з реальними прикладами.

    8 min

  8. 8 JUL

    Stream Ingestion — нова ера Data Ingestion

    Stream ingestion — новий підхід до data ingestion у реальному часі. У цьому епізоді: різниця з batch, delivery semantics, обробка помилок і практичний приклад з Pub/Sub → BigQuery. Мінімум теорії, максимум користі.

    7 min
See All (21)

Trailer

About

Що робить Data Engineer, чому без нього дані не працюють і як потрапити у професію? Цей подкаст — для тих, хто хоче розібратися в інженерії даних без зайвої термінології, з прикладами з життя, гумором і структурою. Пояснюємо, як працює сучасна команда даних, що таке ETL, пайплайни, хмара, архітектура — і чому це справді "нова золота жила в IT". Щотижня — новий епізод про важливе та цікаве в data engineering. Без нудьги, по суті.

Information