Data Engineering від А до Я

Data Enthusiast FM
  • 0,0 (0)
  • COURS
  • CHAQUE SEMAINE

Що робить Data Engineer, чому без нього дані не працюють і як потрапити у професію? Цей подкаст — для тих, хто хоче розібратися в інженерії даних без зайвої термінології, з прикладами з життя, гумором і структурою. Пояснюємо, як працює сучасна команда даних, що таке ETL, пайплайни, хмара, архітектура — і чому це справді "нова золота жила в IT". Щотижня — новий епізод про важливе та цікаве в data engineering. Без нудьги, по суті.

  1. 11 AOÛT

    SQL: Query, DDL vs DML та життєвий цикл запиту (Query Life Cycle)

    У цьому епізоді просто й по суті: пояснюємо, що таке query (запит) у СУБД, чітко розводимо DDL vs DML(структура проти даних) і проходимо Query Life Cycle від парсера та оптимізатора до виконання плану зі стадіями wait → read → compute → write. Розберемо ключові команди без коду:— DDL: CREATE, ALTER, DROP, TRUNCATE, RENAME, INDEX;— DML: SELECT, INSERT, UPDATE, DELETE, MERGE.Пояснимо, як думати про партиціювання (PARTITION BY), кластеризацію (CLUSTER BY) і фільтри до JOIN, щоб запити працювали швидше й дешевше. Підписуйтесь, буде практично й без «води».

    6 min

  2. 6 AOÛT

    Steps of Dimensional Modeling: 4 кроки на прикладі оренди e-самокатів

    У 21-му випуску ми покроково проведемо вас крізь процес Dimensional Modeling за методологією Кімбалла. На прикладі компанії з оренди електросамокатів ви дізнаєтеся: Select the business process – чому grain = одна завершена поїздка. Declare the grain – як вибір атомарного рівня деталізації дає гнучкість у запитах. Identify the dimensions – створюємо таблиці Rider (SCD1), City (SCD2) і Vehicle + mini-dimension (SCD4). Identify the facts – які метрики (duration, distance, price, pauses, rating) варто зберігати в fact table. Наприкінці епізоду словесно опишемо, як у BigQuery побудувати датасет, налаштувати партиціювання за датою та кластеризацію за ключами вимірювань для максимальної продуктивності ваших аналітичних запитів. Підпишіться, щоб не пропустити детальні гайди з практичною реалізацією!

    7 min

  3. 1 AOÛT

    Dimensional Modeling: OLTP vs OLAP, освоюємо Kimball’s Star Schema (Зіркова схема Кімбела) та Slowly Changing Dimension (SCD, повільно змінювана розмірність)

    У цьому випуску ми просто й зрозуміло розкажемо: OLTP vs OLAP: навіщо потрібні окремі оперативні й аналітичні бази даних. Star Schema by Kimball: як факти (fact table) у центрі та виміри (dimension tables) навколо допомагають робити запити швидко й зрозуміло. Snowflake Schema: коли варто нормалізувати виміри, щоб зекономити місце. Slowly Changing Dimension (SCD): п’ять способів (Type 0–4) зберегти історію змін атрибутів. Після цього епізоду ви знатимете, як правильно спроєктувати модель даних для свого data warehouse. Підпишіться, щоб не пропустити інші корисні випуски!

    11 min

  4. 26 JUIL.

    Вступ до Data Modeling: Як перетворити бізнес-вимоги на таблиці

    У цьому випуску — introduction to data modeling для data engineers. Розбираємо три рівні моделювання: conceptual, logical та physical. Пояснюємо, що таке granularity, normalization, primary keys, foreign keys та як усе це допомагає побудувати зрозумілу, масштабовану аналітичну систему. 📦 На прикладі продуктової мережі моделюємо процес продажів: від бізнес-процесу до BigQuery-таблиць. Це — основи, без яких неможливо побудувати якісний data warehouse чи data product. 👉 У наступному випуску поговоримо про Kimball’s Dimensional Modeling Підпишись, щоб не пропустити продовження!

    8 min

  5. 23 JUIL.

    Ingest with Python — pandas та PySpark у data pipelines

    Цей випуск завершує серію про ingestion-методи. Говоримо про два популярних інструменти з Python-екосистеми — pandas та PySpark.Коли варто використовувати кожен? Як зчитувати, обробляти і завантажувати дані з CSV, BigQuery або DataFrame-структури? Чим відрізняються RDD, DataFrame і Dataset у Spark? Щоб не пропустити нові епізоди — підпишіться на подкаст ✨

    7 min

  6. 22 JUIL.

    Real-Time Ingestion без магії — CDC та Streaming Explained (Kafka)

    Real-time ingestion — це вже не розкіш, а норма. У цьому випуску розбираємо, як працює CDC (Change Data Capture), чим він відрізняється від Kafka, і які існують варіанти стримінгових платформ для обробки подій у реальному часі.

    7 min

  7. 15 JUIL.

    SFTP vs API vs Object Storage: Битва ingestion-методів

    У цьому випуску — глибоке занурення у три архітектурно різні способи інжесту: від старої школи (SFTP) до REST API та сучасних data lake-підходів через object storage. Пояснюю на прикладах, коли обрати який.

    7 min

  8. 15 JUIL.

    Push чи Pull: як обрати правильну стратегію для data ingestion

    Push чи Pull? Розбираємось, як саме дані потрапляють у систему: хто ініціює передачу, як це впливає на швидкість, надійність і масштабування. Порівнюємо обидва підходи з реальними прикладами.

    8 min
Tout afficher (22)

Bande-annonce

À propos

Що робить Data Engineer, чому без нього дані не працюють і як потрапити у професію? Цей подкаст — для тих, хто хоче розібратися в інженерії даних без зайвої термінології, з прикладами з життя, гумором і структурою. Пояснюємо, як працює сучасна команда даних, що таке ETL, пайплайни, хмара, архітектура — і чому це справді "нова золота жила в IT". Щотижня — новий епізод про важливе та цікаве в data engineering. Без нудьги, по суті.

Informations

  • Création
    Data Enthusiast FM
  • Années d’activité
    2 k
  • Épisodes
    22
  • Classification
    Tous publics
  • Copyright
    © Data Enthusiast FM
  • Site web de l’émission
    Data Engineering від А до Я