Data Engineer поневол‪е‬ Hodza Nassredin

Обсуждаем и сравниваем ETL системы на примере Apache NIFI и StreamsetsDataCollector. Далее разбираемся в работе EvenHub-ов.

Продолжаем обсуждение форматов файлов и схем данных.
Рассматриваются: выведение схемы данных, проекция сложных типов данных в колонки, преимущества колоночных форматов, кратко о методах сжатия данных.


Dremel made simple with Parquet
https://blog.twitter.com/engineering/en_us/a/2013/dremel-made-simple-with-parquet.html

Avro specs
https://avro.apache.org/docs/1.8.1/spec.html

Обсуждаем разные форматы файлов для хранения данных

Подкаст о Data Engineer-ах. В пилотном выпуске краткая информация обо мне и о чем планируется говорить.
Упоминаются: azure data explorer, azure data fabric, azure data lake storage, azure data lake analytics и многое другое.