oddanychdodanych

31.08.2021

005 - Czy już nadszedł odpowiedni moment, żeby pomyśleć o BigQuery?

Czy wiesz, że dzięki BigQuery można zbudować małą hurtownię danych zupełnie za darmo? Czy wyobrażasz sobie wykorzystanie BigQuery w małej rodzinnej firmie, która produkuje dania obiadowe i kanapki? Po długiej, wakacyjnej przerwie przyszła pora na kolejny odcinek podcasu. Tym razem trochę różni się od pozostałych, ponieważ opowiem o BigQuery, ale z nieco innej perspektywy niż możesz się spodziewać. BigQuery na pewno kojarzy się z przetwarzaniem gromnych ilości danych, w petabajtowej skali, czyli klasyczne Big Data. I to wszystko się zgadza, jednak nie jest to cała prawda o BigQuery. O tym i nie tylko usłyszysz w najnowszym odcinku podcastu. Spojrzymy na to trochę od strony biznesowej, trochę z perspektywy architekta rozwiązań, który może zbudować całkiem potężny system zarządzający procesami w przedsiębiorstwie, którego model działania nie może wykorzystać istniejących rozwiązań. A wszystko to w błyskawicznym tempie i niskim kosztem, wykorzystując w większości gotowe narzędzia.Opowiem też o tym, czym różni się BigQuery od innych narzędzi BigData, takich jak np. Hadoop oraz o tym, kiedy można czerpać największe korzyści z usług typu serverless, bo nie do końca prawdą jest, że serverless sprawdza się najlepiej w dużej skali. A wszystko to będzie poparte realnym przykładem z życia wziętym, w którym koszty infrastruktury systemów informatycznych dla małego przedsiębiorstwa mieściły się w kwocie 5 zł miesięcznie. Tak, nie ma tu pomyłki, słownie pieć złotych miesięcznie, a konkretnie około 1$. No i na koniec podzielę się moją prywatną opinią na temat źródła sukcesu wielu fajnych projektów i produktów z rynku IT. Co tu więcej pisać, wszystko zostało już opowiedziane, więc posłuchaj w Twojej ulubionej aplikacji do podcastów. Dla tych, którzy dotrwają do końca polecam uwadze 2 linki, godne uwagi: - https://www.facebook.com/grzybekfood - https://www.youtube.com/watch?v=DpxNEAqiIfc (odcinek serii Polimaty 2 o rodzajach motywacji - polecam w szczególności fragment rozpoczynający się około 4 minuy)

32 мин.

07.06.2021

004 - Inmon, Kimball czy Lindstedt - rozmowa o hurtowniach danych z Arkiem Kasprzakiem

Hurtownie danych oraz Business Intelligence na dobre zagościły w naszej świadomości. Czy jednak zastanawialiście się kiedyś jak zbudowana jest taka hurtownia? Którą z architektur wybrać? A jaki związek będzie miała hurtownia danych i "Big Data"? Mój gość opowie o tym, jak podejś do tego tematu. Poniżej znajduje się lista linków do materiałów, o których wspominamy podczas rozmowy: Blog: https://oceandanych.pl/ Kurs: https://sqlanalityczny.pl Artykuł o nowoczesnych hurtowniach: https://oceandanych.pl/hurtownie-danych-lakehouse/ Artykuły o Data Vault: - https://blog.gft.com/pl/2019/04/15/data-vault-2-0-jako-nowa-metodyka-projektowania-i-implementowania-hurtowni-danych/ - https://blog.gft.com/pl/2019/05/06/techniczne-aspekty-modelowania-hurtowni-danych-opartej-na-metodyce-data-vault-2-0/ - https://blog.gft.com/pl/2019/05/23/zarzadzanie-projektem-opartym-na-architekturze-data-vault/ Książka o Data Vault: https://www.amazon.com/Building-Scalable-Data-Warehouse-Vault/dp/0128025107

44 мин.

29.04.2021

003 - W kropki i w paski, czyli o co chodzi w kolumnowych bazach danych

Tradycyjne bazy danych wykorzystują najczęściej wierszowy tryb składowania danych, ale w ciągu ostatnich kilku lat bardzo często spotykamy się również z formatem kolumnowym. Jak najprościej wytłumaczyć różnicę pomiędzy jednym a drugim? Ja postaram się ją zaprezentować na przykładzie garderoby, w której nasze ubrania mogą być posortowane na dwa różne sposoby. W tym odcinku dowiesz się, kiedy stosować formaty kolumnowe, a kiedy należy ich unikać, bo jak to zwykle bywa, jeśli coś jest do wszystkiego, to na koniec jest do niczego. W procesie ewolucji gatunki zwierząt dopasowują się do swojego otoczenia, żeby przetrwać i z takiego wzorca warto skorzystać wybierając bazę danych do nowego systemu. Jak dopasować ją do konkretnych warunków i wymagań?

25 мин.

13.04.2021

002 - Co w Big Data piszczy?

W tym odcinku dowiesz się co oznacza Big Data oraz jaki wpływ na świat Big Data miało założenie firmy Google. W odcinku wytłumaczone zostanie do czego służy HDFS i Map Reduce, co mają wspólnego z usługami takimi jak AWS S3, Google Cloud Storage czy Azure Blob Storage oraz jak ogarnąć pliki nie mieszczące się na żadnym fizycznym nośniku danych.

33 мин.

13.04.2021

001 - Data Engineer vs. Data Scientist

Pierwszy odcinek nowego podcastu opisującego nowoczesny proces przetwarzania danych. W pierwszym odcinku dowiesz się, kim jest Data Engineer oraz Data Scientist i poznasz różnice dzielące te dwa zawody. Dowiesz się też w jaki sposób nie wtopić na projekcie, którego istotnym elementem jest przetwarzanie danych. Poniżej znajdziesz linki do artykułów wspominanych w tym odcinku: https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century https://www.oreilly.com/radar/data-engineers-vs-data-scientists/

29 мин.

Трейлер сезона 1

000 - trailer

Zapowiedź nowego podcastu opisującego proces przetwarzania danych i prezentujący punkt widzenia doświadczonego specjalisty zajmującego się tą dziedziną od wielu lat. Podcast będzie zawierał wskazówki zarówno techniczne, jak i biznesowe, będzie drogowskazem pokazującym kierunek rozwoju dla wszystkich osób, które widzą jak duże znaczenie w naszym życiu i biznesie ma przetwarzanie i interpretacja danych. Serdecznie zapraszam do słuchania.

4 мин.

oddanychdodanych

Выпуски

005 - Czy już nadszedł odpowiedni moment, żeby pomyśleć o BigQuery?

004 - Inmon, Kimball czy Lindstedt - rozmowa o hurtowniach danych z Arkiem Kasprzakiem

003 - W kropki i w paski, czyli o co chodzi w kolumnowych bazach danych

002 - Co w Big Data piszczy?

001 - Data Engineer vs. Data Scientist

000 - trailer

Трейлер

000 - trailer

Об этом подкасте

Информация