Warszawa, Siedziba Chaos Gears Zobacz na mapie
Inżynieria danych w AWS
Wartościowe dane to podstawa najbardziej rewolucyjnych technologii, łącznie z AI. W ramach Data Engineering Immersion Day uczestnicy naszych bezpłatnych warsztatów mogli dowiedzieć się jak funkcjonuje nowoczesne przetwarzanie danych w chmurze AWS.
Agenda
- Przetwarzanie danych i AWS — wprowadzenie
- Laboratorium techniczne
Przetwarzanie danych strumieniowych z użyciem Amazon Kinesis: Data Streams, Data Firehose oraz Data Analytics - Laboratorium techniczne
Tworzenie Data Lake przy użyciu Amazon S3 i migracja danych z relacyjnej bazy za pomocą AWS DMS (Database Migration Service). Pełna migracja danych oraz CDC (Change Data Capture) - Laboratorium techniczne
Przetwarzanie danych wsadowych z AWS Glue - Laboratorium techniczne
Analiza danych przy użyciu SQL w Amazon Athena i ich wizualizacja w Amazon QuickSight - Sesja Q&A
Zagadnienia
- gdzie najefektywniej przechowywać dane w AWS i jak błyskawicznie wdrożyć data lake mogący przyjmować dowolną ilość danych z setek różnych źródeł;
- czym jest Amazon Kinesis i jak można przetwarzać dane w trybie strumieniowym;
- jak prosta jest migracja z relacyjnych baz danych do AWS, również w trybie CDC;
- jak kilkoma kliknięciami przetwarzać nawet największe zbiory danych, korzystając z AWS Glue;
- do czego służy Amazon Athena i dlaczego warto z niej korzystać;
- jak wizualizować zbiory danych w data lake za pomocą Amazon QuickSight.
Prowadzący
Amazon Kinesis
Informacje organizacyjne
- Warsztaty odbyły się stacjonarnie w siedzibie Chaos Gears w Warszawie (Goraszewska 19).
- Do udziału w warsztatach nie była potrzebna wiedza z zakresu inżynierii danych ani AWS. Wszystko pokazaliśmy w trybie “od zera do bohatera”.
- Na warsztaty uczestnicy zabierali własne laptopy z dostępem administracyjnym.
- Przed szkoleniem uczestnicy otrzymali dostęp do środowiska testowego.
- Poza solidną dawką wiedzy zapewniliśmy także lunch.
- Masz pytania? Napisz do nas.