Najlepsze praktyki dla projektów data engineering
Środowiska chmurowe już od lat są wspierane przez rozwiązania infrastructure as code (IaC) i CI/CD. Czy podobne praktyki możemy przenieść w ryzy inżynierii danych? Odpowiadamy na to na bazie własnego data warehouse wykorzystującego m.in. usługi AWS Analytics, takie jak Redshift, DMS czy MWAA, ale i narzędzia open source.
Agenda
- IaC, CaC, semantic versioning, CI/CD — wprowadzenie
- Przykład projektu data warehouse w AWS
- Omówienie kluczowych komponentów projektu z naciskiem na wersjonowanie i wdrażanie z użyciem CI/CD
- Sesja Q&A
Dowiesz się…
- dlaczego IaC i CaC to fundament każdego chmurowego systemu;
- jakie korzyści niesie semantic versioning;
- jak wdrażać i zarządzać infrastrukturą AWS w projektach z inżynierii danych;
- skąd popularność dbt w świecie data engineering;
- jak wersjonować i zarządzać DAG w Apache Airflow;
- które narzędzia wspierają zarządzanie schematami w Amazon Redshift.
Prowadzący
Amazon Bedrock
Platforma do tworzenia bezpiecznych i prywatnych usług Generative AIAmazon Bedrock to w pełni zarządzana usługa oferująca szereg dużych modeli foundation stworzonych przez wiodące firmy zajmujące się sztuczną inteligencją. Jako platforma GenAI oferuje szeroki zestaw funkcji potrzebnych do tworzenia prywatnych i bezpiecznych projektów Generative AI.
Dzięki Amazon Bedrock możesz wdrożyć Generative AI w swoich aplikacjach korzystając m.in. z usług AWS, które już znasz — AWS Lambda czy AWS Fargate świetnie sprawdzą się jako backend takich aplikacji, a my chętnie Cię w tym wesprzemy.
Usługi Generative AI