Инженер данных. Часть 3 из 5

Чтобы аналитики и системы машинного обучения получали корректные данные, их необходимо правильно собирать, хранить, валидировать и объединять. Этот курс помогает выстроить инженерный процесс: от проектирования архитектуры хранилищ до автоматизации доставки информации пользователям.

Внутри разбираются технологии для обработки данных любых объемов — от традиционных реляционных СУБД до современных Big Data решений на базе Hadoop. Основное внимание уделяется автоматизации ETL-процессов через Airflow, проектированию логической архитектуры DWH и работе в облачных средах с использованием Kubernetes. Программа ориентирована на специалистов, которые хотят систематизировать знания в области работы с данными и освоить инструменты для создания отказоустойчивых пайплайнов.