Евгений Ермаков, Валерий Соколов / Karpov.Courses - Инженер данных. Все части
Артикул: 3637 В наличии
Категория: Программирование
Дата выхода: 2023
Продажник от автора: Перейти на продажник
Вид доступа: Облако Mail
Объем материала: 17.3 ГБ
Что учесть при выборе
- Выпуск: 2023
- Доступ: Облако Mail
Подготовка к практике
Сверьте язык, версии инструментов и уровень подготовки с описанием. До покупки проверьте, есть ли код и задания: они помогут повторять примеры и собирать свой проект.
Доступ и версия
Для этого материала указан доступ: Облако Mail. Проверьте, сможете ли вы открыть этот сервис на своём устройстве и достаточно ли места для сохранения файлов.
Условия получения материалов — в инструкции по покупке. Вопросы о составе: admin@kursberry.com.
Программа и содержание
НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ
Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.
ДЛЯ КОГО ЭТОТ КУРС:
ИНЖЕНЕР ДАННЫХ
Уже работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии.
АНАЛИТИК ДАННЫХ
Постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике.
BI-РАЗРАБОТЧИК
Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать.
BACKEND-РАЗРАБОТЧИК
Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных.
РАБОТАЙТЕ С ДАННЫМИ В ЛЮБЫХ СИСТЕМАХ
— Изучайте архитектуру хранилищ данных и подходы к их проектированию
— Сравнивайте на практике Big Data решения на базе Hadoop и реляционные MPP СУБД
— Учитесь работать с облаками и автоматизировать ETL-процессы с помощью Airflow
ПРОГРАММА КУРСА:
1. РЕЛЯЦИОННЫЕ И MPP СУБД
Начнём погружение в инженерию данных со знакомства с реляционными и MPP базами данных. Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД оказываются лучше традиционных. Научимся готовить PostgreSQL и MPP базы данных на примере Greenplum.
2. АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
ETL — ключевой процесс в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разберём его основные компоненты и научимся с его помощью автоматизировать ETL-пайплайны.
3. BIG DATA
Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о потоковой обработке данных, методах и средствах мониторинга и профилирования заданий Spark.
4. ПРОЕКТИРОВАНИЕ DWH
Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектированию детального слоя DWH.
5. ОБЛАЧНОЕ ХРАНИЛИЩЕ
Рассмотрим облачные решения и инструменты для построения DWH и Data Lake. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и настройки JupyterHub и Spark в Kubernetes.
6. ВИЗУАЛИЗАЦИЯ ДАННЫХ
Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и построим с его помощью интерактивный дашборд для мониторинга DWH платформы.
7. BIG ML
Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
8. УПРАВЛЕНИЕ МОДЕЛЯМИ
В работе инженеры часто сталкиваются с подготовкой данных для обучения ML-моделей. Рассмотрим инструменты для построения ML-пайплайнов, версионирования датасетов, организации учёта и трекинга моделей.
9. УПРАВЛЕНИЕ ДАННЫМИ
На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контроля качества данных и отслеживания их происхождения.
Знакомство с материалом «Евгений Ермаков, Валерий Соколов / Karpov.Courses - Инженер данных. Все части»
Kursberry собрал сведения об этом материале в одной карточке: программу, характеристики и доступные варианты. Он относится к направлению «Программирование». Автор или образовательный проект — Евгений Ермаков, Валерий Соколов. В качестве даты выхода указано: 2023.
Парная версия для данного товара не указана. Если вам нужны конкретные характеристики записи, задайте вопрос до покупки.
Для открытия материала указан Облако Mail. Способ просмотра зависит от того, какие файлы входят в выбранный вариант.
Размер файлов: 17.3 ГБ. Если планируете загрузку, учитывайте этот объём при выборе устройства и свободного места.
Похожие курсы
Вопросы и ответы
Как получить курс?
Добавьте курс в корзину или нажмите «Купить», выберите удобный способ оплаты и завершите заказ. После подтверждения оплаты ссылки на материалы автоматически придут на указанную почту. Авторизованные пользователи также найдут купленные материалы в разделе «Мои покупки».
Почему такая цена?
Материалы приобретаются совместно, поэтому стоимость заметно ниже цены автора. Вы получаете запись курса и заявленные материалы для самостоятельного обучения; обратная связь автора обычно не входит, если отдельно не указано обратное.
Цена у автора для этого курса указана как 92000 ₽.
Нашли дешевле?
Пришлите нам ссылку на более дешёвое предложение — проверим его и постараемся сделать цену ниже. .
Где будет доступ к курсу?
Для этого товара указан вид доступа: Облако Mail. После оплаты вы получите нужную ссылку или приглашение.
Можно ли скачать материалы?
Если материалы находятся в облачном хранилище, их обычно можно смотреть онлайн или скачать себе. Исключения зависят от формата конкретного курса.
Есть ли гарантия получения?
После подтверждения оплаты выдача происходит автоматически. Если возникнет вопрос с оплатой или доступом, напишите нам в Telegram, через чат на сайте или на admin@kursberry.com. До покупки по запросу можем показать дополнительные скриншоты или фрагмент содержимого.