Что предстоит делать
- Разработка batch и streaming потоков данных, используя Apache Kafka, Airflow, а также используя собственное решение для streaming обработки данных (selfservice etl)
- Проработка требований и согласование способов интеграции внешних источников совместно с системным аналитиком, data архитектором
- Предоставление поддержки data-потребителям по вопросам, связанным с использованием данных
Требования
- Образование: высшее техническое, специализация в области информационных технологий или аналогичная
- Опыт работы: не менее 1 года в позиции инженера данных или аналогичной
Обязательные навыки и знания
- Опыт разработки ETL процессов и работы с оркестраторами (Airflow / DagsterОпыт разработки ETL процессов и работы с оркестраторами (Airflow / Dagster)
- Опыт работы с Apache Kafka для интеграции и передачи данных
- Глубокое знание SQL и опыт работы с реляционными базами данных
- Опыт работы с MPP СУБД и понимание их архитектуры (GreenPlum, ClickHouse);
- Понимание концепций построения хранилищ данных;
Желательные/дополнительные навыки и знания
- Отличное знание Python и опыт промышленной разработки
- Опыт работы с инструментами трансформации данных (DBT)
- Опыт работы с NoSQL СУБД (MongoDB)
- Опыт работы с графовыми СУБД (Neo4j)
Условия
- Конкурентный уровень з/п, размер обсуждается по итогам собеседования и квалификации
- Официальное оформление по ТК РФ
- Офис в шаговой доступности от метро (центр), либо удаленная работа/гибрид
- Гибкое начало рабочего дня, график 5/2, выходные - суббота, воскресенье
- Непрерывное обучение и развитие профессиональных навыков
- Современный стек технологий