Data engineer

Обязанности:

• Подготовка данных и разработка агрегатов, необходимых для проектов;

• Создание прототипов объектов (структур, витрин);

• Подключение новых источников данных из внешних и внутренних систем с целью быстрого прототипирования и оценки полезности данных;

• Разработка и поддержка ETL потоков данных: как batch (Sqoop, Spark, BQ), так и потоковых (Kafka, Spark);

• Внедрение и обучение математических моделей, контроль качества моделей.

Требования:

• Знания Java/Scala, Python;

• Знание SQL, Git;

• Знания принципов построения БД и хранилищ данных;

• Уверенное знание экосистемы Apache Hadoop и Spark;

• Опыт на подобной позиции от года.

• Будет плюсом:

• Знание систем контейнеризации (Docker и др.);

• Знание Python;

• Знание основ машинного обучения (базовые принципы – обучение, кросс-валидация, оценка качества моделей);

• Опыт работы с NoSQL базами данных.

Условия:

• Интересная работа в быстроразвивающейся компании;

• Уникальная возможность работы с большим разнообразием аналитических задач;

• Возможность один день в неделю работать из дома;

• Зеленый свет для новых идей и предложений: мы часто делаем то, на что другие не отваживаются;

• Возможности профессионального и карьерного роста;

• Современный офис класса "А" в 5-ти минутах пешком от метро Новокузнецкая.