Data engineer


Data engineer







Description

Обязанности:

  • Подготовка данных и разработка агрегатов, необходимых для проектов;

  • Создание прототипов объектов (структур, витрин);

  • Подключение новых источников данных из внешних и внутренних систем с целью быстрого прототипирования и оценки полезности данных;

  • Разработка и поддержка ETL потоков данных: как batch (Sqoop, Spark, BQ), так и потоковых (Kafka, Spark);

  • Внедрение и обучение математических моделей, контроль качества моделей.

 

Требования:

  • Знания Java/Scala, Python;

  • Знание SQL, Git;

  • Знания принципов построения БД и хранилищ данных;

  • Уверенное знание экосистемы Apache Hadoop и Spark;

  • Опыт на подобной позиции от года.

  • Будет плюсом:

  • Знание систем контейнеризации (Docker и др.);

  • Знание Python;

  • Знание основ машинного обучения (базовые принципы – обучение, кросс-валидация, оценка качества моделей);

  • Опыт работы с NoSQL базами данных.

 

Условия:

  • Интересная работа в быстроразвивающейся компании;

  • Уникальная возможность работы с большим разнообразием аналитических задач;

  • Возможность один день в неделю работать из дома;

  • Зеленый свет для новых идей и предложений: мы часто делаем то, на что другие не отваживаются;

  • Возможности профессионального и карьерного роста;

  • Современный офис класса "А" в 5-ти минутах пешком от метро Новокузнецкая.