Работодатель, Россия
Data engineer
Ищем в команду специалиста по работе с данными.
Чем занимаемся:
Построение промышленных рекомендательных систем для продажи продуктов экосистемы и продуктов банка, встраивание их в сквозные бизнес-процессы банка;
Ранжирование предложений компаниям для их приоритезации с учетом контактных политик банка;
Функциональные обязанности:
∙ Обеспечение сбора и организация процесса загрузки данных в аналитические системы, включая получение структурированных и не структурированных данных из различных источников, преимущественно Kafka, подготовку, очистку и предобработку данных из внешних источников, построение агрегатов, выявление триггерных событий;
∙ Написание качественного ETL процесса: код бизнес логики, оркестрация, сборка дистрибутива процессами CI/CD;
∙ Разработка новых потоков обработкиисходя из требований аналитиков данных;
∙ Ревью кода на предмет соответствия стандартам Банка;
∙ Вывод потоков в ПРОМ(при поддержке девопса);
Навыки и опыт работы:
∙ Опыт работы по направлению от 2 лет;
∙ Хорошее знание SQL: умение оптимизировать сложные запросы, понимание принципов работы различных типов JOIN как в РСУБД, так и в фреймворках типа Hive/Spark/Flink;
∙ Опыт промышленной разработки на Java/Scala
∙ Хорошие знания компонентов Spark: spark core, spark sql, spark streaming;
∙ Опыт работы с git, cli linux;
Как преимущество:
∙ Опыт работы с Hadoop(hdfs, yarn)
∙ Знание особенностей программирования в распределённых системах
∙ Опыт работы с лямбда-архитектурой
∙ Опыт работы с Flink
∙ Опыт работы с Apache Oozie, Apache Airflow
∙ Опыт работы с Kerberos, Apache Sentry, Apache Ranger
∙ Опыт работы с noSql базами: Hbase, Cassandra, Mongo
Мы предлагаем: