Работодатель, Россия
Data Engineer
Молодая амбициозная команда блока «Технологии» Сбера ищет Data Engineer.
Мы разрабатываем и внедряем AI инициативы, нацеленные на повышение эффективности и улучшении бизнес-процессов Банка: от снижения операционных расходов и затрат до анализа цифровых следов, характеризующих поведенческие паттерны. Спектр задач максимально широкий: от классификаций и построения предиктивных моделей до создания чат-ботов. Успешный кандидат получит возможность использовать весь передовой опыт в AI, комбинировать известные решения и предлагать новые подходы. Планы амбициозные, идей и задач масса, никакого микроменеджмента, полная самостоятельность и ответственность за результат ##. Большое профессиональное сообщество - отдельный плюс.
Основные обязанности:
• Анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
• Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Teradata и Hadoop, PostgreSQL)
• Проектирование и разработка аналитических витрин данных для целей отчетности и моделирования
• Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
• Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных
• Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных
• Разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными
• Предоставление экспертной поддержки внутренним потребителям (DA, DS)
Основные требования:
• Высшее техническое образование (IT, математика, физика)
• Опыт работы с данными в качестве инженера, аналитика или ETL- разработчика
• Знание SQL на хорошем уровне (подзапросы, хранимые процедуры, оптимизация запросов и т.д.)
• Опыт работы с большими объемами данных с использованием промышленных РСУБД (Oracle, Teradata, MS SQL, PostgreSQL, и т.д.)
• Английский язык – достаточный для свободного чтения технической литературы
• Плюсом будет знание Python/R в части написания скриптов для анализа/обработки данных
• Плюсом будет опыт реализации витрин данных / хранилищ данных
• Плюсом будет опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala)