blog_rewrite_destination

SberData – департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 10 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI. Руководители Департамента – высококвалифицированные эксперты, участники Apache Foundation, обладающие уникальными знаниями в разработке кода и современном технологическом стеке (Hadoop, Teradata, Oralce и многое другое). Благодаря нашему размеру, нашим объемам данных, сложности финансовых процессов, проблемы, с которыми мы сталкиваемся, заставляют нас все время быть на передовой современных технологий, а где-то и создавать их.

Одно из направлений – создание ядра платформы по динамической материализации пользовательских данных на инфраструктуре Hadoop. Разрабатывается несколько продуктов - от инструментов для разработки, до масштабируемых во внутреннем облаке кластеров. Основной язык разработки - Scala (готовы смотреть кандидатов без опыта работы со Scala, но обязательно желание его изучить).

Задачи:

  • Проработка инфраструктурных взаимодействий в рамках экосистемы Hadoop
  • Поддержка и развитие микросервисной архитектуры
  • Написание ETL преобразований над пользовательскими данным (Spark, Streaming)

ru
Read the complete post at profi.sk.ru/.../145