Руководитель команды разработки DWH платформы
Mail.ru Group
Россия, Москва, Ленинградский проспект, 39с79
4 дня назад
source : hh

Команда разработки DWH направления Аналитики Mail.Ru в поисках опытного руководителя DWH команды .

Команда занимаемся разработкой системы, которая будет хранить данные о ключевых сервисах Mail.Ru (почта, портал, медиапроекты, облако) и позволять принимать нам различные бизнес-решения, опираясь на эти данные, чтобы всегда оставаться DataDriven компанией.

Пример задач, которые стоят пред нами :

  • сделать доступ к данным и аналитику максимально доступной, то есть предоставить аналитикам и менеджерам такие инструменты и условия, в которых они смогут сами ответить на свои задачи, не прибегая к постановке таска в таск-трекере и не обращаясь к разработке;
  • организовать прием и структуризацию нового потока информации, так, чтобы данные были всегда корректные, не отставали и им можно было бы верить;
  • улучшить то, что устарело и перейти на новые технологии и парадигмы;
  • организовать обработку и жизнь данных в рамках нашей лямбда архитектуры так, чтобы данные обрабатывались максимально быстро;
  • делать Ad-Hoc запросы. Бывает такое, что ни аналитик ни менеджер не могут достать информацию, тогда им в помощь приходит разработчик, который сможет достать из хранилище все что нужно.
  • реализовать миграцию текущего хранилища данных на новую собственную инфраструктуру
  • Наш стек :

  • Java, Scala, Python, SQL;
  • Hadoop, Spark, Hive, MapReduce;
  • Vertica, PostgreSQL, Clickhouse, MSSql;
  • Kafka, Flume;
  • Own DataFlow System, Airflow;
  • Git, Gitlab CI;
  • Tableau, Graphite, Grafana, MSRSS.
  • Обязанности :

  • разработка и ведение задач по улучшению системы аналитики обработки данных. Планирование архитектуры решения, оценка времени, согласование ресурсов, реализация решения в команде;
  • управление, обучение и развитие команды разработчиков;
  • помощь Аналитикам по всем аналитическим задачам;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.
  • Требования :

  • не менее 5 лет релевантного опыта работы;
  • знание Java и Python;
  • знание SQL;
  • опыт работы с большими объемами данных, понимание стека технологий Hadoop, Vertica, классических RDBMS;
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • глубокое знание Spark, MapReduce;
  • Linux и Bash;
  • опыт командной разработки (git, gitlab, jira, confluence) и организации процессов разработки;
  • Умение собирать и управлять ожиданиями и потребностями заказчиков.

    Будет плюсом :

  • опыт разработки на Scala;
  • опыт работы с фреймворками потоковой обработки данных (spark streaming, flink, samza и т.д.);
  • опыт работы с Docker и Kubernetes, или желание изучать;
  • ссылки на публичные репозитории, статьи с примерами работы - приветствуются.

    Условия :

  • проекты большого масштаба : соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция в каждом есть возможность делать жизнь миллионов людей лучше;
  • сложные и интересные задачи : высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями;
  • быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
  • оборудование : мощное железо, дополнительные мониторы, специализированные гаджеты все для решения масштабных задач и экспериментов;
  • команда : работа бок о бок со звездами IT-индустрии, каждый из которых может поделиться своей экспертизой;
  • профессиональное развитие : прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
  • новый опыт : лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
  • офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом прокат велосипедов, лонгбордов и самокатов;
  • здоровье и спорт : программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты;
  • собственный тренажерный и спортивный зал в офисе.

    Мы будем рады вашему отклику и, при обоюдном интересе, предложим условия и проекты, от которых не захочется отказываться.

    Сообщите об этом задании
    checkmark

    Thank you for reporting this job!

    Your feedback will help us improve the quality of our services.

    Откликнуться
    Мой Email
    Нажимая «Продолжить», я даю согласие neuvoo на обработку моих данных и отправку уведомлений по электронной почте, как описано в Политике конфиденциальности neuvoo. В любое время я могу отозвать свое согласие или отказаться от подписки.
    Продолжить
    Форма заявки