Требуемый опыт работы: 1–3 года
Полная занятость, полный день
Москва задает тренды! Наши возможности позволяют изучать желания и поведение пассажиров и водителей транспорта, создавать и улучшать городские цифровые сервисы. Вместе с коллегами делаем московский транспорт безопаснее, современнее и комфортнее для жителей и гостей столицы.
Инновационный центр — уникальное IT-пространство, внутри большой госкомпании.
Мы создали и развиваем Единое хранилище данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная, и потоковая передача данных. Хранилище Данных выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.
Что есть:Apache Spark, Apache Hive, Airflow, Linux, Git, Bash, ELK, Vertica, ClickHouse, DB2. Пишем сами систему мониторинга качества данных.
Наша команда:Команда хранилища данных состоит из инженеров данных, аналитиков данных, администратора платформы данных.
Для поддержки работоспособности и дальнейшего развития нашей платформы данных нам нужен Data-инженер, который закроет следующие
задачи:📌 Интеграция Хранилища Данных с различными источниками (FTP, API, сайты) с помощью Python;
📌 Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
📌 Разработка витрин данных с использованием SQL, Python, PySpark;
📌 Разработка и доработка batch и real-time процессов загрузки данных в различные слои хранилища данных в Hive, Vertica, ClickHouse, DB2;
📌 Развитие системы мониторинга качества данных;
📌 Совершенствование и разработка новых внутренних процессов команды;
📌 Декомпозиция и оценка трудозатрат по своим задачам; Code-review;
📌 Поддержка в актуальном состоянии базы знаний и технической документации Хранилища Данных.
Опыт и навыки :✏️ Законченное высшее образование;
✏️ Понимание теории и практики построения Хранилищ Данных в роли Data-инженера;
✏️ Уверенное владение SQL, опыт написания сложных запросов с подзапросами и оконными функциями и регулярными выражениями, навыки оптимизации запросов;
✏️ Навыки программирования, умение читать и понимать код на Python;
✏️ Понимание принципов работы Git-систем;
✏️ Понимание принципов работы систем оркестрации;
✏️ Знание основных команд Linux на уровне пользователя;
✏️ Знание английского языка для чтения технической литературы;
✏️ Требуемый опыт работы 1–3 года;
✏️ Интерес к работе с данными, желание погружаться в разные предметные области;
✏️ Умение работать в команде и готовность помогать коллегам;
✏️ Заинтересованность в личном развитии и развитии города.
Будет плюсом, если у тебя есть :✏️ Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
✏️ Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
✏️ Знание планировщиков процессов (AirFlow);
✏️ Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.
Что мы предлагаем:❤️ Интересную работу в масштабном проекте, помощь и поддержку;
❤️ Отличную команду, молодую и активную, увлеченную тем, чем занимается;
❤️ Гибридный формат работы, уютный офис в центре Москвы;
❤️ Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата;
❤️ Отпуск 42 дня, страхование жизни, скидки от компаний-партнеров;
❤️ Бесплатный проезд в столичном метро;
❤️ Льготы на отдых в оздоровительном комплексе метрополитена.
Контакты:Присылайте резюме нашему HR Виолетте на почту
belyakova-vv@mosmetro.ru или в телеграм
@ViolettaBelyakova Благодарим Вас за интерес, проявленный к нашей Компании!