Data-инженер
ХРАНИЛИЩЕ ДАННЫХ
Москва задает тренды! Наши возможности позволяют изучать социальную, экологическую и транспортную обстановку города, а также создавать и улучшать городские цифровые сервисы. Вместе с коллегами мы
создаём безопасную и комфортную среду для перемещения пассажиров и водителей и каждый день делаем Московский транспорт ещё лучше!

Инновационный центр —уникальное пространство, экспертов IT, аналитики и отраслевого консалтинга внутри Транспортного комплекса Москвы.
Мы занимаемся аналитикой, Big Data и решением задач по направлению цифровизации транспортной инфраструктуры города.

Сейчас в нашем IT Big Data подразделении 120 человек — это молодые ребята с опытом работы в бизнесе, увлеченные работой с данными и технологиями.

Мы создали и развиваем Единое хранилище данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная, и потоковая передача данных. Хранилище Данных выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе — оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

Что есть: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2.

Мы разрабатываем: систему мониторинга качества данных, интеграционные потоки и API, витрины данных. Сами управляем нашей инфраструктурой.

Наша команда состоит из инженеров данных, аналитиков данных, администраторов платформы данных и экспертов поддержки.


Основные задачи:

✅ Поддержка работоспособности и дальнейшее развитие платформы данных;
✅ Интеграция Х Д с различными источниками (FTP, API, сайты) с помощью Python;
✅ Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
✅ Разработка витрин данных с использованием SQL, Python, PySpark;
✅ Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2;
✅ Развитие системы мониторинга качества данных;
✅ Совершенствование и разработка новых внутренних процессов команды;
✅ Декомпозиция и оценка трудозатрат по своим задачам;
✅ Code-review;
✅ Поддержка в актуальном состоянии базы знаний и технической документации ХД;


Опыт и навыки, которые мы ожидаем :

✏️ Законченное высшее образование;
✏️ Понимание теории и практики построения Хранилищ Данных на уровне data-инженера;
✏️ Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов;
✏️ Уверенные навыки программирования, умение читать и понимать код на Python;
✏️ Понимание принципов работы Git-систем;
✏️ Понимание принципов работы систем оркестрации;
✏️ Знание основных команд Linux на уровне пользователя;
✏️ Знание английского языка на уровне чтения технической документации;
✏️ Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию;
✏️ Умение работать в команде и готовность помогать коллегам;
✏️ Заинтересованность в личном развитии и развитии города;

Будет плюсом :

✏️ Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
✏️ Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
✏️ Знание планировщиков процессов (AirFlow);
✏️ Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.


Почему тебе действительно понравится работать в ИЦ:

❤️ Мы, действительно, Инновационные и делаем крутые полезные продукты для города;
❤️ Наша команда — это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт — по отзывам наших сотрудников — это одно из самых больших преимуществ нашей работы;
❤️ Развитие. Мы непрерывно учимся новому у внешних и внутренних экспертов, прокачиваемся не только в IT, а и в транспортной и городской тематике. У нас огромное количество проектов, на которых можно быстро профессионально развиваться. Опытные руководители и наставники. Возможность посещения различных курсов и тренингов от корпоративного университета Департамента транспорта;
❤️ Стабильность. Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT компании, стабильности и ресурсов ГОСа;
❤️ График: гибрид 5/2;
❤️ Локация: офис в центре Москвы, м. Белорусская;
❤️ Отпуск 42 дня, бесплатный проезд в метро, корпоративные скидки
от компаний — партнеров и т. д.;
❤️ Заработная плата обсуждается индивидуально, в зависимости от опыта кандидата.


Контакты:

Tg: @ElinaPankratova
Почта: pankratova-et@mosmetro.ru
Благодарим Вас за интерес, проявленный к нашей Компании!