Data - инженер (Middle)
БОЛЬШИЕ ДАННЫЕ
Москва задает тренды! Наши возможности позволяют изучать социальную, экологическую и транспортную обстановку города, а также создавать и улучшать городские цифровые сервисы. Вместе с коллегами мы создаём безопасную и комфортную среду для перемещения пассажиров и водителей и каждый день делаем Московский транспорт ещё лучше!

Инновационный центр — уникальное пространство экспертов IT, аналитики и отраслевого консалтинга внутри Транспортного комплекса Москвы. Мы занимаемся аналитикой, Big Data и решением задач по направлению цифровизации транспортной инфраструктуры города.

Сейчас в нашем IT Big Data подразделении 120 человек — это молодые ребята с опытом работы в бизнесе, увлеченные работой с данными и технологиями.

Мы создали и развиваем Единое хранилище данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная, и потоковая передача данных. Хранилище Данных выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе — оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

Что есть: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2.

Мы разрабатываем: систему мониторинга качества данных, интеграционные потоки и API, витрины данных. Сами управляем нашей инфраструктурой.

Наша команда состоит из инженеров данных, аналитиков данных, администраторов платформы данных и экспертов поддержки.

Основные задачи:

➡️ Поддержка работоспособности и дальнейшее развитие платформы данных;
➡️ Интеграция Х Д с различными источниками (FTP, API, сайты) с помощью Python;
➡️ Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
➡️ Разработка витрин данных с использованием SQL, Python, PySpark;
➡️ Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2;
➡️ Развитие системы мониторинга качества данных;
➡️ Совершенствование и разработка новых внутренних процессов команды;
➡️ Декомпозиция и оценка трудозатрат по своим задачам;
➡️ Code-review;
➡️ Поддержка в актуальном состоянии базы знаний и технической документации ХД;

Опыт и навыки, которые мы ожидаем:

✒️ Законченное высшее образование;
✒️ Понимание теории и практики построения Хранилищ Данных на уровне data-инженера;
✒️ Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов;
✒️ Уверенные навыки программирования, умение читать и понимать код на Python;
✒️ Понимание принципов работы Git-систем;
✒️ Понимание принципов работы систем оркестрации;
✒️ Знание основных команд Linux на уровне пользователя;
✒️ Знание английского языка на уровне чтения технической документации;
✒️ Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию;
✒️ Умение работать в команде и готовность помогать коллегам;
✒️ Заинтересованность в личном развитии и развитии города;

Будет плюсом:

✒️ Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
✒️ Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
✒️ Знание планировщиков процессов (AirFlow);
✒️ Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.

Почему тебе понравится работать в ИЦ:

✴️ Мы, действительно, Инновационные и делаем крутые полезные продукты для города;
✴️ Наша команда — это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт. По отзывам наших сотрудников — это одно из самых больших преимуществ нашей работы;
✴️ Развитие. Мы непрерывно учимся новому у внешних и внутренних экспертов, прокачиваемся не только в IT, а и в транспортной и городской тематике. У нас огромное количество проектов, на которых можно быстро профессионально развиваться. Опытные руководители и наставники. Возможность посещения различных курсов и тренингов от корпоративного университета Департамента транспорта;
✴️ Стабильность. Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT компании, стабильности и ресурсов ГОСа;
✴️ График: гибрид 5/2;
✴️ Локация: офис в центре Москвы, м. Белорусская;
✴️ Отпуск 42 дня, бесплатный проезд в метро, корпоративные скидки от компаний — партнеров и т. д.;
✴️ Заработная плата обсуждается индивидуально, в зависимости от опыта кандидата.

Контакты:

Tg: @ElinaPankratova
Почта: PankratovaET1@transport.mos.ru
Благодарим Вас за интерес, проявленный к нашей Компании!