Москва задает тренды! Наши возможности позволяют изучать социальную, экологическую и транспортную обстановку города, а также создавать и улучшать городские цифровые сервисы. Вместе с коллегами мы
создаём безопасную и комфортную среду для перемещения пассажиров и водителей и каждый день делаем Московский транспорт ещё лучше!
Инновационный центр — уникальное IT-пространство, экспертов IT, аналитики и отраслевого консалтинга внутри Транспортного комплекса Москвы.
Мы занимаемся аналитикой, Big Data и решением задач по направлению цифровизации транспортной инфраструктуры города.
Сейчас в нашем IT Big Data подразделении 120 человек — это молодые ребята с опытом работы в бизнесе, увлеченные работой с данными и технологиями
Мы создали и развиваем Единое хранилище данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная, и потоковая передача данных. Хранилище Данных выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.
Что есть:Apache Spark, Apache Hive, Airflow, Linux, Git, Bash, ELK, Vertica, ClickHouse, DB2. Пишем сами систему мониторинга качества данных.
Наша команда:Команда хранилища данных состоит из инженеров данных, аналитиков данных, администратора платформы данных.
Для поддержки работоспособности и дальнейшего развития нашей платформы данных нам нужен Data-инженер, который закроет следующие
ЗАДАЧИ:📌 Интеграция Хранилища Данных с различными источниками (FTP, API, сайты) с помощью Python;
📌 Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
📌 Разработка витрин данных с использованием SQL, Python, PySpark;
📌 Разработка и доработка batch и real-time процессов загрузки данных в различные слои хранилища данных в Hive, Vertica, ClickHouse, DB2;
📌 Развитие системы мониторинга качества данных;
📌 Совершенствование и разработка новых внутренних процессов команды;
📌 Декомпозиция и оценка трудозатрат по своим задачам; Code-review;
📌 Поддержка в актуальном состоянии базы знаний и технической документации Хранилища Данных.
ОПЫТ И НАВЫКИ :✏️ Законченное высшее образование;
✏️Понимание теории и практики построения Хранилищ Данных в роли Data-инженера;
✏️Уверенное владение SQL, опыт написания сложных запросов с подзапросами и оконными функциями и регулярными выражениями, навыки оптимизации запросов;
✏️ Навыки программирования, умение читать и понимать код на Python;
✏️ Понимание принципов работы Git-систем;
✏️ Понимание принципов работы систем оркестрации;
✏️ Знание основных команд Linux на уровне пользователя;
✏️ Знание английского языка для чтения технической литературы;
✏️ Требуемый опыт работы 1–3 года;
✏️ Интерес к работе с данными, желание погружаться в разные предметные области;
✏️ Умение работать в команде и готовность помогать коллегам;
✏️ Заинтересованность в личном развитии и развитии города.
Будет плюсом, если у тебя есть :✏️ Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
✏️ Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
✏️ Знание планировщиков процессов (AirFlow);
✏️ Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.
Почему тебе понравится работать в ИЦ:❤️ Мы, действительно, Инновационные и делаем крутые полезные продукты для города;
❤️ Наша команда – это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт - по отзывам наших сотрудников - это одно из самых больших преимуществ нашей работы;
❤️ Развитие. Мы непрерывно учимся новому, посещаем самые интересные конференции и выступаем там в качестве спикеров. Созданное нами пространство стимулирует не только профессиональный, но и личностный рост.
❤️ Стабильность. Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT, стабильности и ресурсов ГОСа;
❤️ График 5/2, гибридный формат работы, офис в центре Москвы;
❤️ Отпуск 42 дня, бесплатный проезд в метро, страхование жизни, скидки от компаний партнеров и т.д.;
❤️ Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата.
Контакты:
Tg
@ViolettaBelyakovaПочта:
belyakova-vv@mosmetro.ruБлагодарим Вас за интерес, проявленный к нашей Компании!