Руководитель отдела инженерии данных

Наша миссия Мы стремимся связывать и стимулировать включительную, цифровую экономику, которая приносит пользу всем, везде, делая транзакции безопасными, прямыми, разумными и доступными. Используя защищенные данные и сети, партнерства и страсть, наши инновации и решения помогают людям, финансовым учреждениям, правительствам и компаниям осознать и реализовать их максимальный потенциал. Наш коэффициент порядочности, или DQ, определяет нашу культуру и все, что мы делаем внутри и вне нашей компании. Мы культивируем культуру включения для всех сотрудников, которая признает их уникальные сильные стороны, взгляды и опыт. Мы уверены, что наши различия позволяют нам сформировать лучшую команду - команду, которая принимает лучшие решения, стимулирует инновации и дает лучшие бизнес-результаты. Заголовок и резюме Главный инженер по данным Кто такой Mastercard? Mastercard - это мировая технологическая компания в индустрии платежей. Наша миссия - связывать и стимулировать включительную, цифровую экономику, которая приносит пользу всем, везде, делая транзакции безопасными, простыми, умными и доступными. Используя защищенные данные и сети, партнерства и страсть, наши инновации и решения помогают людям, финансовым учреждениям, правительствам и компаниям реализовать свой наибольший потенциал. Наш коэффициент порядочности, или DQ, управляет нашей культурой и всем, что мы делаем внутри и вне нашей компании. Работая более чем в 210 странах и территориях, мы строим устойчивый мир, который открывает неоценимые возможности для всех. Обзор Команда Инженерии по данным ищет Ведущего Инженера в области Big Data для продвижения нашей миссии по раскрытию потенциала данных, постоянно инновируя, облегчая пользователям доступ к данным из его репозиториев Big Data и соблюдая стандарты и принципы в области Big Data. Эта роль отвечает за определение и поддержание архитектуры данных, а также связанных процессов обслуживания данных, интеграции и загрузки для организации. Хранилище данных Hadoop используется несколькими группами для извлечения проницательностей, проведения операций Машинного Обучения и Data Science, которые, в свою очередь, поддерживают множество инициатив по генерации доходов в организации. Роль • Разработка высококачественных, безопасных и масштабируемых конвейеров данных с использованием Spark, Scala / Python / Java на Hadoop или в облачном хранилище. • Занимание ведущей консультативной позиции в сложных инициативах стратегического значения (например, межфункциональные / трансгеографические), включая применение наиболее подходящих решений по данным для отдельных приложений. • Проектирование и архитектурное проектирование моделей потока данных в среде Hadoop, которые могут быть масштабируемыми, повторяемыми и устраняющими трату времени на определенные шаги. • Содействие автоматизации и повышению эффективности в рабочих процессах по загрузке данных, перемещению данных и доступу к данным через инновации и сотрудничество. • Понимание, внедрение и обеспечение соблюдения стандартов разработки ПО и инженерных принципов в области Big Data. • Тесное работа со стейкхолдерами бизнеса и встраиваемыми инженерными командами в бизнес-командах в сотрудничестве, помогая им строить масштабируемые продукты быстро. • Использование новых технологий и подходов для инноваций с постепенно увеличивающимися объемами данных. • Сотрудничество с проектной командой для выполнения запланированных сроков, в то время как определяются возникающие проблемы и рекомендуются решения для проблем. • Самостоятельное выполнение порученных задач и разрешение производственных инцидентов. • Предлагает идеи, гарантирующие наличие необходимых стандартов и процессов, и активно ищет возможности для улучшения стандартов и повышения эффективности процессов. Все о вас • 10-16 лет опыта работы в проектах, связанных с хранилищами данных, в продуктовой или сервис-ориентированной организации. • Отличное знание инженерии по данным и проектов по реализации DW в окружении Big Data Hadoop. • Опыт в создании конвейеров данных с использованием Spark с Scala/Python/Java на Hadoop или Object storage. • Опыт работы с базами данных, такими как Oracle, Netezza, и сильное знание SQL. • Опыт работы с системами реального времени, такими как NiFi и Kafka, будут дополнительным преимуществом. • Опыт работы на автоматизации в процессе потока данных в среде Big Data. • Опыт работы в Agile командах. • Сильные аналитические навыки, необходимые для отладки производственных проблем, предоставления анализа корневых причин и разработки плана смягчения. • Сильные коммуникационные навыки - как устные, так и письменные – а также сильные навыки взаимодействия, совместной работы и организации. • Умение работать над несколькими проектами одновременно, взаимодействовать с внешними / внутренними ресурсами и предоставлять техническое руководство молодым членам команды. • Высокая энергия, внимание к деталям, активность, способность работать под давлением в самостоятельной среде, а также высокая степень инициативы и самомотивации для достижения результатов. • Способность быстро учиться и внедрять новые технологии, проводить POC, чтобы определить наилучшее решение для конкретной задачи. • Гибкость в работе как член разнообразных и географически распределенных проектных команд. • Успешное лидерство в сложных кросс-функциональных доменных инициативах, ожидается, что вы будете определять направление проекта и преодолевать/разрешать проблемы. • Опыт участия в основном усилии по автоматизации и / или внедрению облачных решений, включая поддержку финансового принятия решений. • Опыт организации доставки в мировых доменах и субдоменах технологии баз данных, ожидается, что вы будете работать в команде с лидерами технического сообщества и выявлять новые решения. • Доказанная способность действовать как эксперт и доверенное лицо по вопросам подготовки инфраструктуры больших данных и бизнес-стратегий для облачных и корпоративных решений. Корпоративная ответственность в области безопасности Все действия, связанные с доступом к активам, информации и сетям Mastercard, несут в себе внутренний риск для организации, поэтому ожидается, что каждый, кто работает на Mastercard или от ее имени, отвечает за информационную безопасность и должен: • Соблюдать политику безопасности и практику Mastercard. • Обеспечивать конфиденциальность и целостность доступной информации. • Сообщать о любых подозрительных нарушениях информационной безопасности или утечках. • Проходить все периодические обязательные тренинги по безопасности в соответствии с руководством Mastercard.