(USA) Data Engineer III - Data Ventures

Вас движет неуёмная энергия и страсть к обработке данных для решения динамичных задач, формирующих будущее ритейла? В компании Walmart вы будете работать с одними из крупнейших массивов данных, помогая раскрыть потенциал науки о данных в ритейле. Как Инженер Данных в Walmart, вы будете создавать и поддерживать конвейеры данных, позволяя нашим ученым-данным и аналитикам эффективно использовать целевые и ценные данные.

Наша команда Data Ventures занимается разработкой повторно используемых технологий для улучшения привлечения клиентов, их онбординга и расширения возможностей продавцов. Мы обеспечиваем бесшовный опыт вовлечения через все каналы, включая магазины, мобильные приложения и веб-сайты, оптимизируя тарифы и ассортимент в соответствии с философией Walmart "Низкие Цены Ежедневно". Наша основная цель — предоставлять немедленные решения для продавцов на американском рынке, взаимодействуя с различными командами компании.

Трансформация и интеграция данных

Извлечение данных из определенных баз данных, создание конвейеров данных и преобразование данных для решения проблем с помощью подходящих техник. Поддержание актуальности с текущими тенденциями аналитики.

Идентификация источников данных

Понимание требований и соглашений об уровне обслуживания для определения наиболее подходящего источника данных. Выполнение начальных проверок качества на извлеченных данных.

Моделирование данных

Анализ сложных элементов данных и систем для вклада в концептуальные, физические и логические модели данных. Определение реляционных таблиц, первичных и внешних ключей, а также хранимых процедур для создания структуры модели данных, обеспечивая эффективный поток данных.

Разработка и тестирование кода

Написание кода для нужных решений и функций приложений, проверка предлагаемых проектов решений, создание прототипов и внедрение программного обеспечения на производственные серверы. Внесение вклада в документацию кода и предоставление своевременных обновлений о продвижении.

Прикладные бизнес-интуиция

Предоставление рекомендаций для решения сложных бизнес-проблем, разработка бизнес-кейсов с предполагаемым ROI, перевод бизнес-требований в проекты и рекомендации новых процессов и способов работы.

Управление данными

Установление, изменение и документирование проектов по управлению данными. Внедрение практик управления данными и обучение других процессам, практикам и политикам. Предоставление обновлений и вкладов в политики управления.

Что вы принесете в команду

Обязательные требования

- Опыт работы с Hadoop, Spark, Cloud, Python/PySpark, Java, Streaming и Kafka.
- Опыт программирования на как минимум одном языке (например, Scala, Python).
- Опыт работы с облачными вычислительными платформами (например, GCP, Azure).
- Навыки моделирования данных и протоколов миграции данных.
- Опыт работы с хранилищами данных, BI и инструментами интеграции, такими как Automic и Airflow.
- Знания по созданию масштабируемых решений для больших данных и экосистем ETL.

Желательные требования

- Знакомство с Databricks.
- Практические знания в NoSQL (например, Cosmos DB) и RDBMS (например, MySQL, Postgres).
- Опыт работы с платформами обмена сообщениями, такими как Kafka.
- Способность настраивать эффективные процессы для разработки программного обеспечения, приема требований и оценки усилий.
- Сильные навыки креативного и критического мышления и решения проблем.

В Walmart Global Tech мы создаем технологии, делающие жизнь проще для миллионов людей. Наша команда включает разработчиков программного обеспечения, ученых-данных, экспертов по кибербезопасности и специалистов по обслуживанию, движимых страстью к инновациям. Мы предлагаем возможности как для новичков, так и для опытных профессионалов для развития навыков, получения отраслевого