Senior Data Engineer

Увлечены ли вы данными и готовы к значительным изменениям в ведущей компании? Walmart ищет высококвалифицированного старшего инженера по данным, чтобы присоединиться к нашей команде в Bentonville, AR. Повышайте свою карьеру, внося вклад в инновационные стратегии и решения в области данных, которые продвигают наш бизнес вперед.

Место работы: 702 SW 8th Street, Bentonville, AR 72712
Название должности: Старший инженер по данным

Понимание, разъяснение и применение принципов стратегии данных к рутинным бизнес-проблемам, связанным с одной функцией.

• Извлечение данных из определенных баз данных.
• Создание конвейеров данных и преобразование данных с использованием соответствующих методов.
• Владение современными тенденциями в области науки о данных и аналитики.

• Поддержка понимания приоритетов требований и соглашений об уровне обслуживания.
• Выбор наиболее подходящего источника для данных, пригодных для использования по назначению.
• Проведение первоначальной проверки качества данных на извлеченных данных.

• Анализ сложных элементов данных, систем, потоков данных, зависимостей и отношений.
• Разработка логических и физических моделей данных, включая проектирование хранилищ данных и витрин данных.
• Определение реляционных таблиц, первичных и внешних ключей, а также хранимых процедур.
• Оценка существующих моделей данных и физических баз данных на наличие несоответствий.
• Создание эффективных потоков данных и предложение решений для интеграции данных.
• Создание учебной документации и обучение конечных пользователей моделированию данных.

• Написание кода с использованием соответствующего языка программирования.
• Создание тестовых случаев для валидации предложенных решений.
• Развертывание программного обеспечения на производственных серверах.
• Ведение документации по коду и предоставление обновлений о прогрессе.

Перевод бизнес-проблем в решения, связанные с данными или математикой, рекомендации методов, таких как аналитика и автоматизация, и демонстрация того, как они решают бизнес-проблемы.

• Предоставление рекомендаций для решения сложных бизнес-задач.
• Разработка бизнес-кейсов с прогнозируемым ROI или экономией затрат.
• Перевод бизнес-требований в проекты и задачи, согласованные с общей стратегией.
• Рекомендации по новым процессам и методам работы.

• Создание, изменение и документирование проектов управления данными.
• Внедрение практик управления данными в сотрудничестве с заинтересованными сторонами.
• Обучение других процессам, политикам и рекомендациям по управлению данными.

Образование и опыт:
Магистерская степень в области компьютерных наук или смежной области и 1 год опыта в области программной инженерии или смежном опыте ИЛИ
Бакалаврская степень в области компьютерных наук или смежной области и 3 года опыта в области программной инженерии или смежном опыте.

• Разработка shell-скриптов в средах Linux/Unix для конвейеров больших данных.
• Написание сложных SQL-запросов для сценариев ETL и устранения проблем с данными.
• Опыт работы с архитектурой Hadoop и файловой системой HDFS.
• Погрузка, преобразование, настройка и проверка данных с использованием Scala, Spark и Hive.
• Проектирование и разработка API для серверной части с использованием Java/Python.