(USA) Data Engineer III

Можливість роботи: Інженер даних III у Walmart Global Tech

Ми шукаємо досвідченого Інженера даних для приєднання до нашої розширюваної команди інженерних фахівців у Finance Data Factory компанії Walmart Global Tech. Ця роль є критично важливою для розширення та оптимізації нашої архітектури даних і конвеєрів даних, покращення потоку даних та забезпечення безперебійного збору даних для міжфункціональних команд.

Примітка: Спонсорство працевлаштування для цієї позиції недоступне.

• Створення та підтримка оптимальної платформи даних та архітектури конвеєра даних.
• Збір великих, складних наборів даних, які відповідають як функціональним, так і нефункціональним бізнес-вимогам.
• Ідентифікація, проектування та впровадження внутрішніх процесів покращення, таких як автоматизація ручних процесів та оптимізація доставки даних.
• Створення інфраструктури для оптимальної екстракції, трансформації та завантаження (ETL) даних з різних джерел, використовуючи SQL та GCP технології великих даних.
• Співпраця зі зацікавленими сторонами, включаючи виконавче керівництво, продукт, дані та дизайн-команди для підтримки потреб інфраструктури даних.
• Розробка інструментів для аналітичної команди, щоб допомогти у створенні та оптимізації нашого продукту як лідера галузі.
• Тісна співпраця з фахівцями з даних та аналітики для покращення функціональності наших систем даних.

• Просунутий рівень роботи з SQL та NoSQL базами даних.
• Досвід створення та оптимізації конвеєрів великих даних, архітектур та наборів даних.
• Вміння проводити кореневий аналіз причин внутрішніх та зовнішніх даних і процесів.
• Сильні аналітичні навички, пов'язані з роботою з неструктурованими наборами даних.
• Здатність створювати процеси, що підтримують перетворення даних, структури даних, метадані, управління залежностями та робочим навантаженням.
• Досвід маніпулювання, обробки та отримання цінності з великих наборів даних.
• Знання систем обробки повідомлень, потокової обробки та великих сховищ даних, що масштабуються.
• Сильні навички управління проектами та організаційні навички.
• Досвід підтримки та роботи з міжфункціональними командами.
• Щонайменше 3 до 6 років досвіду на посаді Інженера даних.
• Ступінь магістра в галузі комп'ютерних наук, статистики, інформатики, інформаційних систем або іншої кількісної галузі.
• Досвід роботи з інструментами, такими як Hadoop, Spark, Kafka, та реляційними SQL і NoSQL базами даних включаючи Big Query і Cassandra.
• Досвід роботи з інструментами управління конвеєром даних та робочим процесом, такими як Airflow.
• Досвід роботи з хмарними сервісами GCP, такими як GCS, Dataproc, Dataplex, та системами потокової обробки, такими як Spark-Streaming та Storm.
• Вміння працювати з об'єктно-орієнтованими / скриптовими