(USA) Data Engineer III - Data Ventures

Вас драйвить невичерпна енергія та пристрасть до обробки даних для вирішення динамічних проблем, які формують майбутнє роздрібної торгівлі? У Walmart ви працюватимете з одними з найбільших наборів великих даних, щоб розкрити потенціал роздрібної науки про дані. Як інженер даних Walmart, ви створюватимете та підтримуватимете конвеєри даних, дозволяючи нашим науковцям та аналітикам ефективно використовувати цільові та цінні активи даних.

Наша команда у Data Ventures зосереджена на розробці багаторазових технологій для покращення залучення клієнтів, інтеграції та розширення можливостей торговців. Ми забезпечуємо безперебійні враження на всіх каналах, включаючи магазини, мобільні додатки та вебсайти, оптимізуючи тарифи та асортименти відповідно до філософії Walmart "Щодня низькі ціни". Наша основна мета - запропонувати негайні рішення продавцям US Marketplace, взаємодіючи з кількома командами по всій компанії.

Витягуйте дані з визначених баз даних, створюйте конвеєри даних та трансформуйте дані для вирішення проблем, обираючи відповідні техніки. Слідкуйте за поточними трендами у аналітиці.

Розумійте вимоги та угоди про рівень обслуговування, щоб визначити найкраще джерело даних. Виконуйте початкову перевірку якості даних на витягнутих даних.

Аналізуйте складні елементи даних та системи, щоб сприяти концептуальним, фізичним та логічним моделям даних. Визначайте реляційні таблиці, первинні та зовнішні ключі, а також збережені процедури для створення структури моделі даних, забезпечуючи ефективні потоки даних.

Пишіть код для необхідних рішень та функцій додатків, перевіряйте запропоновані конструктивні рішення, створюйте прототипи та впроваджуйте програмне забезпечення на виробничі сервери. Допомагайте з документуванням коду та надавайте своєчасні оновлення про хід роботи.

Надавайте рекомендації для вирішення складних бізнесових питань, розробляйте бізнес-кейси із прогнозованою рентабельністю інвестицій, перекладайте бізнес-вимоги в проекти та рекомендуйте нові процеси та способи роботи.

Встановлюйте, змінюйте та документуйте проекти управління даними. Впроваджуйте практики управління даними та навчайте інших процесам, практикам та політикам. Надавайте оновлення та внески до політик управління.

- Експертиза у Hadoop, Spark, Cloud, Python/PySpark, Java, Streaming, та Kafka.
- Досвід написання коду принаймні однією мовою програмування (наприклад, Scala, Python).
- Досвід роботи з платформами обчислень у хмарі (наприклад, GCP, Azure).
- Вміння моделювати та мігрувати дані.
- Досвід роботи з сховищами даних, інструментами бізнес-аналітики та інтеграції, такими як Automic та Airflow.
- Знання побудови масштабованих рішень для великих даних та екосистем ETL.

- Знайомство зі Databricks.
- Практичні знання NoSQL (наприклад, Cosmos DB) та RDBMS (наприклад, MySQL, Postgres).
- Досвід роботи з платформами обміну повідомленнями, такими як Kafka.
- Здатність налаштувати ефективні процеси для розробки програмного забезпечення, прийому вимог та оцінки зусиль.
- Міцні навички творчого, критичного мислення та вирішення проблем.