Senior, Data Engineer

Короткий опис посади: Приєднуйтесь до інноваційної групи Walmart Advertising Technology, яка з'єднує бренди постачальників із роздрібними покупцями в безпрецедентних масштабах. Як частина нашої інженерної команди Display Ads Server для бекенд-сервісів, ви будете розробляти платформи омні-реклами наступного покоління для забезпечення продуктивності та цінності. Ця практична роль передбачає володіння основними компонентами нашого рішення для дисплейної реклами, узгодження з іншими командами та прийняття ключових архітектурних і технологічних рішень.

• Розробка конвеєрів даних для об'єднання даних журналів, що надходять від наших різних мікросервісів бекенду.
• Розширення існуючих конвеєрів даних та інтеграція нових джерел даних для отримання нових висновків.
• Розробка перевірок якості даних для виявлення прогалин у даних і повідомлення відповідних команд.
• Створення панелей моніторингу якості даних для відстеження їхньої якості.
• Керівництво проєктами, що мають високу видимість у всій організації.
• Наставництво та керівництво середнім і молодшим інженерам.
• Демонструвати свої знання як винятковий та досвідчений програміст.

• Ступінь бакалавра/магістра в галузі комп'ютерних наук або суміжних дисциплін.
• 5+ років досвіду у розробці технологій великих даних/конвеєрів даних.
• Експертиза в одній або кількох мовах програмування (Python, Java тощо).
• Професіоналізм у керуванні та обробці наборів даних терабайтного масштабу.
• Експертиза в технологіях великих даних, таких як Hadoop, Apache Spark, Apache Hive або подібні фреймворки.
• Сильні навички інтеграції даних із різних джерел.
• Сильні навички моделювання даних.
• Досвід роботи з великомасштабними базами даних.
• Здатність очищати та трансформувати дані з різних джерел.
• Вміння оптимізувати запити для покращення продуктивності.
• Розуміння принципів розподілених обчислень.
• Знання кращих практик безпеки даних та конфіденційності.
• Сильні навички вирішення проблем та усунення несправностей.
• Ефективні комунікативні та колабораційні навички.
• Бажання постійно вчитися та адаптуватися до нових технологій.

Технології: HDFS, Spark/Hive, Kafka, Apache Parquet, Avro, GCS, GCP, BigQuery, Python.

Бажано мати: Попередній досвід у рекламній сфері.

Приєднуйтесь до команди, де одн рядок коду може змінити життя сотень мільйонів людей. Як частина Walmart Global Tech, ви будете працювати разом із програмістами, спеціалістами з обробки даних, експертами з кібербезпеки та професіоналами з обслуговування у провідній роздрібній компанії світу. Тут ви будете інноваційно працювати в великому масштабі, впливати на мільйони та переосмислювати майбутнє роздрібної тор