Data Engineer III

Назва компанії: Roswell Park Comprehensive Cancer Center

Посада: Data Engineer III

Приєднуйтеся до нашої команди експертів у Finance Data Factory на посаді Data Engineer. Ми шукаємо кваліфікованого професіонала для розширення, оптимізації та підтримки нашої архітектури даних і конвеєра. Ідеальний кандидат буде мати досвід у створенні конвеєрів даних та оптимізації систем даних.

Зверніть увагу: Спонсорство зайнятості недоступне для цієї позиції.

Що ви будете робити

• Створювати та підтримувати оптимальну платформу даних та архітектуру конвеєра.
• Складати великі, складні набори даних, що відповідають функціональним та нефункціональним бізнес-вимогам.
• Визначати, проектувати та впроваджувати внутрішні процеси для автоматизації та оптимізації доставки даних.
• Будувати інфраструктуру, необхідну для оптимального вилучення, трансформації та завантаження даних з різних джерел за допомогою SQL та технологій GCP.
• Співпрацювати зі зацікавленими сторонами, включаючи виконавчі, продуктові, аналітичні та дизайнерські команди, для вирішення технічних проблем, пов'язаних з даними, та підтримки потреб інфраструктури даних.
• Створювати інструменти для аналітичних членів команди, допомагаючи оптимізувати наш продукт.
• Партнерство з експертами з даних та аналітики для покращення функціональності наших систем даних.

Що ви принесете

• Розширені знання SQL та NoSQL баз даних.
• Досвід у створенні та оптимізації «великих даних» конвеєрів, архітектур та наборів даних.
• Вміння проводити аналіз основних причин на внутрішніх та зовнішніх даних і процесах.
• Сильні аналітичні навички для роботи з невпорядкованими наборами даних.
• Досвід у трансформації даних, метаданих, керування залежностями та навантаженнями.
• Досвід з чергами повідомлень, обробкою потоків та масивами «великих даних», що масштабуються.
• Сильні навички управління проектами та організаційні здібності.
• Сильне взаємодія у різнофункціональних командах у динамічному середовищі.

Ми шукаємо кандидатів з 3-6 роками досвіду на посаді Data Engineer та дипломом магістра з комп'ютерних наук, статистики, інформатики, інформаційних систем або іншої кількісної галузі. Суттєвий досвід з такими інструментами:

• Інструменти для роботи з великими даними: Hadoop, Spark, Kafka.
• Реляційні SQL та NoSQL бази даних: Big Query, Cassandra.
• Інструменти для управління конвеєрами даних та робочими процесами: Airflow.
• Хмарні сервіси GCP: GCS, Dataproc, Dataplex.
• Системи обробки потоків: Spark-Streaming, Storm.
• Скриптові мови об'єктно-орієнтованого програмування: Python, Scala.

У Walmart Global Tech ми створюємо рішення, які покращують життя мільйонів людей. Наша команда складається з програмних інженерів, дослідників дан