Старший інженер з даних (Spark та Java)

Обов'язки - Проектування, розробка та підтримка даних трубопроводів за допомогою Apache Spark для ефективної обробки та перетворення великого обсягу даних. - Співпраця з архітекторами даних та іншими зацікавленими сторонами для визначення архітектури даних та найкращих практик. - Забезпечення відповідності моделей та структур даних бізнес-вимогам та їх можливості масштабування для майбутніх потреб. - Робота над обробкою даних в реальному часі та потоковою передачею за допомогою Spark Streaming. - Оптимізація завдань Spark та коду Java з урахуванням продуктивності, масштабируємості та використання ресурсів. - Моніторинг та усунення проблем трубопроводу даних для забезпечення мінімального перерви та максимальної ефективності. - Впровадження перевірки якості даних, валідації даних та механізмів обробки помилок для підтримки цілісності даних. - Забезпечення дотримання політик управління даними та безпеки. - Документування процесів інженерії даних, потоків даних та конфігурацій для майбутнього посилання. - Співпраця з дослідниками даних, аналітиками та бізнес-зацікавленими сторонами для розуміння вимог до даних та надання рішень, які задовольняють їх потреби. - Налагодження систем моніторингу та сповіщення для превентивної ідентифікації та вирішення проблем трубопроводу даних. - Виконання регулярних технічних завдань з обслуговування та підтримка актуальності програмного забезпечення та систем. Вимоги - Бакалаврський чи вищий ступінь у галузі комп'ютерних наук, інформаційних технологій або суміжній галузі. - Знання Java для розробки програмного забезпечення. - Багаторічний досвід роботи з Apache Spark, включаючи Spark SQL та Spark Streaming. - Володіння технологіями та рамками великих даних, такими як Hadoop, HDFS та пов'язані інструменти. - Знання концепцій та технологій хранилищ даних. - Досвід роботи з системами баз даних (SQL і NoSQL). - Сильні навички вирішення проблем та здатність працювати в колаборативному, орієнтованому на команду середовищі. - Відмінні комунікаційні навички та документування. - Розуміння найкращих практик з питань безпеки даних, конфіденційності та дотримання вимог.