Інженер DataOS з даними

Інженер з даних DataOS Опис - Інженер з даних DataOS працює над передовими инноваціями в області масштабованих рішень для інгести великих даних, їхньої обробки та повноцінної інтеграції блоків даних для підтримки бізнес-орієнтованих продуктів. Ця роль передбачає застосування розробленого знання предмета для вирішення типових і складних бізнес-задач в межах встановлених критеріїв і рекомендації відповідних альтернатив. Вона включає роботу над проблемами різної складності та масштабу. Може виступати в якості тренера команди або проекту, надаючи напрямки діяльності команди та сприяючи валідації інформації та процесам прийняття рішень у команді. Судження формується в межах загально визначених політик та практик для ідентифікації та вибору рішень. Здатність справлятися з більшістю унікальних ситуацій. Може звертатися за порадою щодо вирішення складних бізнес-питань. Обов'язки - Проектує та встановлює надійні і продуктивні архітектури даних, поліпшення, оновлення та програмні зміни для деяких і підсистем продуктів для роботи з даними, репозиторіїв або моделей для структурованих/неструктурованих даних. Фокусується на розробці бібліотек для загального користування, що зменшують час розробки та обслуговування. - Аналізує проект і визначає зміни в кодуванні, програмуванні та інтеграційних діях, що потребуються, на основі загальних цілей та знань про загальну архітектуру продукту або рішення. - Пише та виконує повні плани тестування, протоколи та документацію для призначеної частини системи даних або компоненту. Виявляє, знаходить помилки і створює рішення для проблем з кодом та інтеграцією в архітектуру системи даних. - Керує проектною командою з інших інженерів з даних для розробки надійних, економічно ефективних та якісних рішень для призначеної системи даних, моделі або компонента. - Співпрацює та спілкується з командою проекту щодо прогресу проекту та вирішення проблем. Підтримує процеси та інструменти спільної розробки для сприяння спільним підходам до вирішення складних проблем. - Представляє команду інженерів з даних в усіх етапах більш великого та складнішого проекту розробки. - Надає навчання та менторську підтримку менш досвідченим співробітникам. Потрібне сильне технічне лідерство. Знання та навички - Використовує інструменти, мови (Python є обов'язковим. Java Scala є плюсом) та фреймворки інженерії даних для добування, очищення та дослідження великих наборів даних. - Володіє SQL & хмарними системами даних. Має досвід у реляційному моделюванні даних. - Володіє складними, розподіленими та надзвичайно паралельними хмарними системами (AWS, GCP, AZURE). - Має сильні аналітичні та вирішує складні задачі з можливістю відтворювати складні алгоритми у програмному забезпеченні. - Має здатність проектувати системи обробки даних/рішень для управління складними даними, які масштабуються та працюють продуктивно. - Має здатність налаштовувати продуктивність коду Spark. - Глибоке розуміння технологій баз даних і систем керування. - Глибоке розуміння хмарних систем/служб. Знання для розрізнення переваг для великих озер даних проти складів. - Досвід роботи з інструментами оркестрації робочих процесів (Airflow, Jenkins) - Великий досвід роботи в середовищі Notebook (Jupyter, DataBricks) - Досвід у зборі вимог від партнерів та виборі належних технологій для забезпечення вимог до потоку великих даних з кінця в кінець, що необхідні. (Розмір даних, час доставки: щогодинно, щоденно, щомісячно або реальний час) - Знання в області тестування архітектури бази даних, включаючи виконання планів тестування, налагодження та тестування скриптів та інструментів. - Відмінні навички письмового і усного спілкування англійською та місцевою мовами. - Здатність ефективно спілкуватися про архітектуру продукту, пропозиції з проектування та обмінюватися думками на рівні керівництва. Сфера і вплив - Співпрацює з однорівневими, молодшими інженерами, фахівцями з даних та командою проекту. - Зазвичай спілкується з висококваліфікованими фахівцями, менеджерами та командами проектів. - Керує проектом, який потребує розробки рішень для інженерії даних. Освіта та досвід - Бакалавр або магістр комп'ютерних наук, інженерії даних, інформаційних систем, інженерії або еквівалент. - Зазвичай, потрібний досвід роботи від 4 до 6 років. Робота - Програмне забезпечення Графік - Повний робочий день Зміни - Без преміальних змін (Сполучені Штати Америки) Подорожі - Переїзд - ЕЕО Теглайн - HP Inc. - це роботодавець, який дотримується принципів рівного доступу. Ми розглядаємо кандидатів, не звертаючи уваги на расу, колір шкіри, релігію, стать, національне походження, статус ветерана або інваліда.