Инженер по работе с данными DataOS

Инженер по данным DataOS Описание - Инженер по данным DataOS работает над новейшими достижениями в области масштабируемых решений для загрузки данных, их обработки и интеграции в части исходных данных, чтобы поддерживать бизнес-ориентированные продукты по работе с данными. В данной работе применяется разработанное знание предмета для решения распространенных и сложных бизнес-проблем в рамках установленных руководящих принципов и рекомендаций применяемых альтернатив. Работа включает решение проблем разной сложности и масштаба. Может выполнять функцию педагога или руководителя проектной группы, ориентируя деятельность команды и облегчая процесс проверки информации и принятие решений в команде. Способность к решению наиболее сложных ситуаций. Может искать советы по сложным бизнес-вопросам. Обязанности - Проектирует и создает безопасные и высокопроизводительные архитектуры данных, улучшения, обновления и изменения программирования для частей и подсистем продуктов по работе с данными, репозиториев или моделей структурированных/неструктурированных данных. Сосредоточен на разработке общих библиотек, которые сокращают время разработки и обслуживания. - Анализирует дизайн и определяет требуемые действия по кодированию, программированию и интеграции на основе общих целей и знания общей архитектуры продукта или решения. - Пишет и выполняет полные планы тестирований, протоколы и документацию для назначенной части системы данных или компонента. Идентифицирует, устраняет и создает решения для проблем с кодом и интеграцией в архитектуру системы данных. - Руководит проектной командой других инженеров по данным для разработки надежных, экономически эффективных и высококачественных решений для назначенной системы данных, модели или компонента. - Сотрудничает и общается с проектной командой относительно прогресса проекта и решения проблем. Поддерживает процессы и инструменты в рамках совместной разработки для формирования общего подхода к решению сложных проблем. - Представляет команду инженеров по данным для всех фаз более крупных и сложных проектов разработки. - Обучает и наставляет менее опытных сотрудников. Требуется сильное техническое руководство. Знания и навыки - Использует инженерные инструменты, языки (обязательно Python. Java Scala будет плюсом), и фреймворки для извлечения, очистки и изучения больших наборов данных. - Владеет SQL и облачными системами данных. Имеет опыт работы с реляционными моделями данных. - Владеет сложными, распределенными и массово параллельными облачными системами (AWS, GCP, AZURE). - Сильные аналитические и решающие проблемы навыки с возможностью представить сложные алгоритмы в программном обеспечении. - Способность проектировать системы/решения данных для управления сложными данными, которые масштабируемы и работают с высокой производительностью. - Способность увеличить производительность кода Spark. - Глубокое понимание технологий баз данных и систем управления. - Глубокое понимание облачных систем/услуг. Знание чем отличаются преимущества большого хранилища данных Lake House от склада данных. - Опыт работы с инструментами оркестровки рабочих процессов (Airflow, Jenkins) - Большой опыт работы в среде блокнота (Jupyter, DataBricks) - Опыт сбора требований от партнеров и выбора правильных технологий для выполнения требований к пропускной способности данных, которые необходимы. (Объем данных, время доставки: почасовое, ежедневное, ежемесячное или в реальном времени) - Знание в методологии тестирования архитектуры баз данных, включая выполнение планов тестирования, отладку и скрипты и инструменты тестирования. - Отличные письменные и устные навыки общения на английском и местном языках. - Способность эффективно общать архитектуры продуктов, предложения по дизайну и переговоры о вариантах на уровне руководства. Сфера и влияние - Сотрудничает с коллегами, младшими инженерами, учеными по данным и проектной командой. - Обычно взаимодействует с высококвалифицированными сотрудниками, менеджерами и командами проектов. - Руководит проектом, требующим разработки решений инженерии данных. Образование и опыт - Бакалавр или магистр в области компьютерных наук, инженерии данных, информационных систем, инженерии или эквивалент. - Обычно требуется 4-6 лет опыта работы. Работа - Программное обеспечение График - Полный день Смена - Без доплаты за смену (Соединенные Штаты Америки) Путешествия - Переезд - HP Inc. предоставляет равные возможности при найме. Мы рассматриваем кандидатов безотносительно к расе, цвету кожи, религии, полу, национальности, статусу ветерана или инвалидности.