Инженер по данным - Удаленная позиция

Описание компании

Мы - глобальная команда профессионалов, убежденных в том, что с помощью правильных знаний и подхода технологии могут стать решением проблем, с которыми сталкиваются бизнесы сегодня. С 2016 года мы предлагаем наши знания и подход нашим клиентам, помогая им превратить технологии в путь к успеху.

Наши корни в Швейцарии, а собственная команда разработчиков находится в Лиме и по всему региону, и мы предлагаем лучшее из двух культурных миров: талант и страсть латиноамериканских профессионалов в сочетании с швейцарскими организационными навыками и мышлением.

Описание работы

Компания Bertoni Solutions ищет Инженера по данным для 100% удаленной работы с клиентом из США.

На этой роли вы будете ответственны за:

• Разработку решений для облачной среды Azure. Вы будете работать с различными командами по всей организации, помогая реализовать стратегию, архитектуру и управление данными. Вы также будете стимулировать улучшения в области качества, производительности и доступности данных внутри команды инженеров по данным.
• Создание решений для данных с использованием облачного хранения. Вы также будете помогать в развертывании приложений, основанных на данных, с использованием сервисов Azure.
• Сотрудничество с командами разработки продуктов для создания и поддержания масштабируемых решений для данных. Вы также будете работать с командами управления данными, чтобы обеспечить организованность и доступность данных для приложений компании.
• Проектирование, управление и поддержание архитектуры данных и конвейеров для сервисов организации по работе с данными. Вы будете работать с архитекторами и другими профессионалами по данным, чтобы гарантировать что сервисы данных соответствуют потребностям организации, масштабируемы, надежны и потребляют минимум ресурсов.
• Проектирование, создание и поддержка решений для данных с использованием Microsoft Azure. Вы будете работать с инженерами и заинтересованными сторонами для разработки и оценки решений для данных и предоставлять экспертные рекомендации по лучшим практикам управления данными в Microsoft Azure. Вы также будете сотрудничать с командами управления продуктами, инженерии и операций, чтобы обеспечить соответствие решений для данных бизнес-целям.

Квалификация

Эта позиция доступна только для соискателей, проживающих или находящихся в Латинской Америке.

• Опыт работы 2-3 года или больше.
• Практический опыт работы с ADF для подключения к различным источникам (RDBMS, Salesforce, flat files) и импорта данных в ADLS.
• Практический опыт работы с подходами инкрементальной и полной загрузки.
• Практический опыт работы с полуструктурированными данными, такими как JSON.
• Практический опыт использования Databricks с концепциями Delta Lake.
• Высокий уровень навыков SQL (Slow Change Types [SCD], Joins, Common Table Expressions [CTEs], Hierarchies и т.д.)
• Практический опыт работы с PySpark.
• Опыт работы с Scala и Python.
• Практический опыт работы с ноутбуками Databricks и техниками оптимизации.
• Опыт работы с Облачными сервисами Azure для инжиниринга данных.
• Понимание Слоев Данных: Raw, Refined и Curated Models.
• Опыт работы с Databricks: программирование и автоматизация ноутбуков с использованием ADF.
• Владение техниками оптимизации производительности кода Spark или PySpark, включая техники разделения и кэширования данных.
• Практический опыт создания пользовательских функций (UDF) в Databricks и применения их к фрейму данных.
• Способность управлять и работать с DataFrames для задач инжиниринга данных.
• Продвинутые знания английского языка

Дополнительная информация

Это возможность работы на удаленке с одним из наших уважаемых клиентов в США. Изначально контракт для этой позиции составляет 6 месяцев, но с возможностью продления. Для выполнения требований клиента нам нужно, чтобы вы были доступны на полный рабочий день, работая 8 часов в день с понедельника по пятницу по восточному стандартному времени (EST).