Інженер з даними - Позиція віддаленої роботи

Опис компанії

Ми - глобальна команда професіоналів, які вважають, що правильні знання та підхід можуть зробити технології рішенням викликів, з якими сьогодні стикаються бізнеси. З 2016 року ми передаємо ці знання та підхід нашим клієнтам, допомагаючи їм перетворити технології на шлях до успіху.

з нашими коріннями в Швейцарії та власною командою розробників в Лімі та по всьому регіону, ми пропонуємо найкраще з обох культурних світів: талант та пристрасть латиноамериканських професіоналів в поєднанні з організаційними навичками та світоглядом Швейцарії.

Опис роботи

Bertoni Solutions шукає Інженера з даними для роботи на 100% віддалено для клієнта з США.

На цій посаді ви будете відповідальними за:

• Розробка даних для хмари Azure. Ви будете працювати з різними командами по всій організації, щоб допомогти в реалізації стратегії даних, архітектури та контролю. Ви також будете сприяти поліпшенню якості даних, продуктивності та доступності в команді інженерії даних.
• Створення рішень для даних за допомогою хмарного зберігання. Ви також будете допомагати у впровадженні додатків, які керуються даними, за допомогою служб Azure.
• Співпраця з продуктовими командами для створення та підтримки масштабованих рішень для даних. Ви також будете працювати з командами управління даними, щоб забезпечити організованість і доступність даних для додатків компанії.
• Проектування, управління та підтримка архітектури даних та потоків для служб даних організації. Ви будете працювати з архітекторами та іншими професіоналами з даними, щоб переконатися, що служби даних відповідають потребам організації, є масштабованими, надійними та споживають мінімальні ресурси.
• Проектування, створення та підтримка рішень для даних за допомогою Microsoft Azure. Ви будете працювати з інженерами та зацікавленими сторонами для розробки та оцінки рішень для даних та надавати експертні рекомендації щодо найкращих практик управління даними в Microsoft Azure. Ви також будете співпрацювати з командами продуктового управління, інженерії та операцій для того, щоб рішення для даних відповідали бізнес-цілям.

Вимоги

Ця посада доступна тільки для претендентів, які проживають або розташовані в Латинській Америці.

• 2 до 3 років досвіду або більше.
• Практичний досвід використання ADF для підключення до різних джерел (RDBMS, Salesforce, плоскі файли) та імпорт даних до ADLS.
• Практичний досвід роботи з інкрементальними та повними підходами завантаження.
• Практичний досвід роботи з напівструктурованими даними, як-от JSON.
• Практичний досвід роботи з Databricks з концепціями Delta Lake.
• Сильні навички роботи з SQL (такі як види повільної зміни [SCD], об'єднання, часткові вирази таблиць [CTEs], ієрархії, тощо).
• Практичний досвід роботи з PySpark.
• Досвід роботи з Scala та Python
• Практичний досвід роботи з Databricks Notebooks та техніками оптимізації.
• Досвід роботи з Аzure Cloud Services для інженерії даних.
• Розуміння шарів даних: сировинні, очищені та оброблені моделі.
• Досвід роботи з Databricks: програмування та автоматизація зошитів за допомогою ADF.
• Досконале володіння техніками оптимізації продуктивності Spark або PySpark коду, включаючи розподілення та кешування даних.
• Практичний досвід створення власних функцій (UDF) в Databricks і застосування їх до кадру даних.
• Здатність керувати та експлуатувати фрейми даних для завдань з інженерії даних.
• Продвинутий рівень володіння англійською мовою

Додаткова інформація

Це можливість віддаленої роботи з одним з наших поважних клієнтів в США. Початково контракт на цю посаду розрахований на 6 місяців, з можливістю подовження. Щоб відповідати вимогам клієнта, ми вимагаємо, щоб ви були доступні на повний робочий день, працюючи 8 годин на день з понеділка по п'ятницю за Східним стандартним часом (EST).