Ingénieur de Données - Travail à Distance

Description de l'entreprise

Nous sommes une équipe multinationale de personnes qui croient qu'avec les bonnes connaissances et la bonne approche, la technologie est la réponse aux défis auxquels les entreprises sont confrontées aujourd'hui. Depuis 2016, nous transmettons ces connaissances et cette approche à nos clients, les aidant à transformer la technologie en succès.

Avec des racines suisses et notre propre équipe de développement à Lima et dans toute la région, nous offrons le meilleur des deux cultures : le talent et la passion des professionnels d'Amérique latine combinés à l'organisation et à l'état d'esprit suisses.

Description du poste

Bertoni Solutions recherche un ingénieur de données pour travailler à 100% à distance pour un client américain.

Dans ce rôle, vous serez responsable de :

• Développer des solutions de données pour le cloud Azure. Ils travaillent avec diverses équipes de l'organisation pour aider à mettre en œuvre la stratégie de données, l'architecture et la gouvernance. Ils travaillent également au sein de l'équipe d'ingénierie des données pour améliorer la qualité des données, les performances et la disponibilité.
• Responsable de la création de solutions de données utilisant le stockage basé sur le cloud. Ils aident également à déployer des applications basées sur les données en utilisant les services Azure.
• Ils travaillent avec les équipes de produits pour construire et maintenir des solutions de données évolutives. Ils travaillent également avec les équipes de gestion des données pour garantir que les données sont organisées et accessibles aux applications de l'entreprise.
• Responsable de la création, de la gestion et du maintien de l'architecture des données et des pipelines pour les services de données d'une organisation. Ils travaillent avec les architectes et d'autres professionnels des données pour veiller à ce que les services de données répondent aux besoins de l'organisation. Ils s'efforcent également de garantir que les services de données sont évolutifs, fiables et utilisent un minimum de ressources.
• Responsable de la conception, de la construction et de la maintenance de solutions de données en utilisant Microsoft Azure. L'ingénieur de données travaillera avec les ingénieurs et les parties prenantes pour développer et évaluer les solutions de données et fournir une orientation experte sur les meilleures pratiques pour la gestion des données dans Microsoft Azure. L'ingénieur de données travaillera également avec les équipes de gestion de produits, d'ingénierie et d'exploitation pour veiller à ce que les solutions de données répondent aux objectifs commerciaux.

Qualifications

Ce poste n'est disponible que pour les candidats situés/résidant en Amérique latine.

• 2 à 3 ans d'expérience ou plus.
• Expérience pratique de l'utilisation de ADF pour se connecter à différentes sources (RDBMS, Salesforce, fichiers plats) et apporter des données dans ADLS.
• Expérience pratique de la gestion des approches de chargement incrémental et de chargement complet.
• Expérience pratique de la gestion des données semi-structurées comme JSON.
• Expérience pratique de l'utilisation de Databricks avec les concepts de Delta Lake.
• Forte compétence en SQL avec (Slow Change Types [SCD], Joins, Common Table Expressions [CTEs], Hiérarchies, etc.).
• Expérience pratique avec PySpark.
• Expérience avec Scala et Python
• Expérience pratique de l'utilisation des carnets de notes Databricks et des techniques d'optimisation.
• Expérience avec les services cloud Azure pour l'ingénierie des données.
• Compréhension des couches de données : modèles bruts, raffinés et organisés.
• Expérience avec Databricks : programmation et automatisation des carnets de notes en utilisant ADF.
• Optimisation des performances du code Spark ou PySpark, y compris des techniques telles que la partition et la mise en cache des données.
• Expérience pratique de la création d'une fonction définie par l'utilisateur (UDF) dans Databricks et de la manière dont elle peut être appliquée à un cadre de données.
• Gestion et exploitation des DataFrames pour les activités d'ingénierie des données.
• Compétence avancée en anglais

Informations supplémentaires

C'est une opportunité à distance de collaborer avec l'un de nos précieux clients aux Etats-Unis. Initialement, le contrat pour ce poste est pour 6 mois, avec la possibilité de prolongation. Pour répondre aux attentes du client, nous vous demandons d'être disponible à plein temps, travaillant 8 heures par jour, du lundi au vendredi en EST.