Ingénieur de Données Azure - Travail à Distance

Description de l'entreprise

Nous sommes une équipe multinationale d'individus qui pensent qu'avec les bonnes connaissances et la bonne approche, la technologie est la réponse aux défis auxquels les entreprises sont confrontées aujourd'hui. Nous apportons ces connaissances et cette approche à nos clients depuis 2016, pour les aider à traduire la technologie en réussite.

Avec des racines suisses et notre propre équipe de développement à Lima et dans toute la région, nous offrons le meilleur des deux cultures : le talent et la passion des professionnels latino-américains alliés à l'organisation et à la mentalité suisses.

Description du poste

Bertoni Solutions cherche un Ingénieur de données pour travailler à 100% à distance pour un client américain.

Dans ce rôle, vous serez responsable de développer des solutions de données dans l’environnement cloud Azure, collaborant de manière transparente avec diverses équipes à travers l'organisation pour exécuter la stratégie de données, concevoir une architecture robuste et établir une gouvernance efficace. Vous devez posséder une expertise substantielle en Spark, Python, et une familiarité précieuse avec Scala, ainsi qu'une compréhension complète des concepts Azure Data Factory (ADF) ; de plus, vous devez démontrer une compétence à travers un éventail de technologies d'accès aux données, en montrant une habileté en SQL fort et en PySpark-SQL.

Qualifications

Ce poste n'est disponible que pour les candidats situés/vivant en Amérique latine ou en Amérique du Nord/Centrale.

• Minimum de 6 ans d'expérience.
• Expérience solide avec Scala
• Expérience pratique de l'utilisation de ADF pour se connecter à différentes sources (RDBMS, Salesforce, fichiers plats) et importer des données dans ADLS.
• Expérience pratique de la gestion des approches de chargement incrémental et de chargement complet.
• Expérience pratique de la gestion de données semi-structurées comme le JSON.
• Expérience pratique de l'utilisation de Databricks avec des concepts de delta lake.
• Fortes compétences en SQL avec (Slow Change Types [SCD], Joins, Common Table Expressions [CTEs], Hierarchies, etc.)
• Expérience pratique avec PySpark.
• Expérience pratique de l'utilisation des cahiers Databricks et des techniques d'optimisation.
• Expérience avec les services cloud Azure pour l'ingénierie des données.
• Compréhension des couches de données : modèles bruts, affinés et organisés.
• Expérience avec Databricks : programmation et automatisation des cahiers à l'aide de l'ADF.
• Optimisation des performances du code de Spark ou PySpark, incluant des techniques comme la partition et la mise en cache des données.
• Expérience pratique de la création d'une fonction définie par l'utilisateur (UDF) dans Databricks et de son application à un DataFrame.
• Gestion et opération des DataFrames pour les activités d'ingénierie des données.
• Maîtrise avancée de l'anglais.
• Souhaitable : R

Informations supplémentaires

• Excellentes compétences de communication.
• Excellentes compétences en résolution de problèmes.
• Capacités de réflexion critique.
• Souci du détail.
• Capacités de prise de décision.
• Travail en équipe.
• Capacité d'adaptation.