Ingénieur de données

Job expired!

Le réseau NewRich Network recherche un ingénieur de données à temps partiel (possibilité de passer à temps plein dans 6 mois) ayant de l'expérience dans la construction d'intégrations de données en utilisant la technologie AWS et Google Cloud comme partie du portefeuille de produits de l'équipe.

Nous sommes une entreprise qui se concentre à 100% sur la fourniture d'informations et de solutions numériques à nos clients dans le monde entier. Nos projets de développement sont au cœur de notre organisation - tout comme notre équipe de développement. Nous ne sommes pas des singes codeurs ici. Nous sommes des créateurs.

Notre équipe de développement est également 100% à distance. Donc si vous cherchez une opportunité de travail à domicile, et que vous êtes passionné par la création de plateformes pour le nouveau monde - nous voulons avoir de vos nouvelles!

Exigences

Concevoir et construire des applications qui effectuent des analyses de données, des transformations, des agrégations et d'autres augmentations sur de grands ensembles de données dans un environnement AWS basé sur spark (EMR, S3, Glue, Redshift, Athena)
Évaluer divers modèles, outils et environnements de pipeline et les mettre en œuvre pour pousser les données de nos sources à travers vos transformations et finalement à nos clients
Travailler avec les équipes de gestion de produits et de recherche de données pour prototyper et tester de nouvelles idées puis les amener à la production
Travailler dans un environnement rapide, d'innovation et de test.

Ce que vous ferez :

Collaborer avec des architectes de données, des architectes d'entreprise, des consultants en solutions et des équipes d'ingénierie de produits pour recueillir les exigences d'intégration de données des clients, conceptualiser des solutions et construire la pile technologique requise
Collaborer avec l'équipe d'ingénierie du client pour identifier les sources de données, profiler et quantifier la qualité des sources de données, développer des outils pour préparer les données et construire des pipelines de données pour intégrer les sources de données des clients et les sources de données tierces.

Développer de nouvelles fonctionnalités et améliorer les intégrations de données existantes avec l'écosystème de données du client

Encourager l'équipe à penser hors des sentiers battus et à surmonter les obstacles de l'ingénierie tout en intégrant de nouveaux principes de conception innovants.
Collaborer avec un chef de projet pour facturer et prévoir le temps pour les solutions du propriétaire du produit

Construire des pipelines de données
Réconcilier les données manquantes
Acquérir des ensembles de données qui correspondent aux besoins de l'entreprise
Développer des algorithmes pour transformer les données en informations utiles et exploitables
Construire, tester et maintenir les architectures de pipeline de base de données
Collaborer avec la direction pour comprendre les objectifs de l'entreprise
Créer de nouvelles méthodes de validation des données et des protocoles d'analyse des données
Assurer la conformité avec les politiques de gouvernance des données et de sécurité

Ce dont vous avez besoin pour réussir :

4 + ans d'expérience en ingénierie de données
Excellentes compétences en communication et en relations interpersonnelles sont IMPÉRATIVES.
Baccalauréat en Informatique, Ingénierie ou une discipline connexe - Préféré mais pas obligatoire
3+ années d'expérience de travail sur des applications Apache Spark utilisant Python (PySpark) ou Scala
Expérience dans la création de travaux spark qui travaillent sur au moins 1 milliard d'enregistrements
Solide connaissance de l'architecture et des normes ETL
Expérience de développement de logiciels avec Apache Airflow, Spark, MongoDB, MySQL
Solide connaissance de SQL
Commande solide de Python
Expérience de la création de pipelines de données dans un système de production
Expérience avérée dans la construction/le fonctionnement/la maintenance d’intégrations de traitement de données tolérantes aux pannes et évolutives à l’aide d’AWS
Expérience de l'utilisation de Docker ou Kubernetes est un plus
Capacité à identifier et à résoudre les problèmes associés aux workflows de traitement de données à grande échelle de production
Expérience de la conception et de la maintenance de tests unitaires et d'intégration continue.
Passion pour la création de pipelines de données intelligents que les équipes aiment utiliser
Capacité forte à gérer de nombreux projets est un must