Architecte de données

Résumé du poste
Chez Effectual, les ingénieurs de données sont responsables de la conception, de la construction et de la maintenance des ensembles de données qui peuvent être utilisés dans les projets de données. À ce titre, ils travaillent en étroite collaboration avec les data scientists, les architectes de données et les professionnels de la gouvernance des données. Les ingénieurs de données conçoivent, mettent en œuvre et maintiennent des pipelines de données modernes. Par conséquent, nous recherchons un ingénieur Databricks senior qui considère MLOPS comme leur mission primordiale.

Les projets typiques se concentrent sur des domaines tels que :

• Construction de pipelines de données modernes
• Prise en charge des sources de données brutes et méthodes ETL
• Ingénierie des features
• Changement et tests de modèles
• Déploiement d'analyses

Pourquoi rejoindre Effectual?
Effectual est une entreprise de services professionnels et gérés moderne, orientée vers le cloud, qui travaille avec des entreprises commerciales et le secteur public pour atténuer leurs risques et permettre la modernisation de l'IT. Nous sommes une équipe de résolveurs de problèmes passionnés et expérimentés qui appliquent des méthodologies éprouvées aux défis commerciaux sur Amazon Web Services et VMware Cloud sur AWS. Effectual a été nommé Partenaire de croissance VMware Cloud sur AWS de l'année par AWS lors de re:Invent 2021. La société a remporté le prix du Fournisseur de services cloud de l'année aux Channel Innovation Awards 2021.

Effectual est un partenaire MSP AWS validé, détenant plus de 200 certifications AWS. Nous avons obtenu les compétences AWS Migration, AWS DevOps, AWS Mobile, AWS SaaS, AWS Government et AWS Nonprofit. Effectual est membre des programmes AWS Well-Architected et AWS Public Sector Partner ainsi que des programmes AWS GovCloud (US) et Authority to Operate on AWS. De plus, Effectual est un partenaire principal VMware pour VMware Cloud sur AWS.
Les employés de Effectual bénéficient d'une culture inclusive, amusante et rythmée. Nous proposons des stratégies cloud & conception, développement d'applications, migrations, données & analyses et gestion cloud moderne ce qui signifie que vous n'aurez peut-être jamais à quitter la société si vous voulez en apprendre davantage et essayer quelque chose de nouveau. De plus, nous proposons des assurances médicales, dentaires, optiques, animaux et vie, ainsi que des congés payés, 14 jours fériés et un 401k avec contribution de l'entreprise. Envisagez de rejoindre notre équipe aujourd'hui !

Devoirs et responsabilités essentiels

Les fonctions essentielles comprennent, sans s'y limiter, les suivantes:

• Construire, déployer, tester et maintenir les architectures de données et les pipelines dans le cadre de Databricks, notamment, mais sans s'y limiter (Delta Lake et Unity Catalog) et les écosystèmes AWS.       
• Analyser et organiser les données brutes.     
• Construire l'infrastructure nécessaire pour une extraction, transformation et chargement optimaux des données à partir d'une grande variété de sources de données en utilisant Databricks, les technologies 'big data' de AWS et SQL.     
• Développer des codes et des scripts pour les architectes de données, les data scientists et les ingénieurs qualité des données.       
• Effectuer l'acquisition de données.  
• Développer des processus de traitement des données.
• Identifier des moyens d'améliorer la fiabilité, l'efficacité et la qualité des données.
• Préparer les données pour la modélisation prescriptive et prédictive.  
• Automatiser les processus de collecte et d'analyse des données, de publication des données et des outils de reporting.       
• Construire des algorithmes et des prototypes.
• Développer des outils et des programmes analytiques.      
• Collaborer avec les data scientists et les architectes. 

Compétences et expériences essentielles

• Doit avoir plus de 5 ans d'expérience avec Databricks, AWS, SQL, RDS, NoSQL, la conception de bases de données, les langages de programmation (Scala et/ou Python).
• Une connaissance avancée et une compétence technique avec ETL, l'entreposage de données basé sur le cloud, et Apache Spark.
• Une solide connaissance des services spécifiques d'AWS, y compris Lake Formation, Amazon Aurora, Amazon Data Pipeline, Amazon Athena, Glue, Amazon S3, Amazon DynamoDB, Amazon Relational Database Service (RDS), Amazon Elastic Map Reduce (EMR), Amazon Kinesis, Database Migration Services et Amazon Redshift.
• Familiarité et compréhension des outils courants d'ingénierie des données, comme : Apache Spark, Apache Airflow, Apache Lite, Apache Kafka, dbt, great_expectations·
• Un fort désir d'utiliser un cadre de "hiérarchie des besoins en analytique" :
• Collecter/Nettoyer/Définir & Suivre/Analyser/Optimiser & Prédire
• Excellentes compétences en communication orale et écrite, avec la capacité de travailler efficacement au sein de l'organisation interne et externe.
• Capacité démontrée à penser stratégiquement à propos des défis commerciaux, des produits et des défis techniques. 
• • Le Databricks Certified Data Engineer Associate ou le Databricks Certified Data Engineer Professional (Professional est préféré)
  Et