Résumé de poste

L'ingénieur de données construit des pipelines qui sont utilisés pour transporter les données d'une source de données vers un entrepôt de données. Ces pipelines sont cruciaux : ils permettent à une organisation d'accéder à ses données et de les analyser pour prendre des décisions d'affaires. Les pipelines de données transportent et transforment les données en fonction des règles d'affaires établies ou d'une ligne d'analyse exploratoire que l'entreprise souhaite entreprendre. L'ingénieur de données prépare et organise les données que les organisations ont construites dans leurs bases de données et autres formats.

Un aperçu de la routine quotidienne d'un ingénieur en visualisation de logiciels de données

Une journée dans la vie d'un ingénieur de données commence par la construction et la livraison d'architectures de données et de pipelines de haute qualité qui soutiennent les clients, les analystes d'affaires et les scientifiques de données. Un ingénieur de données interagit également avec d'autres équipes technologiques pour extraire, transformer et charger [ETL] des données à partir d'une grande variété de sources de données. Les ingénieurs de données efficaces améliorent constamment les rapports et les processus en cours, ainsi que l'automatisation ou la simplification de l'autoservice pour nos clients. Les ingénieurs de données efficaces développent, codent et déploient des scripts écrits dans le langage de programmation Python, car Python est le langage des données. Tous les ingénieurs de données sont avant tout des ingénieurs logiciel avec une compréhension du processus SDLC.

Devoirs et responsabilités essentiels

• Développer, construire, tester et maintenir des architectures de données à partir de l'architecte de données
• Analyser les données organiques et brutes
• Construire des systèmes de données et des pipelines
• Construire l'infrastructure nécessaire pour une extraction optimale, la transformation et le chargement des données à partir d'une grande variété de sources de données en utilisant SQL et les technologies "big data" d'AWS
• Développer du code et des scripts pour les architectes de données, les scientifiques de données et les ingénieurs qualité de données
• Acquisition de données
• Identifier les moyens d'améliorer la fiabilité, l'efficacité et la qualité des données
• Développer des processus de jeu de données
• Préparer les données pour la modélisation prescriptive et prédictive
• Automatiser les processus de collecte et d'analyse des données, les outils de publication de données et de rapport
• Construire des algorithmes et des prototypes
• Développer des outils et des programmes d'analyse
• Collaborer avec les scientifiques de données et les architectes sur les projets/efforts

Qualifications

• Diplôme de licence ou de master en informatique, en ingénierie ou dans un domaine connexe
• Certifié AWS Big Data - Spécialité
  • Doit avoir ou être prêt à obtenir dans les deux semaines suivant l'embauche
• Expérience avérée en tant qu'ingénieur de données, de préférence dans un environnement de services professionnels ou de conseil
• Forte maîtrise des langages de programmation tels que Python, Java ou Scala, avec une expertise dans les cadres et les bibliothèques de traitement de données (par exemple, Spark, Hadoop, SQL, etc.)
• Connaissance approfondie des systèmes de bases de données (relationnels et NoSQL), de la modélisation de données et des concepts d'entreposage de données
• Expérience avec des plateformes et services de données basés sur le cloud (par exemple, AWS, Azure, Google Cloud) y compris la familiarité avec les outils et technologies pertinents (par exemple, S3, Redshift, BigQuery, etc.)
• Compétence dans la conception et la mise en œuvre de processus ETL et de flux de travail d'intégration de données à l'aide d'outils tels que Apache Airflow, Informatica ou Talend
• Familiarité avec les pratiques de gouvernance des données, les cadres de qualité des données et les principes de sécurité des données
• Forte compétences analytiques et de résolution de problèmes, avec la capacité de traduire les exigences commerciales en solutions techniques
• Excellentes compétences en communication et en collaboration, avec la capacité de travailler efficacement avec les clients et les équipes transversales
• Autonome et proactif, avec une passion pour l'apprentissage et pour rester à jour avec les dernières tendances et avancées dans le domaine de l'ingénierie des données
• Capable de travailler avec ambiguïté et de transformer les désirs et les besoins des clients en histoires de travail, des épopées qui peuvent être exécutées lors d'un sprint. Cela signifie que les ingénieurs de données comprennent et connaissent le ‘agile’ progress de livraison de logiciels
• Une solide compréhension du processus SDLC
• Une compréhension de la programmation orientée objet
• Besoins de direction minimale
• Expérience avec AWS
• Esprit d'ingénieur de solution

Compétences indispensables

• Amazon QuickSight
• Amazon API Gateway
• Amazon Redshift

Compétences et expérience appréciées

• Une nature curieuse et une attitude interrogative lors de l'approche des problèmes
• Avoir l'attitude de ‘la bonne n'est pas assez bonne’ pour nos clients
• Certifications et/ou expérience pratique de Snowflake ou Databricks

Avantages offerts par l'entreprise

Les employés à temps plein sont éligibles pour participer à nos programmes d'avantages sociaux :

• Assurances santé, dentaires et visionnaires,
• Assurances invalidité de courte durée, invalidité de longue durée et vie,
• 401k avec contribution de l'entreprise
• Congés payés (120 heures de congés payés qui s'accumulent sur un an)
• Congés payés pour les grands jours fériés (14 jours par an)
• Ces offres et tout autre avantage social sont à la discrétion de la direction et peuvent changer à tout moment.

Fourchette salariale pour ce poste : 115 000 $ - 172 000 $

"Les fourchettes salariales fournies sont à titre informatif et peuvent varier en fonction de facteurs tels que l'expérience, les qualifications et la localisation géographique. L'offre de salaire finale sera déterminée en fonction des compétences du candidat et de son adéquation avec les exigences du poste."

Cette description de poste peut ne pas inclure toutes les tâches, responsabilités ou aspects du travail décrits, et peut être modifiée à tout moment à la seule discrétion de l'employeur. Les tâches et responsabilités sont sujettes à des modifications possibles pour accommoder raisonnablement les personnes handicapées. Pour réussir dans ce poste, les titulaires devront posséder les compétences, aptitudes et capacités nécessaires pour effectuer chaque tâche de manière compétente. Ce document ne crée pas un contrat de travail, explicite ou implicite, autre qu'une relation "à volonté". Effectual Inc. est un employeur EEO et ne fait pas de discrimination sur la base de toute classification protégée dans ses embauches, promotions ou toute autre opportunité liée à l'emploi.