Résumé du poste

L'ingénieur de données construit des pipelines qui sont utilisés pour transporter des données d'une source de données à un entrepôt de données. Ces pipelines sont cruciaux : ils permettent à une organisation d'accéder à ses données et de les analyser pour prendre des décisions commerciales. Les pipelines de données transportent et transforment les données selon les règles commerciales établies ou une ligne d'analyse exploratoire que l'entreprise souhaite entreprendre. L'ingénieur de données prépare et organise les données que les organisations ont construites dans leurs bases de données et autres formats.

Un aperçu de la routine quotidienne d'un ingénieur en apprentissage automatique

Une journée dans la vie d'un ingénieur de données commence par la construction et la livraison d'architectures de données et de pipelines de haute qualité qui soutiennent les clients, les analystes commerciaux et les scientifiques de données. Un ingénieur de données interfère également avec d'autres équipes technologiques pour extraire, transformer et charger [ETL] des données provenant d'une grande variété de sources de données. Les ingénieurs de données efficaces améliorent continuellement les rapports et les processus en cours, ainsi que l'automatisation ou la simplification de l'auto-service pour nos clients. Les ingénieurs de données efficaces développent, codent et déploient des scripts écrits dans le langage de programmation Python, car Python est le langage des données. Tous les ingénieurs de données sont avant tout des ingénieurs logiciels avec une compréhension du processus SDLC.

Devoirs et responsabilités essentiels

• Développer, construire, tester et maintenir des architectures de données à partir de l'architecte de données
• Analyser les données organiques et brutes
• Construire des systèmes de données et des pipelines
• Construire l'infrastructure nécessaire pour une extraction optimale, la transformation et le chargement des données provenant d'une grande variété de sources de données en utilisant les technologies SQL et AWS 'big data'
• Développer des codes et des scripts pour les architectes de données, les scientifiques de données et les ingénieurs de qualité de données
• Acquisition de données
• Identifier les moyens d'améliorer la fiabilité, l'efficacité et la qualité des données
• Développer des processus de jeu de données
• Préparer les données pour la modélisation prescriptive et prédictive
• Automatiser les processus de collecte et d'analyse des données, les outils de diffusion des données et de reporting
• Construire des algorithmes et des prototypes
• Développer des outils et des programmes analytiques
• Collaborer avec les scientifiques et les architectes de données sur des projets/efforts

Qualifications

• Un diplôme de licencié ou de maître en informatique, en ingénierie ou dans un domaine connexe
• Certification AWS Big Data - Spécialité
  • Doit avoir ou être prêt à obtenir dans les deux semaines suivant l'embauche
• Plus de 5 ans d'expérience avérée en tant qu'ingénieur de données, de préférence dans un environnement de services professionnels ou de conseil
• Une forte compétence dans les langages de programmation tels que Python, Java ou Scala, avec une expertise dans les cadres et les bibliothèques de traitement de données (par exemple, Spark, Hadoop, SQL, etc.)
• Une connaissance approfondie des systèmes de bases de données (relationnelles et NoSQL), de la modélisation des données et des concepts d'entreposage de données
• Expérience avec les plates-formes et services de données basés sur le cloud (par exemple, AWS, Azure, Google Cloud) y compris la familiarité avec les outils et technologies pertinents (par exemple, S3, Redshift, BigQuery, etc.)
• Aptitude à concevoir et à mettre en œuvre des processus ETL et des workflows d'intégration de données en utilisant des outils tels qu'Apache Airflow, Informatica ou Talend
• Familiarité avec les pratiques de gouvernance des données, les cadres de qualité des données et les principes de sécurité des données
• De solides compétences en analyse et en résolution de problèmes, avec la capacité de traduire les exigences commerciales en solutions techniques
• Excellentes compétences en communication et en collaboration, avec la capacité de travailler efficacement avec les clients et les équipes interfonctionnelles
• Autonome et proactif, avec une passion pour l'apprentissage et le maintien à jour des dernières tendances et évolutions dans le domaine de l'ingénierie des données
• Aptitude à travailler avec l'ambiguïté et à transformer les désirs et besoins des clients en histoires de travail, en épiques qui peuvent être exécutées lors d'un sprint. Cela signifie que les ingénieurs de données comprennent et connaissent le processus de livraison de logiciels 'agiles'
• Une compréhension solide du processus SDLC
• Une compréhension de la programmation orientée objet
• Nécessite une direction minimale
• AWS background
• Esprit d'ingénieur de solution

Compétences indispensables

• AWS Glue
• AWS Lake Formation
• AWS Step Functions
• Amazon Redshift
• Amazon S3

Compétences et expérience souhaitables

• Une nature curieuse et une attitude d'investigation lors de l'approche des problèmes
• Avoir l'attitude que 'bien n'est pas assez bon' pour nos clients
• Certifications Snowflake ou Databricks et/ou expérience pratique

Avantages offerts par l'entreprise

Les employés à temps plein sont éligibles pour participer à nos programmes d'avantages sociaux :

• Assurances santé, dentaire et visuelle
• Assurances d'invalidité à court terme, d'invalidité à long terme et d'assurance-vie
• 401k avec contribution de l'entreprise
• Temps libre payé (PTO) (120 heures de PTO qui s'accumulent sur une année)
• Congés payés pour les jours fériés majeurs (14 jours par an)
• Ces offres d'avantages sociaux et toutes autres peuvent être modifiées à tout moment à la discrétion de la direction.

Fourchette de salaires pour ce poste : de 104,900 à 149,800 $

CA ID : IT10000584B

"Les fourchettes de salaires fournies sont à titre informatif uniquement et peuvent varier en fonction de facteurs tels que l'expérience, les qualifications et l'emplacement géographique. L'offre de salaire de départ finale sera déterminée en fonction des compétences du candidat et de l'alignement avec les exigences du poste."

Cette description de poste peut ne pas comprendre toutes les tâches, responsabilités ou aspects du travail décrits, et peut être modifiée à tout moment à la seule discrétion de l'employeur. Les tâches et responsabilités peuvent être modifiées pour tenir compte des personnes handicapées. Pour réussir à ce travail, les titulaires posséderont les compétences, aptitudes et capacités nécessaires pour exécuter chaque tâche de manière compétente. Ce document ne crée pas de contrat de travail, implicite ou autre, autre qu’une relation "à volonté". Effectual Inc. est un employeur EEO et ne pratique pas de discrimination en matière d'embauche, de promotion ou toute autre opportunité liée à l'emploi en raison d'une classification protégée.