Big Data Engineer

Présentation du poste :

NorthBay Solutions recherche activement des Ingénieurs en Big Data expérimentés ayant de 2 à 3 ans d'expérience ou plus pour renforcer notre équipe dynamique. Les candidats idéaux mettront en avant une solide expérience en ingénierie des données, en mettant l'accent sur des solutions basées sur le cloud à la pointe de la technologie avec une compétence robuste en SQL. Ce rôle crucial implique la conception, la mise en œuvre et la maintenance de pipelines de données pour le traitement des données par lots et en streaming, et nécessite un dépannage efficace des problèmes de données.

Rejoignez-nous à nos emplacements à Lahore, Karachi ou Islamabad. Ce poste offre une configuration de travail hybride, permettant une combinaison de travail en bureau et à distance pour mieux s'adapter à vos besoins.

L'Ingénieur en Big Data aura pour responsabilités de :

• Concevoir, mettre en œuvre et maintenir les processus ETL/ELT, cruciaux pour le traitement des données par lots et en streaming.
• Développer et peaufiner les pipelines de données en utilisant des solutions d'entrepôts de données et de lacs de données dans le cloud de premier ordre, telles que Snowflake, BigQuery, Redshift et Azure Synapse.
• Diagnostiquer et résoudre les problèmes de données, en offrant des remèdes immédiats et en s’attaquant aux causes sous-jacentes pour une performance durable.
• Utiliser les outils AWS incluant S3, DMS, Glue et Athena pour construire des solutions de données fiables et évolutives.
• Collaborer avec des équipes interfonctionnelles pour comprendre précisément les exigences en matière de données, en élaborant des solutions sur mesure qui favorisent les objectifs commerciaux.
• Utiliser des outils de transformation tels que dbt pour modéliser et transformer efficacement les données pour l'analyse et les rapports.

Le candidat doit avoir :

• Un diplôme de Bachelor en informatique, ingénierie ou discipline connexe.
• Plus de 3 ans d’expérience professionnelle en ingénierie des données.
• Une maîtrise avancée de SQL et une familiarité étendue avec les entrepôts de données modernes dans le cloud et les lacs de données.
• Un excellent parcours dans le diagnostic et la résolution de problèmes liés aux données.
• Une maîtrise des services AWS incluant S3, DMS, Glue, et Athena.
• Une expérience avec dbt ou des outils de transformation de données similaires.

Nous apprécions également des compétences supplémentaires telles que :

• Une maîtrise de la programmation Python.
• Une expérience avec des outils d'infrastructure en tant que code tels que Terraform et Terragrunt.
• Une familiarité avec des outils d'orchestration tels que Dagster, Airflow et AWS Step Functions.
• Une compréhension des cadres de pub-sub, de mise en file d'attente et de streaming tels que AWS Kinesis, Kafka, SQS et SNS.
• Des connaissances des pipelines CI/CD et des pratiques d'automatisation.

NorthBay Solutions offre une opportunité stimulante pour des Ingénieurs en Big Data passionnés par l'innovation et la croissance dans le domaine du traitement et de l'analyse des données. Postulez dès aujourd'hui pour devenir partie d'une équipe qui valorise la technologie et les solutions à la pointe du marché.