DataOps -

Offre d'emploi d'ingénieur DataOps chez Alter Solutions

Description du poste

Responsabilités principales

Réponse aux incidents :

• Comprendre et résoudre efficacement les problèmes des utilisateurs.
• Reproduire et diagnostiquer les bugs ou problèmes rencontrés par les utilisateurs.
• Effectuer une analyse des causes profondes pour résoudre rapidement les problèmes.
• Identifier, corriger, tester et communiquer la résolution aux utilisateurs finaux.
• Documenter les étapes de résolution et aider l'équipe à suivre tous les problèmes avec des rapports post-mortem.
• Surveiller les flux et l'infrastructure actuels, gérer les bugs/problèmes au fur et à mesure qu'ils apparaissent via la surveillance et les alertes.

Maintenance :

• Surveiller constamment les flux et l'infrastructure pour tout problème potentiel.
• Mettre à jour les configurations pour maintenir des opérations fluides.

Optimisation de la base de données :

• Utiliser des tableaux de bord pour suivre les coûts et les temps de traitement.
• Alerter les utilisateurs sur les méthodes de requête inefficaces qui augmentent les coûts.
• Identifier et optimiser les tâches, les vues et les tables pour de meilleures performances et une efficacité accrue des coûts.

Gestion de l'infrastructure :

• Gérer l'infrastructure en utilisant Terraform.
• Proposer et partager les meilleures pratiques de l'industrie.
• Désactiver les infrastructures inutiles telles que les services redondants, les tables ou les machines virtuelles.

Déploiements :

• Coordonner les déploiements futurs avec les architectes de données et participer aux revues de déploiement.
• Préconiser et partager les meilleures pratiques de déploiement.
• Soutenir les ingénieurs de données tout au long du processus de déploiement et de la période de surveillance active qui suit.
• Assurer le strict respect des protocoles de déploiement, des stratégies de journalisation et de surveillance.
• Intégrer les nouveaux flux déployés dans le processus en cours.

Compétences techniques requises

• Google Cloud Platform : Compréhension approfondie avec au moins un an d'expérience.
• Apache Airflow : Minimum de deux ans d'expérience, la connaissance de Google Composer est un atout.
• Google BigQuery : Expérience significative d'au moins 4 ans, incluant l'optimisation des tables et des requêtes et la conception de l'architecture de la base de données.
• Terraform : Deux ans d'expérience et familiarité avec les meilleures pratiques GitOps.
• Apache Spark : Expertise optionnelle mais appréciée, certaines pipelines utilisent pySpark.

Connaissances et expériences supplémentaires (préférées mais non requises)

• Pub/Sub
• Kafka
• Azure Analysis Services
• Optimisation de Google Cloud Storage

Informations sur l'entreprise

Nom de l'entreprise : Alter Solutions

Titre du poste : Ingénieur DataOps