Job expired!
Chez ASAPP, nous travaillons à résoudre des problèmes complexes et exigeants en créant des produits beaux et utiles, alimentés par l'apprentissage automatique. Nous exploitons l'intelligence artificielle pour relever des défis majeurs qui partagent trois caractéristiques communes : une taille économique gigantesque, une inefficacité systémique et impliquent de grandes quantités de données. Nos équipes talentueuses qui dirigent l'innovation et le développement de nos produits sont à New York City, San Francisco, et Buenos Aires.
L'équipe d'ingénieurs Data chez ASAPP conçoit, construit et maintient notre infrastructure de données principale et notre plateforme d'analyse. Des données précises, accessibles et sécurisées sont cruciales pour notre plateforme d'interaction client basée sur le traitement du langage naturel (NLP) qui interagit avec des dizaines de millions d'utilisateurs finaux en temps réel.
Nous cherchons à embaucher un Manager ingénieur Data avec un talent pour la construction de systèmes d'infrastructure de données qui peuvent gérer nos volumes de données en constante croissance et les demandes que nous voulons en faire. L'automatisation est une partie clé de notre flux de travail, vous aiderez donc à concevoir et à construire des pipelines de traitement de données hautement disponibles qui s'autosurveillent et signalent les anomalies. Vous devrez être expert en processus ETL et connaître les tenants et les aboutissants des différents magasins de données qui servent rapidement et en toute sécurité des données à toutes les parties prenantes internes et externes. En tant que partie de notre équipe d'ingénieurs Data en pleine croissance, ce poste jouera également un rôle intégral dans la définition de l'avenir de l'infrastructure de données telle qu'elle s'applique à l'amélioration de notre développement basé sur des mesures existantes et nos capacités d'apprentissage automatique.
Ce que vous ferez
- Concevoir et déployer des améliorations à notre pipeline de données de production essentiel à la mission, aux entrepôts de données, aux systèmes de données
- Reconnaître les modèles de flux de données et les généralisations pour automatiser autant que possible afin de stimuler les gains de productivité
- Étendre nos processus de journalisation et de surveillance pour découvrir et résoudre les anomalies et les problèmes avant qu'ils ne deviennent des problèmes
- Développer des solutions d'automatisation et de données à la pointe de la technologie en Python, Spark et Flink
- Maintenir, Gérer, Surveiller notre infrastructure connexe incluant Kafka, Kubernetes, Spark, Flink, Jenkins, les bases de données OLAP générales et RDBMS, les seaux d'objets S3, les permissions
- Augmenter l'efficacité, la précision et la répétabilité de nos processus ETL
- Savoir comment faire les compromis nécessaires pour expédier sans compromettre la qualité
Ce dont vous aurez besoin
- Diriger, développer, motiver et inspirer nos équipes d'ingénierie de produits globales
- Favoriser une culture saine et collaborative qui incarne les valeurs d'ASAPP
- Assurez-vous que vos équipes fournissent un rendement extraordinaire et cherchent constamment des moyens de réaliser un impact de grande envergure
- Aider à définir la direction des équipes, anticiper les défis stratégiques et d'échelle grâce à une planification à long terme réfléchie
- Expérience avec l'intégration continue et le déploiement (CI/CD)
- Expérience avec des systèmes de gestion de flux de travail tels que Airflow, Oozie, Luigi et Azkaban
- Expérience dans la mise en œuvre de politiques de gouvernance des données, par exemple la gestion des accès, la rétention des données, IAM, etc.
- Confiance en travaillant dans un rôle de type devops, en travaillant avec AWS, Kubernetes, Jenkins, Terraform, etc. en pensant à l'automatisation, à l'alerte, à la surveillance, à la sécurité et à d'autres infrastructures déclaratives
Ce que nous aimerions voir
- Un diplôme de Bachelor dans un domaine de la science, de la technologie, de l'ingénierie, des mathématiques, ou une expérience pratique équivalente
- Expérience dans la maintenance et la gestion de kafka (pas seulement l'utilisation)
- Expérience dans la maintenance et la gestion des systèmes de bases de données OLAP/HA (pas seulement l'utilisation)
- Familiarité avec la gestion des clusters Kubernetes pour divers travaux, applications, et haut débit
- Connaissance technique des formats d'échange et de sérialisation de données tels que Protobuf, Avro, ou Thrift
- Expérience dans le déploiement et la création d'applications Spark Scala et/ou Flink.
Avantages
- Rémunération compétitive
- Options d'achat d'actions
- ICICI Lombard General Insurance LTD
- Allocation pour le déjeuner et le dîner sur site
- Allocation de connectivité (téléphone mobile et internet)
- Avantages bien-être
- Équipement Mac
- Allocation pour l'apprentissage et le développement
- Congé parental, y compris 6 semaines de congé paternité
ASAPP s'engage à créer un environnement diversifié et est fier d'être un employeur offrant l'égalité des chances. Tous les candidats qualifiés recevront une considération pour l'emploi sans distinction de race, de couleur, de religion, de sexe, d'identité ou d'expression de genre, d'orientation sexuelle, d'origine nationale, de handicap, d'âge ou de statut de vétéran. Si vous avez un handicap et avez besoin d'aide pour notre processus de candidature à l'emploi, veuillez nous envoyer un email à [email protected] pour obtenir de l'aide
