Ingénieur Logiciel Senior - Big Data

Description de l'entreprise

Freshworks simplifie et accélère le processus pour les entreprises de satisfaire leurs clients et leurs employés. Nous y parvenons en adoptant une nouvelle approche de la création et de la livraison de logiciels qui sont abordables, rapides à mettre en œuvre, et conçus pour l'utilisateur final. Basée à San Mateo, Californie, Freshworks dispose d'une équipe mondiale opérant depuis 13 sites mondiaux pour servir plus de 65 000 entreprises - allant des startups aux entreprises cotées - qui s'appuient sur le logiciel-en-tant-que-service de Freshworks pour permettre une meilleure expérience client (CRM, CX) et une meilleure expérience employé (ITSM).

La suite de logiciels basés sur le cloud de Freshworks comprend Freshdesk (support client omnicanal), Freshsales (automatisation des ventes), Freshmarketer (automatisation du marketing), Freshservice (bureau de service informatique), Freshchat (bots alimentés par IA), soutenus par Neo, notre plateforme sous-jacente de services partagés.

Freshworks fait partie des médias nationaux mondiaux, y compris CNBC, Forbes, Fortune, Bloomberg et a été élu par BuiltIn comme l'un des meilleurs lieux de travail à San Francisco et Denver ces trois dernières années. Nos évaluations clients ont valu à Freshworks des récompenses pour le meilleur ensemble de fonctionnalités, le meilleur rapport qualité-prix et la meilleure relation.

Description du poste

Les principales responsabilités du poste comprennent:

• Concevoir et développer un pipeline de données en temps réel pour l'ingestion de données pour des cas d'utilisation commerciaux en temps réel
• Développer des fonctions complexes et efficaces pour transformer les sources de données brutes en composants puissants et fiables de notre lac de données
• Renforcer nos capacités analytiques avec des pipelines de données plus rapides et plus fiables, et de meilleurs outils, gérant des pétaoctets de données chaque jour.
• Réfléchir et créer de nouvelles fonctionnalités de plateforme, qui peuvent aider dans notre quête pour rendre les données disponibles aux utilisateurs du cluster sous toutes les formes, avec une faible latence et une évolutivité horizontale.
• Modifier notre plateforme de données, refactoriser/redéfinir au besoin et diagnostiquer les problèmes sur l'ensemble de la pile technique.
• Penser en dehors de la boîte pour mettre en œuvre des solutions avec de nouveaux composants et diverses technologies émergentes en AWS et Open Source pour la réalisation réussie des différents projets
• Optimiser et améliorer les fonctionnalités ou les processus de données existants pour améliorer la performance et la stabilité.
• Ecrire des tests unitaires et assurer une intégration continue.
• Etre obsédé par la qualité et garantir des temps d'arrêt de production minimaux.
• Encadrer ses pairs, partager les informations et les connaissances, et aider à construire une grande équipe.
• Surveiller les performances des tâches, la gestion de l'espace disque/du système de fichiers, la connectivité du cluster et de la base de données, les fichiers journaux, la gestion de la sauvegarde/de la sécurité, et résoudre divers problèmes d'utilisateurs.
• Collaborer avec les équipes transversales et les équipes commerciales

Qualifications

Nous recherchons un candidat avec

• Une expérience avérée en tant qu'ingénieur de données Big Data avec une expertise pratique en Apache SparkTM (Scala ou PySpark Préféré) et une optimisation des performances associée
• Un niveau avancé de connaissances en SQL et une familiarité de travail avec diverses bases de données.
• Une connaissance pratique des interfaces API pour les processus d'extraction et de chargement de données en masse ou en flux
• Une expérience dans la construction et le déploiement d'une gamme de pipelines d'ingénierie des données en production, en utilisant les meilleures pratiques d'automatisation pour la CI/CD
• Une expérience de l'analyse des causes racines sur toutes les données et tous les processus pour répondre à des questions spécifiques et identifier des opportunités d'amélioration.
• Connaissance du développement de processus de soutien à la transformation des données, des structures de données, des métadonnées, de la gestion de la dépendance et de la charge de travail.
• Une expérience réussie de manipulation, de traitement et d'extraction de valeur à partir de grands ensembles de données non connectés.
• Une connaissance pratique de Kafka, Spark, du traitement de flux, et des stockages de données "big data" évolutives.
• Expérience avec les solutions cloud sur AWS
• Bonne connaissance de ML-ops
• Expérience préférée : 3-5 ans 

Information complémentaire