Data Engineer

Au moins 2-4 ans d'expérience en conseil ou en prestation de services clients sur Azure.

Au moins 2 ans d'expérience dans le développement d'ingestion de données, de traitement de données, et de pipelines analytiques pour le big data, de bases de données relationnelles telles que MySQL, et de solutions d'entrepôt de données comme Snowflake.

Expérience approfondie dans la fourniture de directives pratiques au sein des services Azure Native et Hadoop.

Expérience pratique approfondie dans la mise en œuvre de l'ingestion de données, des ETL, et du traitement des données en utilisant des services Azure : ADLS, Azure Data Factory, Azure Functions, Synapse/DW, Azure SQL DB, Event Hub, IoT Hub, Azure Stream Analytics, Azure Analysis Service, HDInsight, Databricks, Azure Data Catalog, Cosmos DB, etc.

Minimum de 3 ans d'expérience pratique dans les technologies Azure et Big Data telles que Python, SQL, ADLS/Blob, Spark/SparkSQL, Databricks, Hive, et les technologies de streaming comme Kafka, EventHub, NiFi, etc.

Compétent dans le développement PySpark sur Databricks.

Compétent en DevSecOps et déploiements CI/CD.

Expérience des méthodologies et des processus de migration vers le cloud, y compris les outils comme Azure Data Factory, Data Migration Service, Event Hub, Kafka, etc.

Minimum de 2 ans d'expérience en RDBMS.

Expérience d'utilisation des formats de fichiers Big Data et des techniques de compression.

Expérience de l'utilisation des outils de développement tels que Azure DevOps, Visual Studio Team Server, Git, Jenkins, etc.

Expérience des architectures de cloud privé et public, les avantages/inconvénients de chacun, et les considérations de migration.

Licence ou diplôme supérieur en informatique ou dans une discipline connexe, ou équivalent (minimum 2 ans d'expérience professionnelle). Si diplôme d'Associate, doit avoir un équivalent de minimum 2 ans d'expérience professionnelle.

Un Ingénieur de Données Azure est responsable de la conception, de la construction et de la maintenance de l'infrastructure de données d'une organisation en utilisant les services cloud Azure. Cela inclut la création de pipelines de données, l'intégration de données provenant de diverses sources, et la mise en œuvre de mesures de sécurité et de confidentialité des données. L'Ingénieur de Données Azure sera également responsable de la surveillance et du dépannage des flux de données et de l'optimisation du stockage et du traitement des données pour la performance et l'efficacité des coûts.

DevOps sur une plateforme Azure.

Expérience dans le développement et le déploiement de solutions ETL sur Azure.

Expérience avec l'IoT, les événements déclenchés, les microservices, les Conteneurs/Kubernetes dans le cloud.

Familiarité avec la pile technologique disponible dans l'industrie pour la gestion des métadonnées : Gouvernance des Données, Qualité des Données, MDM, Traçabilité, Catalogue de Données, etc.

Familiarité avec la pile technologique disponible dans l'industrie pour la gestion des données, l'ingestion des données, la capture, le traitement, et la curation : Kafka, StreamSets, Attunity, GoldenGate, MapReduce, Hadoop, Hive, HBase, Cassandra, Spark, Flume, Hive, Impala, etc.

L'expérience multi-cloud est un plus - Azure, AWS, Google.

Postulez maintenant pour rejoindre notre équipe dynamique chez KPMG Inde et vous épanouir dans un rôle d'Ingénieur de Données Azure.