Data Architect (AWS ,Pyspark)

Entreprise : Arthur Grand Technologies Inc.

Lieu : Wilmington, DE / Jersey City, NJ

Durée : Contrat à long terme

Site Web : www.arthurgrand.com

Arthur Grand Technologies est un fournisseur de premier plan de services de recrutement et de conseil en technologies, avec un solide historique de doublement de notre chiffre d'affaires chaque année depuis 5 ans. Nos clients sont le témoignage de nos relations durables et de la satisfaction des clients. Notre équipe de direction possède plus de 20 ans d'expérience provenant des principaux cabinets de conseil. En tant qu'entreprise détenue par des minorités, nous nous engageons à promouvoir la diversité et l'inclusion au sein de notre personnel.

Nous croyons à l'engagement de nos employés à travers des projets stimulants et intéressants. Nous offrons des avantages compétitifs, ainsi que des opportunités continues de croissance et de développement professionnel.

Arthur Grand Technologies recherche un Data Architect hautement motivé et compétent pour rejoindre notre équipe et soutenir l'un de nos clients clés.

Responsabilités principales :

• Proposer des solutions d'ingénierie et d'analytique de données basées sur AWS, PySpark et Databricks.
• Construire et exploiter de très grands entrepôts de données ou lacs de données.
• Optimiser les processus ETL, y compris la conception, le codage et l'optimisation des processus de grande volumétrie de données utilisant Apache Spark.
• Développer des applications de pipeline de données pour le streaming de données.
• Créer des jobs Scala/Spark pour la transformation et l'agrégation de données.
• Produire des tests unitaires pour les transformations Spark et les méthodes utilitaires.
• Rédiger une documentation style Scaladoc pour tout le code.
• Concevoir des pipelines de traitement de données utilisant Scala, en mettant l'accent sur le paradigme de programmation fonctionnelle.
• Travailler avec des technologies telles que Embedded Cassandra, Apache Spark 2.x, et effectuer le tuning des requêtes Spark et l'optimisation des performances.
• S'intégrer aux bases de données SQL, y compris Microsoft, Oracle, Postgres et MySQL.
• Une expérience avec DFS, S3, Cassandra et DynamoDB est préférée.

Compétences et expérience requises :

• 12+ ans d'expérience avec des projets clients impliquant AWS, PySpark et Databricks.
• Maitrise de Scala (programmation fonctionnelle) et des frameworks de test associés (Scalatest, JUnit, Mockito).
• Solides compétences en développement de bases de données pour les projets de migration.

Postulez dès aujourd'hui pour rejoindre notre équipe innovante engagée dans l'excellence.

Merci,

Afrah Faiza

Arthur Grand Technologies Inc.

Arthur Grand Technologies est un employeur garantissant l’égalité des chances (y compris handicapés/vétérans).

Vos informations seront gardées confidentielles conformément aux directives EEO.

Titre du poste : Data Architect (AWS, PySpark)