Ingénieur de données

À propos de Cybersyn

Cybersyn est une nouvelle entreprise DaaS (data-as-a-service), soutenue par Sequoia, Coatue et Snowflake. Notre mission est de rendre les données économiques mondiales transparentes pour les gouvernements, les entreprises et les entrepreneurs et de permettre à une nouvelle génération de décideurs. Nous acquérons des actifs de données uniques (entreprises, licences, droits de données, dividendes des consommateurs) et nous construisons des produits dérivés en se concentrant sur la mesure de ce sur quoi les consommateurs et les entreprises dépensent de l'argent. Vous pouvez considérer Cybersyn comme un croisement entre une société d'investissement et une société technologique axée sur les données: si nous réussissons, nous perturberons l'espace traditionnel de l'intelligence de marché. La récompense est grande - si nous réussissons, nous pouvons perturber une industrie valant des centaines de milliards de dollars et construire un SimCity pour le monde réel.

Nous avons déjà publié un certain nombre de jeux de données publics que nous avons nettoyés, restructurés et rendus jointures sur le Marketplace de Snowflake.

• Consultez nos données actuelles ici.

• Testez nos données sur notre application Streamlit ici.

À propos du rôle: 

Cybersyn est à la recherche d'un ingénieur expérimenté pour nous aider à affiner notre pile technologique pour notre équipe de science des données et de produit et à mettre en œuvre des pipelines d'ingestion de sources de données publiques et privées. Nous recherchons spécifiquement quelqu'un qui est passionné par le Snowflake Data Cloud et l'optimisation des coûts et des charges de travail.

Ce que vous ferez:

• Aidez à faire passer les données de là où elles se trouvent à l'endroit où nous en avons besoin (dans Snowflake): en pratique, cela signifie souvent écrire des travaux pour extraire, télécharger ou transformer les données aussi efficacement que possible. Vous devez vous soucier de l'efficacité du calcul mais également construire du contexte pour comprendre ce que les données sont réellement.

• Optimisez Snowflake pour la performance et l'optimisation des coûts

• Fournissez des conseils sur l'infrastructure des capacités de Snowflake pour accommoder les cas d'utilisation commerciaux / techniques

• Fournissez un support de production pour les problèmes d'entrepôt de données tels que les problèmes de chargement de données, les problèmes de traduction de transformation, l'optimisation des requêtes

• Prenez possession de bout en bout de votre travail et appréciez de travailler avec différentes fonctions dans toute l'entreprise

Qui vous êtes:

• Expérience de travail avec plusieurs ensembles de données (externes), nettoyage, jointure et manipulation de données; l'expérience de travail avec des sources de données publiques (par exemple, recensement américain, enquête ACS) est un énorme plus

• L'expérience avec Snowflake est requise

• L'expérience en Python et SQL est requise

• L'expérience avec dbt et les systèmes d'orchestration (Dagster, Prefect, Mage, Kestra ou équivalent) est très appréciée

• Expérience de la construction et de l'exploitation de pipelines de données pour de véritables clients dans des systèmes de production

Ce que vous en retirez:

• Capacité à influencer les premières décisions technologiques de Cybersyn

• Accès à certaines des données économiques les plus intéressantes et les plus importantes du monde, y compris les dépenses en temps réel, les transactions, les données de clickstream provenant à la fois de sources tierces et de sources propres.

  • La plupart de nos données ne sont pas disponibles pour d'autres tiers.

  • Notre système est construit avec des sources de données hétérogènes à l'esprit: nous ne travaillons pas sur des données provenant d'un seul produit ou thème, mais sur des données provenant de gouvernements, de systèmes de traitement des paiements (pensez aux relevés bancaires), d'appareils mobiles et d'applications, et d'échappements SaaS (pensez aux données collectées par le SaaS B2B)

• Culture en mouvement rapide, beaucoup de responsabilités et d'autonomie dès le premier jour.