Инженер по данным

О Cybersyn

Cybersyn - это новая сущность DaaS (Data-as-a-Service), поддерживаемая Sequoia, Coatue и Snowflake. Наша задача - сделать глобальные экономические данные доступными для правительств, бизнеса и предпринимателей, тем самым способствуя появлению нового поколения ключевых принятиков решений. Мы накапливаем уникальные активы данных (корпорации, лицензии, права на данные, дивиденды потребителей) и разрабатываем производные продукты, сосредоточенные на определении, где потребители и бизнес тратят деньги. Cybersyn стремится нарушить традиционную область маркетинговой разведки, функционируя как смесь инвестиционной фирмы и технологической компании, ориентированной на данные. Если нам удастся, мы сможем перевернуть отрасль стоимостью в 100 миллиардов долларов и создать SimCity для реального мира.

Мы запустили значительное количество публичных наборов данных, которые мы тщательно очистили, реструктурировали и сделали совместимыми на Snowflake Marketplace.

• Найти наши текущие данные здесь.

• Тестировать наши данные на нашем приложении Streamlit здесь.

О вакансии:

Cybersyn нанимает опытного инженера для совершенствования нашего технологического стека для нашей команды по науке и продуктам о данных и установки трубопроводов для обработки публичных и частных источников данных. Мы ищем инженера, который увлечен облаком данных Snowflake и улучшением экономии затрат и нагрузок.

Что вы будете делать:

• Помощь в передачи данных от источника к нашей необходимости (в Snowflake): это обычно подразумевает создание работ по извлечению, загрузке или изменению данных насколько это возможно эффективно. Будет необходимо приоритизировать вычислительную эффективность и создание контекста для понимания, что на самом деле представляют собой данные.

• Оптимизировать Snowflake с точки зрения производительности и стоимости

• Предоставлять рекомендации по инфраструктуре о возможностях Snowflake, чтобы удовлетворить бизнес/технические сценарии использования

• Предоставлять оперативную поддержку по вопросам, связанным с Data Warehouse, таким, как проблемы с загрузкой данных, проблемы с переводом трансформаций и оптимизацией запросов

• Брать на себя полную ответственность за свои задачи и сотрудничать с различными функциями в компании

Кто вы:

• Опыт работы с несколькими (внешними) наборами данных, очисткой, слиянием и обработкой данных; опыт работы с публичными источниками данных (например, перепись населения США, опрос ACS) является большим преимуществом

• Опыт работы с Snowflake обязателен

• Владение Python и SQL обязательно

• Опыт работы с dbt и системами оркестровки (Dagster, Prefect, Mage, Kestra или аналогичные) высоко ценится

• Опыт в создании и эксплуатации трубопроводов данных для реальных клиентов в производственных системах

Что вы получите:

• Возможность влиять на первоначальные технологические решения Cybersyn

• Доступ к некоторым из самых интересных и обширных экономических данных в мире, включая данные о реальных расходах, транзакциях, больше данных о кликах как от третьих сторон, так и от собственных источников.

  • Большинство наших данных являются эксклюзивными и недоступными для каких-либо внешних сторон.

  • Наша система разработана с учетом различных источников данных: мы не ограничиваемся данными от одного продукта или темы. Мы работаем с данными от правительств, систем обработки платежей (например, банковские записи), мобильных устройств и приложений, и SaaS-ихлама (данные, собранные B2B SaaS)

• Быстро развивающуюся культуру, огромную ответственность и автономию с первого дня.