Инженер по данным
- Data Engineer
- New York
- $86 K - $149 K
- Full Time
О Cybersyn
Cybersyn - это новая сущность DaaS (Data-as-a-Service), поддерживаемая Sequoia, Coatue и Snowflake. Наша задача - сделать глобальные экономические данные доступными для правительств, бизнеса и предпринимателей, тем самым способствуя появлению нового поколения ключевых принятиков решений. Мы накапливаем уникальные активы данных (корпорации, лицензии, права на данные, дивиденды потребителей) и разрабатываем производные продукты, сосредоточенные на определении, где потребители и бизнес тратят деньги. Cybersyn стремится нарушить традиционную область маркетинговой разведки, функционируя как смесь инвестиционной фирмы и технологической компании, ориентированной на данные. Если нам удастся, мы сможем перевернуть отрасль стоимостью в 100 миллиардов долларов и создать SimCity для реального мира.
Мы запустили значительное количество публичных наборов данных, которые мы тщательно очистили, реструктурировали и сделали совместимыми на Snowflake Marketplace.
Найти наши текущие данные здесь.
Тестировать наши данные на нашем приложении Streamlit здесь.
О вакансии:
Cybersyn нанимает опытного инженера для совершенствования нашего технологического стека для нашей команды по науке и продуктам о данных и установки трубопроводов для обработки публичных и частных источников данных. Мы ищем инженера, который увлечен облаком данных Snowflake и улучшением экономии затрат и нагрузок.
Что вы будете делать:
Помощь в передачи данных от источника к нашей необходимости (в Snowflake): это обычно подразумевает создание работ по извлечению, загрузке или изменению данных насколько это возможно эффективно. Будет необходимо приоритизировать вычислительную эффективность и создание контекста для понимания, что на самом деле представляют собой данные.
Оптимизировать Snowflake с точки зрения производительности и стоимости
Предоставлять рекомендации по инфраструктуре о возможностях Snowflake, чтобы удовлетворить бизнес/технические сценарии использования
Предоставлять оперативную поддержку по вопросам, связанным с Data Warehouse, таким, как проблемы с загрузкой данных, проблемы с переводом трансформаций и оптимизацией запросов
Брать на себя полную ответственность за свои задачи и сотрудничать с различными функциями в компании
Кто вы:
Опыт работы с несколькими (внешними) наборами данных, очисткой, слиянием и обработкой данных; опыт работы с публичными источниками данных (например, перепись населения США, опрос ACS) является большим преимуществом
Опыт работы с Snowflake обязателен
Владение Python и SQL обязательно
Опыт работы с dbt и системами оркестровки (Dagster, Prefect, Mage, Kestra или аналогичные) высоко ценится
Опыт в создании и эксплуатации трубопроводов данных для реальных клиентов в производственных системах
Что вы получите:
Возможность влиять на первоначальные технологические решения Cybersyn
Доступ к некоторым из самых интересных и обширных экономических данных в мире, включая данные о реальных расходах, транзакциях, больше данных о кликах как от третьих сторон, так и от собственных источников.
Большинство наших данных являются эксклюзивными и недоступными для каких-либо внешних сторон.
Наша система разработана с учетом различных источников данных: мы не ограничиваемся данными от одного продукта или темы. Мы работаем с данными от правительств, систем обработки платежей (например, банковские записи), мобильных устройств и приложений, и SaaS-ихлама (данные, собранные B2B SaaS)
Быстро развивающуюся культуру, огромную ответственность и автономию с первого дня.
This website requires cookies to provide all of its features. By using our website, you agree to our use of cookies. More info