Інженер з даних

Про Cybersyn

Cybersyn - це новий DaaS (Data-as-a-Service) проект, який підтримує Sequoia, Coatue та Snowflake. Наша мета - зробити глобальні економічні дані доступними для урядів, бізнесу та підприємців, сприяючи появі нового покоління ключових прийнятельів рішень. Ми збираємо унікальні дані (корпорації, ліцензії, права на дані, споживчі дивіденди) та розробляємо похідні продукти, спрямовані на визначення, де споживачі та бізнес витрачають гроші. Cybersyn бере на себе зобов'язання перевернуть традиційну сферу ринкових досліджень, виконуючи функції як інвестиційної компанії, і технологічної компанії, що спеціалізується на даних. Якщо нам це вдасться, ми зможемо революціонізувати галузь, яка оцінюється в сотні мільярдів доларів, і створити SimCity для реального світу.

Ми запустили значну кількість публічних наборів даних, які ми ретельно очистили, реструктурували та зробили сумісними на Snowflake Marketplace.

• Знайдіть наші поточні дані тут.

• Перевірте наші дані в нашому Streamlit App тут.

Про вакансію: 

Cybersyn наймає досвідченого інженера для вдосконалення нашого технологічного стеку для нашої команди з даними та продуктів та встановлення каналів введення даних з публічних та приватних джерел. Ми конкретно шукаємо інженера, який захоплюється Snowflake Data Cloud і покращенням вартості та навантаженням.

Що ви будете робити:

• Допомоза у передачі даних від джерела до наших потреб (у Snowflake): це зазвичай включає створення робіт для витягування, завантаження або зміни даних якомога ефективніше. Буде важливо пріоритетно враховувати обчислювальну ефективність та створювати деякий контекст для того, що в данах власне міститься. 

• Оптимізація Snowflake для продуктивності та вартості

• Надання консультацій щодо інфраструктури з можливостями Snowflake для вирішення бізнес/технічних сценаріїв

• Надання оперативної підтримки для проблем з Data Warehouse, таких як проблеми з завантаженням даних, питання з перекладом трансформації та оптимізації запитів

• Взяти на себе кінцеву відповідальність за свої завдання та задоволення співпрацею з різними функціями в компанії

Хто ви:

• Досвід роботи з кількома (зовнішніми) наборами даних, очищення, об'єднання та консолідациї даних; досвід з публічними джерелами даних (наприклад, перепис населення США, опитування ACS) є великою перевагою 

• Досвід роботи з Snowflake є обов'язковим

• Володіння Python та SQL є вирішальним

• Досвід роботи з dbt та системами оркестрування (Dagster, Prefect, Mage, Kestra або їх еквіваленти) високо цінується

• Досвід встановлення та експлуатації потоків даних для реальних клієнтів у виробничих системах

Що ви отримаєте:

• Можливість вплинути на початкові технологічні рішення Cybersyn

• Доступ до деяких з найцікавіших та наймасштабніших економічних даних у світі, включаючи дані про реальні витрати, транзакції, дані про перегляди від третіх сторін та власні джерела. 

  • Більшість наших даних є ексклюзивними і недоступними для будь-яких зовнішніх сторін.

  • Наша система розроблена з урахуванням різних джерел даних: ми не обмежені даними з одного продукту або теми. Ми працюємо з даними від урядів, систем обробки платежів (наприклад, банківські записи), мобільних пристроїв та додатків, а також SaaS (дані, зібрані B2B SaaS)

• Динамічна культура, велика відповідальність та автономність з першого дня.