Inżynier Danych

O Cybersyn

Cybersyn to nowa jednostka DaaS (Data-as-a-Service), wspierana przez Sequoia, Coatue, i Snowflake. Naszym celem jest dostarczenie globalnych danych gospodarczych dla rządów, przedsiębiorstw i przedsiębiorców, co umożliwi kreowanie nowej generacji kluczowych decydentów. Zbieramy unikalne zasoby danych (firmy, licencje, prawa do danych, dywidendy konsumenckie) i rozwijamy pochodne produkty skoncentrowane na identyfikacji, gdzie konsumenci i przedsiębiorstwa wydają pieniądze. Cybersyn kładzie nacisk na sformowanie nowego modelu w dziedzinie analizy rynkowej, działając jako mieszanka firmy inwestycyjnej i firmy technologicznej skupionej na danych. Jeżeli odniesiemy sukces, moglibyśmy zrewolucjonizować branżę wartą 100 miliardów dolarów i stworzyć SimCity dla rzeczywistego świata.

Uruchomiliśmy znaczną liczbę publicznych zestawów danych, które starannie oczyściliśmy, przekształciliśmy i dostosowaliśmy do Marketplace Snowflake.

• Znajdź nasze aktualne dane tutaj.

• Testuj nasze dane na naszej aplikacji Streamlit tutaj.

Na temat roli: 

Cybersyn zatrudnia doświadczonego inżyniera do doskonalenia naszego stosu technologicznego dla naszego zespołu nauki o danych i produktu oraz instalowania rurociągów pobierania danych publicznych i prywatnych. Szukamy specjalnie inżyniera, który jest pasjonatem Snowflake Data Cloud i poprawia efektywność kosztów i obciążenia.

Co będziesz robić:

• Pomagać w transferze danych od źródła do naszej potrzeby (w Snowflake): to zwykle oznacza tworzenie zadań do ekstrakcji, pobierania lub modyfikowania danych jak najskuteczniej. Będzie konieczne priorytetowe traktowanie wydajności obliczeniowej i budowanie pewnego kontekstu dla tego, co dane faktycznie zawierają. 

• Optymalizować Snowflake pod kątem wydajności i kosztów

• Udzielanie porad dotyczących infrastruktury na temat możliwości Snowflake, aby dostosować się do scenariuszy biznesowych / technicznych

• Świadczenie wsparcia operacyjnego dla problemów z Data Warehouse, takich jak problemy z ładowaniem danych, problemy z tłumaczeniem transformacji i optymalizacją zapytań

• Przyjmowanie pełnej odpowiedzialności za swoje zadania i cieszenie się współpracą z różnymi funkcjami w całym przedsiębiorstwie

Kto jesteś:

• Doświadczenie w pracy z wieloma (zewnętrznymi) zestawami danych, czyszczeniu, łączeniu i kombinowaniu danych; doświadczenie z publicznymi źródłami danych (np. spis powszechny w USA, badanie ACS) jest dużym atutem 

• Doświadczenie z Snowflake jest niezbędne

• Znajomość Pythona i SQL jest kluczowa

• Doświadczenie z dbt i systemami orkiestratora (Dagster, Prefect, Mage, Kestra lub jakimś odpowiednikiem) jest bardzo cenione

• Doświadczenie w tworzeniu i obsłudze rurociągów danych dla rzeczywistych klientów w systemach produkcyjnych

Co zyskasz:

• Możliwość wpływania na początkowe decyzje technologiczne Cybersyn

• Dostęp do niektórych z najciekawszych i najszerszych danych gospodarczych na świecie, w tym danych o wydatkach w czasie rzeczywistym, transakcjach, danych z kliknięć zarówno z zewnętrznych, jak i własnych źródeł. 

  • Większość naszych danych jest ekskluzywna i niedostępna dla żadnej innej strony zewnętrznej.

  • Nasz system został zaprojektowany z myślą o różnych źródłach danych: nie jesteśmy ograniczeni do danych z jednego produktu lub tematu. Mamy do czynienia z danymi od rządów, systemami przetwarzania płatności (takimi jak rekordy bankowe), urządzeniami mobilnymi i aplikacjami oraz napędem SaaS (dane zbierane przez B2B SaaS)

• Kulturę pracy w szybkim tempie, ogromną odpowiedzialność i autonomię od pierwszego dnia.