Główny Inżynier Danych (Python, Spark)

West Creek 3 (12073), Stany Zjednoczone Ameryki, Richmond, Wirginia Główny Inżynier Danych (Python, Spark) Czy uwielbiasz budować i torować drogę w przestrzeni technologicznej? Czy lubisz rozwiązywać skomplikowane problemy biznesowe w szybko zmieniającym się, współpracującym, inkluzywnym i iteracyjnym środowisku dostarczania? W Capital One będziesz częścią dużego zespołu twórców, łamiących schematy, działających i zakłócających, którzy rozwiązują prawdziwe problemy i zaspokajają rzeczywiste potrzeby klientów. Poszukujemy Głównych Inżynierów Danych, którzy są pasjonatami łączenia danych z nowymi technologiami. Jako Główny Inżynier Danych w Capital One, będziesz miał okazję stać na czele kierowania głównej transformacji w Capital One. Co będziesz robić - Posiadać techniczną drogę do celu i wpływać na zespoły poprzez prowadzenie technicznych dyskusji, aby dostarczyć doniosłe rozwiązania dotyczące danych - Wpływa pozytywnie poza ramy swojego projektu/zespołu, budując relacje i opowiadając się za najlepszymi praktykami - Wykorzystać swoją techniczną wiedzę specjalistyczną, aby przewodniczyć inżynierom i zapewnić, że strumienie danych, modele danych i kod są efektywne i niezawodne - Projektować i rozwijać skalowalne architektury danych i systemy, które wydobywają, przechowują i przetwarzają duże ilości danych - Rozwijać i projektować skalowalne strumienie danych i procesy ETL, korzystając z języków programowania takich jak Python, Java, Scala oraz frameworków takich jak Spark i Flink - Współpracować z naukowcami danych, inżynierami zajmującymi się uczeniem maszynowym, analitykami biznesowymi i/lub właścicielami produktów, aby zrozumieć ich wymagania i dostarczyć efektywne rozwiązania do eksploracji danych, analizy i modelowania - Budować wysoce dostępne i skalowalne rozwiązania dotyczące danych w niejasnym środowisku podczas dzielenia się wzorcami projektowymi z zespołami - Automatyzować integracje i strumienie danych, korzystając z zarządzania danymi i różnych technik testujących - Wykorzystać nowoczesne technologie do tworzenia nowoczesnych strumieni danych wspierających uczenie maszynowe i sztuczną inteligencję Informacje o zespole: Zespół Finance Data Refinery Recon w organizacji Enterprise Data and Machine Learning (EDML) obsługuje aplikację do przetwarzania danych hostowaną na AWS, która dostarcza zautomatyzowane pojednania kluczowych zestawów danych dla organizacji Finance Tech. Otrzymasz możliwości i narażenie na nowoczesne wzorce strumieni danych, a także zanurzysz się głęboko w unikalne wyzwania inżynieryjne, które te wzorce niosą ze sobą w zakresie integralności danych, bezpieczeństwa, terminowości i utrzymania. Skupisz się na projektowaniu i wdrażaniu architektury strumeni danych, aby zapewnić wysoką dostępność naszego zarządzanego środowiska. Będziesz miał okazję pracować na warstwie aplikacji napisanej w Python/Scala, która działa na EC2, sterowanej przez AROW, debugować problemy z aplikacją i środowiskiem oraz pomóc w optymalizacji i nieustannym doskonaleniu wzorców strumieni. Podstawowe wymagania: - Wykształcenie wyższe - Co najmniej 6 lat doświadczenia w tworzeniu aplikacji (doświadczenie z praktyk nie jest brane pod uwagę) - Co najmniej 2 lata doświadczenia z technologiami big data - Co najmniej roczne doświadczenie z chmurą obliczeniową (AWS, Microsoft Azure, Google Cloud) Preferowane kwalifikacje: - 7+ lat doświadczenia w tworzeniu aplikacji, w tym Python, SQL, Scala lub Java - 4+ lata doświadczenia z publiczną chmurą (AWS, Microsoft Azure, Google Cloud) - 4+ lata doświadczenia z narzędziami do rozproszonego przetwarzania danych (MapReduce, Hadoop, Hive, EMR, Kafka, Spark, Gurobi lub MySQL) - 4+ lata doświadczenia pracy nad danymi w czasie rzeczywistym i strumieniowymi aplikacjami - 4+ lata doświadczenia z implementacją NoSQL (Mongo, Cassandra) - 4+ lat doświadczenia z magazynami danych (Redshift lub Snowflake) - 4+ lata doświadczenia z UNIX/Linux, w tym podstawowe polecenia i skrypty powłoki - 2+ lata doświadczenia z praktykami inżynierii Agile Obecnie Capital One nie sponsoruje nowego wnioskodawcy o zezwolenie na pracę na tym stanowisku. Capital One oferuje kompleksowy, konkurencyjny i inkluzjonalny pakiet korzyści zdrowotnych, finansowych i innych, które wspierają Twoje dobre samopoczucie. Dowiedz się więcej na stronie Capital One Careers. Uprawnienia zależą od pełno- lub niepełnoetatowego zatrudnienia, statusu zwolnionego lub niezwolnionego z obowiązków oraz poziomu kierowniczego. Agencje niech się nie zgłaszają. Capital One jest pracodawcą równych szans, zobowiązanym do różnorodności i inkluzji na miejscu pracy. Wszyscy kwalifikujący się kandydaci otrzymają możliwość zatrudnienia bez względu na płeć (w tym ciążę, poród lub powiązane warunki medyczne), rasę, kolor skóry, wiek, pochodzenie narodowe, religię, niepełnosprawność, informacje genetyczne, stan cywilny, orientację seksualną, tożsamość płciową, przypisanie płci, obywatelstwo, status imigracyjny, status weterana chronionego lub jakąkolwiek inną podstawę zabronioną na mocy obowiązującego prawa federalnego, stanowego lub lokalnego. Capital One promuje miejsce pracy wolne od narkotyków. Capital One będzie rozważać zatrudnienie kandydatów posiadających historię przestępczą zgodnie z wymogami obowiązujących przepisów dotyczących zapytań o tło kryminalne, w tym, w zakresie, w jakim dotyczy, artykułu 23-A ustawy korekcyjnej stanu Nowy Jork; artykułu 49 Kodeksu Policyjnego San Francisco, California, sekcji 4901-4920; Ustawy o Równych Szansach w Pracy w Nowym Jorku; Ustawy o Sprawiedliwej Ocenie Rekordów Kryminalnych w Filadelfii; oraz innych obowiązujących przepisów federalnych, stanowych i lokalnych dotyczących zapytań o tło kryminalne. Jeśli odwiedziłeś naszą stronę w poszukiwaniu informacji o możliwościach zatrudnienia lub aby ubiegać się o stanowisko, a potrzebujesz jakiegoś zakwaterowania, skontaktuj się z rekrutacją Capital One pod numerem 1-800-304-9102 lub poprzez e-mail na adres [email protected]. Wszystkie informacje, które udzielisz, będą traktowane jako poufne i będą wykorzystywane tylko w niezbędnym zakresie, aby zapewnić wymagane rozsądne zakwaterowanie. W przypadku potrzeby wsparcia technicznego lub pytań dotyczących procesu rekrutacji w Capital One, prosimy o wysłanie wiadomości e-mail na adres [email protected] Capital One nie dostarcza, nie zatwierdza ani nie gwarantuje, a także nie ponosi odpowiedzialności za produkty, usługi, narzędzia edukacyjne lub inne informacje dostępne na tej stronie, które są dostarczane przez osoby trzecie. Capital One Financial składa się z kilku różnych podmiotów. Prosimy zauważyć, że ogłoszenia o pracy w Kanadzie dotyczą firmy Capital One Canada, ogłoszenia w Wielkiej Brytanii dotyczą firmy Capital One Europe, a ogłoszenia na Filipinach dotyczą firmy Capital One Philippines Service Corp. (COPSSC).