Старший інженер з даних (Python, Spark)

"West Creek 3 (12073), Сполучені Штати Америки, Річмонд, Вірджинія Головний інженер з даних (Python, Spark) Чи ви обожнюєте створення та новаторство в технологічному просторі? Чи подобається вам вирішувати складні бізнесові проблеми у динамічному, колегіальному, всеосяжному та ітераційному середовищі доставки? У Capital One ви будете частиною великої групи робітників, зруйнувачів, виконавців та деструкторів, які вирішують реальні проблеми та задовольняють реальні потреби клієнтів. Ми шукаємо головних інженерів з даних, які зацікавлені в поєднанні даних з передовими технологіями. Як головний інженер з даних у Capital One, у вас буде можливість бути на чолі великої трансформації у Capital One. Що ви будете робити - Беріть на себе технічний шлях і впливайте на команди, проводячи технічні дискусії, щоб надавати впливові рішення з даними - Надає вплив поза межами свого проекту/команди, будуючи відносини та пропагуючи кращі практики - Використовуйте технічний досвід, щоб керувати інженерами для того, щоб гарантувати, що пайплайни даних, моделі даних і код є ефективними та надійними - Розробляйте та створюйте масштабовані архітектури даних та системи, які видобувають, зберігають та обробляють великі обсяги даних - Розробляйте та проектуйте масштабовані пайплайни даних та процеси ETL за допомогою мов програмування, таких як Python, Java, Scala та фреймворків, таких як Spark та Flink - Співпрацюйте з науковцями з даних, інженерами машинного навчання, бізнес-аналітиками та/або власниками продукту, щоб зрозуміти їхні вимоги та надати ефективні рішення для дослідження даних, аналізу та моделювання - Побудова високодоступних та масштабованих рішень з даними в неоднозначному середовищі, ділячись шаблонами дизайну з командами - Автоматізуйте інтеграції та пайплайни даних за допомогою управління даними та різних тестових технік - Використовуючи новітні технології, розробляйте сучасні пайплайни даних, які підтримують машинне навчання та штучний інтелект Інформація про команду: Команда Finance Data Refinery Recon в організації Enterprise Data and Machine Learning (EDML) підтримує додаток для обробки даних, хостинг якого здійснюється на AWS, який надає автоматичні відшкодування життєво важливих наборів даних для організації Finance Tech. Ви отримаєте можливості та ознайомитесь з еволюційними шаблонами пайплайну даних, і поглиблено розглянете унікальні інженерні проблеми, які вони породжують про інтегрітет даних, безпеку, актуальність та зручність утримання. Ви сконцентруєтеся на розробці та впровадженні архітектури пайплайну даних, щоб гарантувати високу доступність нашого керованого середовища. У вас буде можливість працювати над шаром додатків, написаним на Python/Scala, який працює на EC2, оркестрованих за допомогою AROW, виправляти помилки додатків та проблеми з середовищем, а також допомагати в оптимізації та неперервному вдосконаленні шаблонів пайплайну. Основні кваліфікації: - Бакалаврський диплом - Приймайте принаймні 6 років досвіду у розробці додатків (досвід стажування не враховується) - Приймайте принаймні 2 роки досвіду з використанням технологій великих даних - Приймайте принаймні 1 рік досвіду в облачних технологіях (AWS, Microsoft Azure, Google Cloud) Бажані кваліфікації: - 7+ років досвіду в розробці додатків, включаючи Python, SQL, Scala або Java - 4+ роки досвіду з публічним хмарою (AWS, Microsoft Azure, Google Cloud) - 4+ роки досвіду з розподіленими інструментами обробки даних (MapReduce, Hadoop, Hive, EMR, Kafka, Spark, Gurobi або MySQL) - 4+ роки досвіду робіт з реальними даними та поточними додатками - 4+ роки досвіду з імплементацією NoSQL (Mongo, Cassandra) - 4+ роки досвіду в дата-складі (Redshift або Snowflake) - 4+ роки досвіду з UNIX/Linux, включаючи базові команди та скрипти оболонки - 2+ роки досвіду з Agile-практиками інженерії Наразі Capital One не буде спонсорувати нового претендента на отримання дозволу на працю для цієї вакансії. Capital One пропонує всеосяжний, конкурентний і всеосяжний набір медичних, фінансових та інших пільг, які підтримують ваше загальне добробут. Дізнайтеся більше на веб-сайті Capital One Careers. Право на отримання пільг залежить від повного або неповного робочого часу, статусу звільнення від податків або не звільнення від податків і рівня управління. Ніяких агентств, будь ласка. Capital One є роботодавцем, який дотримується принципів рівних можливостей та зобов'язаний підтримувати різноманіття та включення на робочому місці Всі кваліфіковані подавці отримають розгляд щодо прийому на роботу без урахування статі (включаючи вагітність, пологи або супутні медичні умови), раси, кольору шкіри, віку, національності, релігії, інвалідності, генетичної інформації, сімейного стану, сексуальної орієнтації, статевої ідентичності, статевого переходу, громадянства, імміграційного статусу, статусу захищеного ветерана або іншого основання, забороненого відповідно до федерального, штатного або місцевого законодавства. В Capital One діє політика, спрямована проти вживання наркотиків. Capital One розгляне на роботу кваліфікованих подавців, які мають кримінальний запис, відповідно до вимог відповідних законів про дослідження кримінального минулого, включаючи, за статтею 23-A Закону про корегування Нью-Йорка; поліцейський кодекс Сан-Франциско, Каліфорнія, стаття 49, розділи 4901-4920; закон міста Нью-Йорк про чесний вибір роботи; Закон Філадельфії про чесне відбір людей з кримінальним минулим; і інші відповідні федеральні, державні та місцеві закони та регулятивні акти про дослідження кримінального минулого. Якщо ви відвідали наш сайт у пошуках інформації про можливості працевлаштування або щоб подати заявку на вакансію, і вам потрібна підтримка, будь ласка, зверніться до Capital One Recruiting за номером 1-800-304-9102 або по електронній пошті на [email protected]. Вся інформація, яку ви надаєте, залишатиметься конфіденційною і буде використовуватися тільки в тому обсязі, який необхідний для надання необхідних пристосувань. Для технічної підтримки або питань про процес набору персоналу в Capital One, будь ласка, надішліть електронного листа на адресу [email protected] Capital One не надає, не схвалює та не гарантує, і не несе відповідальність за продукти, послуги, освітні інструменти або іншу інформацію, доступну через цей сайт. Capital One Financial складається з кількох різних суб'єктів. Будь ласка, зверніть увагу, що будь-яка вакансія, розміщена в Канаді, призначена для Capital One Canada, будь-яка вакансія, розміщена в Сполученому Королівстві, призначена для Capital One Europe, і будь-яка вакансія, розміщена на Філіппінах, призначена для Capital One Philippines Service Corp. (COPSSC)."