Ведущий инженер по данным (Python, Spark)

West Creek 3 (12073), Соединенные Штаты Америки, Ричмонд, Вирджиния Ведущий инженер по данным (Python, Spark) Любите ли вы заниматься созданием и разработкой в сфере технологий? Получаете ли удовольствие от решения сложных бизнес-задач в быстро меняющейся, коллаборативной, инклюзивной и итеративной среде? В Capital One вы станете частью большой группы создателей, инноваторов, исполнителей и деструкторов, которые решают реальные проблемы и удовлетворяют реальные потребности клиентов. Мы ищем ведущих инженеров по данным, которые страстно хотят связать данные с новаторскими технологиями. В качестве ведущего инженера по данным в Capital One у вас будет возможность быть на передовой преобразования в Capital One. Что вы будете делать - Осуществлять техническую дорожную карту и влиять на команды, ведя технические обсуждения для предоставления эффективных решений в области данных - Влиять за пределами области их проекта/команды, создавая отношения и отстаивая лучшие практики - Использовать техническую экспертизу для руководства инженерами, чтобы гарантировать эффективность и надежность потоков данных, моделей данных и кода - Проектировать и разрабатывать масштабируемые архитектуры данных и системы, которые извлекают, хранят и обрабатывают большие объемы данных - Разрабатывать и создавать структуру масштабируемых потоков данных и ETL-процессов с использованием языков программирования, таких как Python, Java, Scala и таких фреймворков, как Spark и Flink - Сотрудничать с учеными по данным, инженерами по машинному обучению, бизнес-аналитиками и/или владельцами продуктов для понимания их требований и предоставления эффективных решений для исследования данных, анализа и моделирования - Строить высокодоступные и масштабируемые решения для данных в неопределенной среде, обмениваясь проектными схемами с командами - Автоматизировать интеграции и потоки данных, используя управление данными и различные техники тестирования - Использовать передовые технологии для создания современных потоков данных, поддерживающих машинное обучение и искусственный интеллект Информация о команде: Команда Finance Data Refinery Recon в организации Enterprise Data and Machine Learning (EDML) поддерживает приложение для обработки данных, размещенное на AWS, которое предоставляет автоматизированные сверки критически важных наборов данных для организации Finance Tech. Вы получите возможности и узнаете о развивающихся паттернах потоков данных, а также углубитесь в уникальные инженерные проблемы, которые эти паттерны представляют в отношении целостности данных, безопасности, своевременности и обслуживаемости. Вы будете сосредоточены на проектировании и реализации архитектуры потоков данных, чтобы обеспечить высокую доступность нашей управляемой среды. У вас будет возможность работать на уровне приложения, написанного на Python/Scala, работающего на EC2, управляемых AROW, отлаживать проблемы приложения и среды, а также помогать в оптимизации и постоянном улучшении паттернов потоков данных. Базовые требования: - Степень бакалавра - Минимум 6 лет опыта в разработке приложений (опыт стажировки не учитывается) - Минимум 2 года опыта работы с технологиями больших данных - Минимум 1 год опыта работы с облачными вычислениями (AWS, Microsoft Azure, Google Cloud) Предпочтительные квалификации: - 7+ лет опыта в разработке приложений, включая Python, SQL, Scala или Java - 4+ года опыта работы с общедоступным облаком (AWS, Microsoft Azure, Google Cloud) - 4+ года опыта работы с дистрибутивными инструментами обработки данных (MapReduce, Hadoop, Hive, EMR, Kafka, Spark, Gurobi или MySQL) - 4+ года опыта работы с реальными данными и стриминговыми приложениями - 4+ года опыта работы с NoSQL-реализацией (Mongo, Cassandra) - 4+ года опыта работы с хранилищами данных (Redshift или Snowflake) - 4+ года опыта работы с UNIX/Linux, включая основные команды и сценарии оболочки - 2+ года опыта работы с методологией Agile На данном этапе Capital One не будет спонсировать нового претендента на получение разрешения на работу на эту позицию. Capital One предлагает всеобъемлющий, конкурентоспособный и инклюзивный пакет здравоохранительных, финансовых и прочих льгот, поддерживающих ваше общее благополучие. Подробнее можно узнать на сайте Capital One Careers. Право на получение льгот зависит от полного или неполного рабочего дня, статуса освобождения от уплаты налогов или обязанности их уплаты, от уровня управления. Пожалуйста, без агентств. Capital One предлагает равные возможности работодателям и стоит за разнообразием и инклюзией на рабочем месте. Все квалифицированные соискатели будут рассматриваться для трудоустройства без учета пола (включая беременность, роды или сопутствующие медицинские условия), расы, цвета кожи, возраста, национального происхождения, религии, инвалидности, генетической информации, семейного положения, сексуальной ориентации, гендерной идентичности, гендерного переопределения, гражданства, иммиграционного статуса, статуса защищенного ветерана или любого другого основания, запрещенного соответствующим федеральным, штатовским или местным законом. Capital One проводит борьбу с наркотиками на рабочем месте. Capital One будет рассматривать на работу квалифицированных претендентов с уголовной историей в соответствии с требованиями действующих законов относительно запросов о наличии уголовной истории, включая, если это применимо, статью 23-A Закона штата Нью-Йорк об исправлении; статью 49, разделы 4901-4920 Полицейского кодекса Сан-Франциско, Калифорния; Закон города Нью-Йорка о справедливых шансах; Закон Филадельфии о справедливом учете уголовных судимостей; и другие действующие федеральные, штатовские и местные законы и нормативные акты относительно запросов о наличии уголовной истории. Если вы посетили наш веб-сайт в поисках информации о трудовых возможностях или для подачи заявки на вакансию, и вам требуется помощь, пожалуйста, свяжитесь с Capital One Recruiting по телефону 1-800-304-9102 или по электронной почте на [email protected]. Все предоставленные вами сведения будут сохраняться в тайне и будут использоваться только в той степени, в какой это необходимо для предоставления необходимых разумных условий. Для технической поддержки или вопросов о процессе найма в Capital One, пожалуйста, отправьте электронное письмо на [email protected] Capital One не предоставляет, не одобряет и не гарантирует сторонние продукты, услуги, образовательные инструменты или другую информацию, доступную на этом сайте. Capital One Financial состоит из нескольких различных субъектов. Обратите внимание, что любая позиция, опубликованная в Канаде, предназначена для Capital One Canada, любая позиция, опубликованная в Великобритании, предназначена для Capital One Europe, а любая позиция, опубликованная на Филиппинах, предназначена для Capital One Philippines Service Corp. (COPSSC).