Старший инженер по данным

План 5 (31065), Соединенные Штаты Америки, Плано, Техас Старший инженер по данным Любите ли вы создавать и быть пионером в области технологий? Вас привлекает решение сложных бизнес-проблем в быстром, коллаборативном, включающем и итерационном окружении? В Capital One вы станете частью большой группы создателей, разрушителей, исполнителей и нарушителей, которые решают реальные проблемы и удовлетворяют реальные потребности клиентов. Мы ищем старшего инженера по данным, который увлечен соединением данных с новыми технологиями. Как старший инженер по данным в Capital One, у вас будет возможность быть на передовой масштабной трансформации внутри Capital One. Что вам предстоит делать: 1. Предвосхищать возможности, благодаря которым можно удовлетворить потребности клиентов, и влиять на заинтересованные стороны, чтобы мы создавали наилучшие решения для самых важных проблем. 2. Содействовать проектированию и разработке масштабируемых архитектур данных и систем, которые извлекают, хранят и обрабатывают большие объемы данных. 3. Строить и оптимизировать конвейеры данных для эффективного приема, преобразования и загрузки данных из различных источников, обеспечивая качество и целостность данных. 4. Сотрудничать с дата-сайентистами, инженерами по машинному обучению, бизнес-аналитиками и/или владельцами продуктов, чтобы понять их требования и предложить эффективные решения для изучения, анализа и моделирования данных. 5. Реализовывать тестирование, валидацию и наблюдение за работой конвейеров для обеспечения выполнения SLA для клиентов. 6. Использовать передовые технологии для создания современных конвейеров данных, поддерживающих машинное обучение и искусственный интеллект. Базовые требования: - Высшее образование - Минимум 4 года опыта в разработке приложений (опыт стажировок не учитывается) - Минимум 1 год опыта работы с технологиями больших данных Предпочтительные требования: - 5+ лет опыта в разработке приложений, включая Python, SQL, Scala, или Java - 2+ года опыта работы с облаками общественного доступа (AWS, Microsoft Azure, Google Cloud) - 3+ года опыта работы с распределенными инструментами обработки данных (MapReduce, Hadoop, Hive, EMR, Kafka или Spark) - 2+ года опыта работы с хранилищами данных (Redshift или Snowflake) - 3+ года опыта работы с UNIX/Linux, включая основные команды и скрипты оболочек - 2+ года опыта работы с методологиями Agile На данный момент компания Capital One не будет спонсировать нового кандидата для получения разрешения на работу на данной позиции.