Senior Data Engineer

В CNA Insurance мы верим в то, что нужно давать возможность нашим сотрудникам полностью раскрывать свой потенциал, поддерживая их выдающимся руководством. Мы посвящаем себя созданию культуры, в которой каждый чувствует себя ценным и частью чего-то значительного. Наш комплексный и конкурентоспособный пакет льгот разработан для того, чтобы помочь вам и вашей семье достичь целей в области здоровья, финансов, эмоционального и социального благополучия.

Для получения дополнительной информации ознакомьтесь с нашим Справочником для кандидатов.

Роль старшего инженера данных - это высокоспециализированная индивидуальная должность, сосредоточенная на проектировании, разработке и интеграции стратегических, приоритетных приложений данных на всех этапах жизненного цикла разработки программного обеспечения (Agile). Вы также будете предоставлять консультации для поддержки создания сложных технических возможностей.

Выполняйте сочетание обязанностей в соответствии с руководящими принципами департамента, включая:

• Ведение проектирования и создания решений и приложений для данных, которые облегчают отчетность, аналитику, науку о данных и управление данными.
• Руководство командами разработчиков в создании сложных технических возможностей.
• Ведение проектирования, внедрения и автоматизации конвейеров данных, полученных из внутренних и внешних систем, и их преобразования для удовлетворения различных бизнес-требований.
• Проведение тщательного модульного тестирования для обеспечения соответствия результатов дизайну и поддержки последующего тестирования релиза.
• Создание интегрированных представлений данных на основе бизнес-потребностей или аналитических запросов.
• Разработка пакетных и реальных конвейеров данных с использованием облачной платформы GCP и фреймворков обработки данных.
• Разработка конвейеров данных/API с использованием Python, SQL, Spark и методов GCP.
• Создание рабочих потоков Apache Airflow Composer с использованием скриптов на Python в GCP для оркестрации облачных вычислений.
• Разработка скриптов Python в GCP для пакетной обработки с предопределенными API для чтения/записи данных в Big Query.
• Настройка процессов уведомления SNS или PubSub для оповещений о заданиях и уведомлений о завершении.
• Идентификация и реализация улучшений процессов для устранения технологических пробелов.
• Поддержание профессиональных знаний путем посещения семинаров, ознакомления с публикациями, сетевой работы и участия в профессиональных обществах.

100% удаленная работа возможна из любой точки Соединенных Штатов.

Обычно подчиняется директору или выше.

• Степень бакалавра в области компьютерных наук, информационных технологий, инженерии или смежных дисциплин.
• Пять лет опыта в должности инженера данных, аналитика данных, разработчика программного обеспечения, инженера по программному обеспечению, системного аналитика, технического архитектора или связанных ролей.
• Опыт создания крупномасштабных пакетных и реальных конвейеров данных с использованием облачной платформы GCP и фреймворков обработки данных.
• Опыт разработки скриптов на Python в AWS или GCP для пакетной обработки с предопределёнными API для чтения/записи данных в Big Query или Aurora.
• Опыт разработки State Machines и Lambdas или Apache Airflow Composer с использованием скриптов на Python в AWS или GCP для оркестрации облачных вычислений.
• Опыт создания процессов уведомления SNS или PubSub для оповещений о заданиях и уведомлений о завершении.

100% удаленная работа возможна из любой точки Соединенных Штатов.

Соединенные Штаты – Иллинойс – Чикаго

Организация: IT
График работы: Пн-Пт., 8:30 - 16:45, 37.