Обзор должности

Инженер по данным создает пути для передачи данных от источника к хранилищу данных. Эти пути имеют важное значение, позволяя организации получить доступ к своим данным и анализировать их для принятия бизнес-решений. Потоки данных транспортируют и преобразуют данные в соответствии с установленными бизнес-правилами или исследовательскими анализами, которые компания хочет провести. Инженер по данным подготавливает и организует данные, которые организации накопили в своих базах данных и других форматах.

День из жизни инженера машинного обучения

День инженера по данным начинается с создания и предоставления высококачественных архитектур данных и пайплайнов для поддержки клиентов, бизнес-аналитиков и специалистов по данным. Инженеры по данным взаимодействуют с другими техническими командами для извлечения, преобразования и загрузки [ETL] данных из широкого диапазона источников данных. Успешные инженеры по данным постоянно улучшают текущие отчеты и процессы, а также автоматизируют или упрощают поддержку самообслуживания для клиентов. Инженеры по данным разрабатывают, кодируют и внедряют скрипты, написанные на Python, так как Python является основным языком для данных. Все инженеры по данным, в первую очередь, являются программистами с пониманием процесса разработки программного обеспечения (SDLC).

Основные обязанности и ответственность

• Строить, тестировать и поддерживать архитектуры данных, предоставленные архитектором данных
• Анализировать сырые и органические данные
• Создавать системы данных и пайплайны
• Разрабатывать необходимую инфраструктуру для оптимального извлечения, преобразования и загрузки данных из широкого спектра источников данных с использованием SQL и технологий "больших данных" AWS
• Создавать код и скрипты для архитекторов данных, специалистов по данным и инженеров по контролю качества данных
• Обеспечивать приобретение данных
• Определять способы повышения надежности, эффективности и качества данных
• Создавать процессы набора данных
• Подготавливать данные для предсказательного и предписного моделирования
• Автоматизировать процедуры сбора и анализа данных, инструменты для публикации данных и отчетности
• Создавать алгоритмы и прототипы
• Создавать аналитические инструменты и программы
• Сотрудничать со специалистами по данным и архитекторами по различным проектам или инициативам

Требования

• Бакалавр или магистр в области информатики, инженерии или смежной области
• Сертификат специалиста по большим данным AWS
  • Необходимо иметь этот сертификат или быть готовым получить его в течение двух недель после найма
• 5+ лет подтвержденного опыта работы в качестве инженера по данным, желательно в роли консультанта или специалиста в сфере профессиональных услуг
• Сильная профессиональность в языках программирования, таких как Python, Java или Scala, и экспертиза в области фреймворков и библиотек для обработки данных (например, Spark, Hadoop, SQL и т.д.)
• Глубокое понимание систем баз данных (реляционных и NoSQL), моделирования данных и концепций хранилищ данных
• Опыт работы с облачными платформами и сервисами по работе с данными (например, AWS, Azure, Google Cloud), а также знакомство с соответствующими инструментами и технологиями (например, S3, Redshift, BigQuery и т. д.)
• Профессиональная подготовка в области разработки и внедрения процессов ETL и потоков интеграции данных с использованием инструментов, таких как Apache Airflow, Informatica или Talend
• Знакомство с практиками управления данными, структурами обеспечения качества данных и принципами безопасности данных
• Сильные аналитические и проблемно-ориентированные способности, с профессиональной подготовкой в области перевода бизнес-требований в технические решения
• Исключительные коммуникационные и коллаборативные навыки, с возможностью эффективно сотрудничать с клиентами и межфункциональными командами
• Способность к самостоятельной и активной работе, с энтузиазмом по учению и увлечением последними разработками в области инженерии данных
• Способность работать в условиях неоднозначности и переводить потребности и желания клиента в реализуемые истории и эпики во время спринта. Это означает, что инженеры по данным понимают "гибкий" процесс доставки программного обеспечения
• Твердое понимание SDLC процесса
• Понимание объектно-ориентированного программирования
• Способность работать с минимальным руководством
• Опыт работы с AWS
• Настройка инженера-разработчика решений

Ключевые навыки

• AWS Glue
• AWS Lake Formation
• AWS Step Functions
• Amazon Redshift
• Amazon S3

Предпочтительные навыки и опыт

• Исследовательский подход при решении проблем
• Настрой "хорошего не достаточно" для наших клиентов
• Сертификации Snowflake или Databricks и/или практический опыт

Льготы и преимущества

Сотрудники, работающие на полную ставку, имеют право на наши программы льгот:

• Страхование здоровья (медицинское, стоматологическое и зрение),
• Страхование на случай временной нетрудоспособности, страхование на случай долгосрочной нетрудоспособности и страхование жизни,
• 401k с совпадающими взносами компании
• Оплачиваемый отпуск (до 120 часов в течение одного года)
• Выходные в праздники (14 дней в год)
• Все остальные предложения на усмотрение руководства и могут изменяться в любое время.

Зарплата по этой вакансии составляет от $104,900 до $149,800.

CA ID: IT10000584B

"Указанные диапазоны зарплаты предназначены только для информации и могут варьироваться в зависимости от опыта, квалификации и географического местоположения. Конечное предложение по зарплате будет определено на основе навыков кандидата и соответствия требованиями должности."

Это описание работы может не включать все возлагаемые обязанности, ответственность или аспекты работы. Оно может быть изменено в любое время по единоличному усмотрению работодателя. Задачи и обязанности могут быть скорректированы для разумного размещения лиц с инвалидностью. Для успешного выполнения этой работы необходимо иметь навыки, способности и умения, необходимые для эффективного выполнения каждой задачи. Данный документ не создает трудовой контракт, явный или подразумеваемый, кроме отношений "по согласию сторон". Effectual Inc. является работодателем, предоставляющим равные возможности (EEO) и не дискриминирует на основе какой-либо защищенной категории при найме, продвижении и других трудоустройствах.