Инженер по данным Azure/Databricks - Empower (удаленная работа/основан в Канаде)

Описание компании

Обзор компании

Hitachi Solutions - это глобальный интегратор решений, который с увлечением занимается разработкой и внедрением передовых облачных решений, позволяющих нашим клиентам инновационно преобразовывать свой бизнес. Наша компания ответственна за создание бизнес-услуг и технологий, которые обеспечивают работу некоторых ваших повседневных продуктов. Мы тесно сотрудничаем с Microsoft и другими лидерами в сфере облачных вычислений.

То, что отличает Hitachi Solutions от других, это наша отраслевая ориентация, а также интеллектуальная собственность, которую мы предлагаем нашим клиентам. Мы получаем признание из года в год за наши достижения, проявляя все усилия, чтобы стать основным советником как для крупных, так и для средних предприятий, помогая им быстро реализовать свои стратегические бизнес-инициативы с помощью высококачественной инженерии, усердной работы и сострадания. С более чем 3000 членами команды в 14 странах, наша компания за 18 лет своего существования достигла значительного роста и высокой удовлетворенности клиентов. Этот успех позволил нам предложить конкурентоспособные зарплаты, соответствующие 401k, отпуск по уходу за ребенком и медицинское страхование. Нами не требуется наличие офиса или строгого рабочего графика.

Hitachi Solutions является частью Hitachi, Ltd., компании с богатой историей инноваций, здоровыми финансами и сильным международным присутствием. С 1910 года Hitachi, Ltd. является лидером в своей отрасли, выпуская инновационные продукты и решения, поддерживающие промышленность и социальную инфраструктуру во всем мире, при поддержке 303 000 сотрудников в более чем 100 странах и 864 компаниях.

Команда разработки новых продуктов и инноваций

Эта позиция является частью нашей команды разработки новых продуктов и инноваций, созданной в 2021 году. Роль обеспечивает возможность быстрого продвижения по карьерной лестнице и сотрудничества с командой веселых и энтузиастичных коллег в бурной обстановке, которая хорошо финансируется, ориентирована на гиперрост, быстротекуща, и способствует испытаниям и ошибкам во имя инноваций и инженерного совершенства.

Оснащенные существующим бизнес-портфелем и финансово обеспеченной материнской компанией, цель этой группы - помочь нам внедрить новые продукты, чтобы усилить наш уже сильный сервисный бизнес, целью которого является упрощение использования облака для наших клиентов, что позволит нам более эффективно достигать наших долгосрочных финансовых целей.

Описание вакансии

Обратите внимание: Несмотря на то, что наша позиция предлагает гибкость удаленной работы / виртуальной работы / работы из дома, вы ДОЛЖНЫ проживать в Канаде и иметь разрешение на работу там.

ИНЖЕНЕР ПО ДАННЫМ (DATABRICKS, PYTHON, SPARK) 

Это полная занятость в нашей продуктовой организации, которая ориентирована на высококвалифицированного инженера по данным с опытом проектирования систем больших данных, а также особыми навыками в области архитектуры данных, Spark и технологии Delta/Data Lake.

Сотрудники на этой должности будут помогать в проектировании, разработке, усовершенствовании и поддержке сложных продуктов для обработки данных, которые управляют критически важными бизнес-операциями и масштабными аналитическими конвейерами. В идеале, кандидаты проявляют подтвержденную способность быстро осваивать новые понятия, имеют опыт работы в области инженерии данных и/или имеют сильную экспертизу в области разработки программного обеспечения. 

Обязанности

• Работать с руководством команды над пониманием и расширением возможностей платформы.
• Проявлять независимость и автономность.
• Проектировать, разрабатывать, улучшать и поддерживать сложные продукты для обработки данных, которые управляют бизнес-критическими операциями и масштабными аналитическими приложениями.
• Иметь опыт руководства инженерами по данным среднего и высокого уровня. 
• Поддерживать команды аналитиков, специалистов по науке о данных и/или инженеров, понимая их уникальные потребности и проблемы. 
• Реализовывать отличие в процессах, методологиях, стандартах и выборе технологий, принятых командой.
• Быстро принимать новые идеи, чтобы оставаться в курсе быстро развивающихся технологий в области инженерии данных.
• Совершенствоваться в обучении, держать команду в курсе последних разработок в отрасли.
• Поддерживать развитие технической зрелости в компании. 

Квалификация

• 5+ лет опыта работы в области инженерии данных, в том числе 2+ года проектирования и создания конвейеров данных Databricks, являются ОБЯЗАТЕЛЬНЫМИ; предпочтительно опыт работы в облаке Azure, вместо этого рассматривается опыт работы с AWS, GCP или другой облачной платформой
• Опыт концептуального, логического и/или физического проектирования баз данных ВЫСОКО ЖЕЛАТЕЛЕН
• 2+ лет практического опыта работы с Python/Pyspark/SparkSQL ТРЕБУЮТСЯ; опыт работы со Scala будет преимуществом
• 2+ лет опыта работы с большими данными или с инструментами DAG (Airflow, Dbt, Data Factory или аналогичными) ТРЕБУЮТСЯ
• 2+ лет опыта работы со Spark, особенно с Databricks Spark и Delta Lake, ТРЕБУЮТСЯ
• 2+ года практического опыта работы в области облачных решений для больших данных, в частности, Data/Delta Lakes, ТРЕБУЮТСЯ
• 2+ лет опыта работы с контролем версий (git) в командной строке ТРЕБУЮТСЯ
• 2+ лет опыта работы с SQL, особенно в написании сложных, высоко оптимизированных запросов для больших объемов данных, ВЫСОКО ЖЕЛАТЕЛЕН
• Сильные возможности моделирования данных/профилирования данных с использованием методологии Kimball/star schema ВЫСОКО ЖЕЛАТЕЛЬНЫ
• Профессиональный опыт с Kafka или другой технологией живого потока данных ВЫСОКО ЖЕЛАТЕЛЕН
• Профессиональный опыт с конвейерами развертывания баз данных (например, dacpac’s или аналогичной технологией) ВЫСОКО ЖЕЛАТЕЛЕН
• Профессиональное знакомство с одной или несколькими системами модульного тестирования или качества данных ВЫСОКО ЖЕЛАТЕЛЕН

#LI-CA1

#REMOTE

#DATABRICKS

#SPARK

#DATALAKEHOUSE

#BIGDATA

Дополнительная информация

Мы являемся работодателем, предоставляющим равные возможности. Мы рассмотрим всех кандидатов на вакансии без учета возраста, расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, ветеранского статуса или инвалидности.