Data Engineer

Присоединяйтесь к нашей команде в качестве инженера по данным в Гане!

О bigspark

В bigspark, передовой консультационной компании из Великобритании, мы посвящены созданию передовых платформ и решений в области данных. Специализируясь на технологиях, таких как Apache Spark, Apache Kafka, а также в областях машинного обучения, инженерии данных, потоковой передачи и науки о данных, мы рады расширить нашу команду. В настоящее время мы ищем опытного инженера по данным для присоединения к нашей удаленной команде в Гане. Это постоянная удаленная роль, позволяющая вам работать из дома и вносить вклад в значительные проекты по всему миру.

Ваша новая роль

В качестве инженера по данным в bigspark, вы будете:

• Разрабатывать и поддерживать масштабируемые, расширяемые и высокодоступные пайплайны данных на разнообразных наборах данных для поддержки критически важных приложений.
• Сотрудничать с динамичной командой, обладающей навыками в Python, Java, Scala и других языках.
• Прямо взаимодействовать с заинтересованными сторонами и руководителями программ для сбора и понимания требований клиентов.
• Использовать предопределенные архитектурные компоненты для создания и согласования жизнеспособных дизайнерских решений.
• Предоставлять клиентам высококачественные услуги разработки программного обеспечения, сотрудничая с членами глобальной команды.

Навыки, опыт и квалификация

Для успешной работы в этой роли вы должны иметь:

• Степень бакалавра наук или выше по специальности компьютерные науки, наука о данных или математика.
• Не менее 3-5 лет опыта работы в коммерческой среде разработки программного обеспечения.
• Знание моделирования данных, DWH, Lakes, ETL, ELT, виртуализации и потоковой передачи.
• Опыт работы со стеком больших данных, включая Hadoop, Spark, Hive/Impala, Kafka и Snowflake.
• Знание форматов хранения, таких как Avro, Parquet, ORC.
• Твердые знания объектно-ориентированных языков программирования, таких как Python, C#, Java или Scala.
• Умение работать с интеграциями баз данных (SQL/NoSQL) и обработкой данных в большом объеме.
• Знакомство с системами управления версиями, предпочтительно GitHub, и понимание инструментов CI, таких как Jenkins.
• Желание учиться и ад