Data Engineer (f/m/x) in the field of AI & Satellite Data

LiveEO находится на переднем крае использования спутниковых изображений и искусственного интеллекта для предоставления революционных инсайтов для различных отраслей промышленности. Наши передовые решения, такие как определение высоты деревьев для защиты энергетических сетей и выявление опасных строек вокруг критически важной инфраструктуры, жизненно важны для процесса принятия решений нашими клиентами.

Мы ищем высококвалифицированного инженера по данным для нашей команды AI. Вы будете играть ключевую роль в разработке передовых геопространственных моделей AI, создавая надежные, автоматизированные и эффективные конвейеры данных. Эти конвейеры будут преобразовывать терабайты спутниковых данных в форматы, готовые для машинного обучения, способствуя масштабному обучению моделей.

Ваши Обязанности

• Разработка, реализация и поддержка конвейеров данных для крупномасштабных геопространственных растровых данных.
• Автоматизация рабочих процессов данных с использованием оркестрационных движков, таких как Prefect.
• Управление и оптимизация реляционных баз данных, обеспечение целостности и производительности данных (предпочтительно опыт работы с PostgreSQL и Snowflake).
• Постоянное улучшение рамок обработки данных, решение проблем в масштабных конвейерах машинного обучения и обработке спутниковых изображений.
• Обеспечение выбора данных, наблюдаемости и версионности как данных, так и моделей, а также автоматизированного контроля качества данных.

Ваш Профиль

• Подтвержденный опыт разработки, создания и поддержки высокопроизводительных конвейеров данных, особенно для растровых данных.
• Глубокие знания создания и управления ETL-конвейерами.
• Владение Python, с акцентом на написание чистого, эффективного и поддерживаемого кода.
• Знание параллельных вычислений, конкурентного программирования и оптимизации производительности для обработки больших объемов данных.
• Инициативное решение проблем с готовностью решать сложные и разнообразные технические задачи, стимулируя инновации для повышения качества данных и эффективности процессов.
• Знание методов обработки геопространственных и дистанционных данных является значительным плюсом.
• Опыт работы с инструментами и практиками Machine Learning Operations (MLOps) в масштабах желателен.
• Умение управлять реляционными базами данных, такими как PostgreSQL и Snowflake, с солидным пониманием проектирования баз данных и оптимизации запросов.
• Готовность к переезду в Берлин или проживание в Берлине.

Технологический стек и инструменты

• Программирование: Python (включая Rasterio, Numpy, PDAL, OSGEO, Geopandas, SQLAlchemy)
• Оркестрация: Prefect, Anyscale/Ray
• Базы данных: PostgreSQL, PostGIS
• Инфраструктура: Docker, AWS
• ГИС: QGIS, GDAL

Преимущества Присоединения к LiveEO

• Возможность создавать продукты, которые улучшают бизнес-процессы и жизнь людей по всему миру.
• Гибкий график работы и гибридная модель работы для поддержки здорового баланса работы и личной жизни.
• Возможность развития карьеры, проявления инициативы и творчества.
• Культура, которая уважает баланс работы и личной жизни, с минимальной переработкой и компенсационным выходным временем.
• Увлекательные мероприятия для команды, включая беговые группы, командные виды спорта, скалолазание и пикники.
• Совместная среда для обучения с рабочими семинарами, сессиями обмена знаниями, журнал-клубами и хакатонами.
• Офис, расположенный в сердце Крой