Инженер по данным

Описание работы: Nawy Proptech ищет усердного и умелого инженера по данным, который станет частью нашей динамичной команды. В качестве инженера по данным, ваша ключевая роль будет включать управление нашими стратегиями по управлению и анализом данных. Вы будете тесно сотрудничать с нашими специалистами по данным, аналитиками и программистами чтобы планировать, создавать и поддерживать конвейеры данных, чтобы наши данные всегда были доступны и надежны для анализа и принятия бизнес-решений. Обязанности: 1. Разработка конвейера данных: разработайте, создайте и поддержите надежные, масштабируемые конвейеры данных для загрузки, обработки и преобразования данных из различных источников, включая внутренние базы данных и внешние API. 2. Интеграция данных: работайте вместе с межфункциональными командами для объединения данных из различных систем и источников, гарантируя точность и целостность данных. 3. Контроль качества данных: производите проверку данных и контроль качества с целью обнаружить и устранить любые проблемы в конвейерах данных, тем самым поддерживая целостность данных. 4. Процессы ETL: создавайте и оптимизируйте процессы ETL (извлечение, преобразование, загрузка), чтобы гарантировать своевременную доставку данных, поддерживая требования бизнес-интеллекта и анализа данных. 5. Моделирование данных: участвуйте в стратегиях моделирования данных, которые включают проектирование структур данных и схем для удовлетворения требований аналитики и отчетности. 6. Оптимизация производительности: контролируйте и повышайте производительность и эффективность конвейеров данных и баз данных, внося необходимые коррективы для соответствия SLA. 7. Безопасность данных: реализуйте меры по защите данных и контролю доступа, чтобы защищать конфиденциальные данные и обеспечивать соблюдение законов о конфиденциальности данных. 8. Документирование: ведите тщательную документацию для конвейеров данных, процедур и систем для обмена знаниями и будущего использования. 9. Устранение неполадок и поддержка: предоставляйте необходимую поддержку по вопросам, связанным с данными и инцидентами, устанавливайте причины и быстро внедряйте решения. 10. Сотрудничество: тесно координируйтесь с учеными и аналитиками по данным, чтобы понять их потребности в данных и предоставить им соответствующую инфраструктуру данных и инструменты. Требования - Знакомство с облачными платформами данных (например, AWS, Azure, GCP). - Понимание инструментов для оркестровки данных (например, Apache Airflow, dbt). - Знание контейнеризации и оркестрации (например, Docker, Kubernetes). - Понимание лучших практик по безопасности данных и соблюдению требований.