Інженер з даних

Опис роботи: Nawy Proptech у пошуках відданого і вмілого Інженера Даних для приєднання до нашої дружної команди. Як Інженер Даних, ваша ключова роль полягатиме у роботі з нашими стратегіями управління даними та аналізу. Ви будете тісно співпрацювати з нашими дата-науковцями, аналітиками та програмістами для планування, генерації та підтримки трубопроводів даних, забезпечуючи доступність та надійність наших даних для аналізу та прийняття бізнес-рішень. Обов'язки: 1. Розробка трубопроводу даних: Розробляйте, будуйте та підтримуйте міцні, масштабні трубопроводи даних для отримання, обробки та трансформації даних з різноманітних джерел, включаючи внутрішні бази даних та зовнішні API. 2. Інтеграція даних: Працюйте разом з командами-функціоналами для злиття даних з різних систем та джерел, забезпечуючи точність і послідовність даних. 3. Забезпечення якості даних: Проводьте перевірку даних та контроль якості, щоб виявити та виправити будь-які проблеми в трубопроводах даних, тим самим зберігаючи цілісність даних. 4. Процеси ETL: Створюйте та оптимізуйте процеси ETL (Видобуток, Трансформація, Завантаження), щоб гарантувати своєчасну доставку даних, підтримуючи вимоги бізнес-інтелекту та аналізу даних. 5. Моделювання даних: Допоможіть у стратегіях моделювання даних, які включають проектування структур даних та схем для задоволення вимог щодо аналітики та звітності. 6. Оптимізація продуктивності: Слідкуйте та покращуйте продуктивність та ефективність трубопроводів даних та баз даних, роблячи необхідні налаштування відповідно до SLA. 7. Безпека даних: Впроваджуйте заходи безпеки даних та контрольних доступів, для забезпечення захисту конфіденційних даних і відповідності законам про конфіденційність даних. 8. Документація: Зберігайте детальну документацію для трубопроводів даних, процедур, і систем для обміну знаннями та майбутнього посилання. 9. Усунення неполадок і підтримка: Надавайте необхідну підтримку, пов'язану з проблемами та інцидентами з даними, з'ясовуйте причини та своєчасно впроваджуйте рішення. 10. Співпраця: Тісно співпрацюйте з дата-науковцями та аналітиками, щоб зрозуміти їхні потреби у даних і надати їм відповідну інфраструктуру даних та необхідні інструменти. Вимоги: - Знайомство з облачними платформами для даних (наприклад, AWS, Azure, GCP). - Розуміння інструментів оркестрації даних (наприклад, Apache Airflow, dbt). - Знання контейнеризації та оркестрації (наприклад, Docker, Kubernetes). - Розуміння найкращих практик безпеки даних та виповнення вимог.