Інженер з даних - Платформа Google Cloud

Старший інженер-дата-аналітик - векторні бази даних | GCP

Аналітична компанія Kaizen Analytix LLC, яка надає клієнтам неперевершену швидкість досягнення цінності за допомогою аналітичних рішень та дієвих бізнес-уявлень, шукає кваліфікованих кандидатів на посаду старшого інженера-дата-аналітика. Обрані професіонали будуть відповідальні за проектування, розробку та підтримку датапайплайнів і дата-варів у Google Cloud Platform. Ідеальний кандидат матиме глибоке розуміння принципів та кращих практик дата-інжинірінгу і буде комфортно працювати з великими, неструктурованими наборами даних (100 GB+), такими як відео, аудіо, зображення та текст. Ми шукаємо людей, які можуть підтримувати проекти ШІ, забезпечуючи необхідний дата-інжинірінг для зберігання результатів, заснованих на глибокому навчанні, таких як векторні вбудови, використовуючи потужні технології розподіленого обчислення.

Обов'язки:

Аналіз та дизайн

• Проводити сесії збору фактів з користувачами.
• Консультуватися з технічними керівниками та власниками бізнесу, щоб визначити та проаналізувати технологічні потреби та проблеми.
• Створювати діаграми потоків даних і/або моделювання процесів (архітектура коду).
• Розробляти, підтримувати датапайплайни і дата-вархауси на Google Cloud Platform.
• Працювати з заінтересованими сторонами, щоб зібрати вимоги та визначити моделі даних.
• Розробляти та розгортати датапайплайни, використовуючи інструменти та послуги Google Cloud Platform.
• Впроваджувати перевірку якості даних та моніторинг.
• Усувати проблеми з даними та проблеми з продуктивністю.
• Співпрацювати з іншими інженерами для розробки та підтримки інфраструктури данних компанії.
• Бути в курсі останніх технологій і тенденцій в дата-інжинірінгу.

Узгодженість зі стратегією

• Працювати з іншими членами технічної команди для постійного поліпшення стратегій впровадження, стандартів розробки та інших департаментських процесів та документації.
• Надавати технічну допомогу та наставництво молодшим інженерам-дата-аналітикам.
• Регулярно повідомляти про плани, статус та проблеми керівництву.
• Дотримуватися відділу стандартів, політики, процедур, та кращих практик у галузі.

Вимоги до кандидата:

• Ступінь бакалавра/магістра в області комп'ютерних наук, інформаційних систем або споріднених галузей.
• 5+ років досвіду в дата-інжинірінгу.
• Обов'язкове сертифікаційне професійне підтвердження GCP Data Engineer.
• Досвід в будь-яких проектах міграції, що включають дата-варінг і міграцію баз даних з однієї технології в іншу.
• Сильні навички програмування на Python для розробки ETL-скриптів.
• Глибоке розуміння принципів та кращих практик дата-інжинірінгу.
• Глибоке розуміння Vertex AI та Vector Search.
• Досвід роботи з іншими технологіями Google Cloud Platform, включаючи BigQuery, Cloud Dataproc, Cloud Dataflow та Cloud Data Fusion.
• Досвід з моделюванням даних та дата-вархаусингом.
• Досвід роботи з перевіркою якості даних та моніторингом.
• Досвід роботи з будь-якими IaC-інструментами, такими як Terraform, GCP Python Clients.
• Повинен мати знання про CI/CD-пайплайни та володіти використанням таких інструментів, як Jenkins, Cloud Build та TeamCity для створення необхідних пайплайнів для CI/CD.
• Самостартувальник, який пропонує рішення та ухиляється від проблем; здатний працювати в рамках жорстких дедлайнів.
• Здатний усувати ключові проблеми реалізації клієнтів та здатний шукати шляхи їх вирішення ефективно.
• Відповідальний за розробку концепції, архітектуру і кращі практики для інтеграції з екосистемою та інфраструктурою GCP.
• Готовий працювати з архітекторами доменів для розробки архітектури кінцевої рішення, включаючи застосування, інфраструктуру, дані, інтеграцію та області безпеки.

Буде плюсом:

• Досвід роботи з аналітикою даних соціальних медіа, яка стикається з даними високого об'єму та високої частоти.
• Досвід роботи над проектами розробки додатків, які фокусуються на дата-інжинірінгу, використовуючи будь-яку з мов програмування (Python, SQL, Java).
• Попередній досвід роботи з інструментами та поняттями Big Data, такими як Hadoop, MapReduce, Spark, Hive, HBase, Apache Airflow (оркестрація).