Staff Software Engineer – Cloud Data Pipeline

Компанія: Calix

Місцезнаходження: Бангалор, Індія

Calix є піонером у трансформації постачальників послуг для надання унікального досвіду абонентам у середовищах розумного дому та бізнесу. Ми використовуємо хмарні послуги, телеметрію, аналітику, автоматизацію та програмно-керовані адаптивні мережі для ефективної монетизації їх мереж. Як частина нашої високопродуктивної глобальної команди, ідеальний кандидат зробить значний вплив як інженер-хмарних даних, керуючи архітектурним дизайном, реалізацією та технічним керівництвом у сфері поглинання, вилучення та трансформації даних.

• Тісно співпрацювати з власниками продуктів облаками для розуміння та аналізу вимог до продуктів, надавати конструктивний зворотний зв'язок.
• Проектувати та переглядати архітектуру хмарних конвеєрів даних, зосереджуючись на службах поглинання, вилучення та трансформації даних.
• Реалізувати та покращувати інструменти підтримки для моніторингу, вирішення проблем конвеєра даних та інтерпретації тенденцій та шаблонів.
• Забезпечувати технічне керівництво у розробці програмного забезпечення для забезпечення стабільності, надійності, масштабованості та безпеки сервісу.
• Керувати технічними обговореннями в інженерній команді та надавати інформовані технічні рекомендації.
• Проводити огляди дизайну та коду з інженерами-колегами.
• Керувати архітектурою тестування для масштабних процесів поглинання та трансформації даних.
• Виступати у ролі інженера, який працює з клієнтами для налагодження та вирішення польових проблем.

• Ступінь бакалавра з інформатики, інженерії, математики або еквівалентний досвід.
• 10+ років досвіду у розробці програмного забезпечення.
• 4+ років досвіду розробки у сфері ETL та/або реалізації конвеєрів даних.
• Висока організованість та орієнтація на цілі, здатність успішно працювати у високодинамічному середовищі.
• Глибоке розуміння розподілених систем та RESTful API.
• Досвід роботи з великими хмарними проектами з даними, бажано в AWS або Azure.
• Практичний досвід реалізації інфраструктури конвеєрів даних для поглинання та трансформації даних, забезпечуючи майже реальну доступність даних для додатків, BI-аналітики та ML-конвеєрів.
• Глибокі знання технологій Data Lake, форматів зберігання даних (Parquet, ORC, Avro) та механізмів запитів (Athena, Presto, Dremio).
• Досвід проектування потокових та подієвих рішень для даних (Kafka, Kinesis тощо).
• Доведенний досвід у побудові конвеєрів даних з використанням таких інструментів як Flink або Spark.
• Досвід роботи з хмарними сховищами даних, такими як Greenplum, RedShift, Azure SQL Data Warehouse.
• Здатність розробляти оптимізовані за витратами рішення для великих наборів даних з використанням відкритих фреймворків.