Senior Data Engineer

У Synack ми використовуємо передові технології, щоб надати найкращим фахівцям з кібербезпеки можливість захищати наш цифровий ландшафт. Ми захищаємо провідні глобальні організації, знижуючи їхні ризики безпеки та посилюючи їхню оборону проти кіберзагроз. Наш підхід поєднує контрольовану платформу з експертизою найбільш надійних етичних хакерів, забезпечуючи безкомпромісну безпеку.

Підтримувані провідними венчурними компаніями, такими як Kleiner Perkins Caufield & Byers, Microsoft і Google Ventures, наша місія полягає в тому, щоб використовувати глобальну експертизу в галузі безпеки і передові технології, щоб допомогти підприємствам виявити вразливості безпеки до того, як вони стануть великими проблемами. Відкрийте своє майбутнє з Synack!

Ми шукаємо досвідченого та інноваційного Старшого Інженера Даних, щоб покращити наш сховище даних та розробити передові потокові та пакетні дані продуктів, які переосмислять кібербезпеку. Використовуючи хмарні технології та методології DevOps, ви будете обробляти дані, щоб збільшити прозорість діяльності нашої команди Red Team і вдосконалити методи оцінки безпеки наших клієнтів.

Цікавить? Читайте далі...

• Підтримка та розширення сховища даних для надання даних інсайтів для різних зацікавлених сторін.
• Розробка пакетних ETL-пайплайнів за допомогою BigQuery або еквівалентних рішень, оркеструючи з такими інструментами як Airflow та Puppet.
• Використання технологій обробки потоків (наприклад, Apache Flink, Kafka, Cloud Functions) для створення надійної платформи потокової передачі подій.
• Підтримка і розширення інфраструктури як коду (на базі Terraform) для платформи даних.
• Підтримка існуючих продуктів на виробництві, включаючи API, пайплайни даних, реляційні бази даних та NoSQL документальні сховища.
• Створення моделей даних для панелей управління за допомогою Looker, Tableau або Superset та для інтерактивних застосунків, вбудованих у UI.
• Розробка інноваційних аналітичних рішень та ідей для отримання дійсних інсайтів.
• Співпраця з інженерами та менеджерами продуктів по всій компанії.
• Внесок у розвиток аналітики даних, моделей машинного навчання та застосунків AI для вирішення реальних проблем.

• 8+ років досвіду у розробці сховищ даних, таких як BigQuery, Redshift, Databricks.
• 5+ років досвіду програмування на Python, SQL, та Java/Scala.
• 5+ років досвіду у впровадженні пакетних пайплайнів даних за допомогою сучасних технологій, таких як BigQuery або Spark.
• 3+ років досвіду у розробці та створенні реальних рішень з потоковими даними за допомогою Kafka, kSQL, Spark, Flink або подібних рішень.
• Високий рівень володіння різними системами баз даних, включаючи OLAP/delta lake, реляційні бази даних (PostgreSQL) та NoSQL документальне сховище.
• Досвід у провідній розробці додатків.