Інженер з великих даних

Інженер Big Data Kaizen Analytix LLC, компанія, що спеціалізується на продуктах та послугах з аналітики та пропонує безпрецедентну швидкість досягнення цінності через аналітичні рішення та важливі для бізнесу висновки, шукає кваліфікованих кандидатів на посаду Інженера Big Data. Ми шукаємо висококваліфікованих професіоналів з певним досвідом, відповідальних за проектування, розробку та підтримку потоків даних та сховищ даних за допомогою екосистеми Hadoop, включаючи HDFS, Spark, Hive, HBase, Sqoop, Pig, Oozie або еквівалентні хмарні пропозиції, такі як AWS EMR, GCP Dataproc, Azure HDInsights. Ідеальний кандидат повинен мати глибоке розуміння принципів та найкращих практик інженерії даних, а також досвід роботи з величезними наборами даних. Обов'язки: Аналіз та проектування - Проводить сесії збору фактів з користувачами. - Консультується з технічними менеджерами та власниками бізнесу щодо визначення та аналізу технологічних потреб і проблем. - Виконує діаграмування потоку даних та/або моделювання процесів (архітектура коду). - Проектує, розробляє та підтримує потоки даних та сховища даних на бажаних хмарних платформах (наприклад, AWS, GCP, Azure). - Працює з зацікавленими сторонами для заведення вимог та визначення моделей даних. - Розробляє та розгортає потоки даних на хмарних платформах за допомогою інструментів та послуг big data. - Впроваджує перевірки якості даних та моніторинг. - Усуває проблеми з даними та проблеми з продуктивністю. - Працює з іншими інженерами для розробки та підтримки інфраструктури даних компанії. - Слідкує за останніми технологіями та тенденціями в інженерії даних. Сумісність зі стратегією - Працює з іншими членами технічної команди для постійного вдосконалення стратегій впровадження, стандартів розробки та інших віддільних процесів та документації. - Надає технічну допомогу та наставництво молодшим інженерам з даних. - Регулярно повідомляє про плани, статус та проблеми до керівництва. - Дотримується віддільних стандартів, політик, процедур та найкращих практик індустрії. Вимоги до роботи: - Бакалавр / магістр комп'ютерних наук, інформаційних систем або суміжної галузі. - 4+ років досвіду роботи в інженерії даних та інструментах big data. - Досвід у будь-яких міграційних проектах, які передбачають сховище даних, переміщення баз даних з однієї технології до іншої. - Сильні навички програмування на Scala / Java для розробки ETL-скриптів. - Глибоке розуміння принципів і найкращих практик інженерії даних. - Тверда практична знання Spark з використанням Scala / Java. - Відповідний рівень вмінь у Map Reduce, форматах великих файлів даних, розподілі, підтримці дубліката технологічних методів стиснення. - Досвід роботи з будь-якою хмарною платформою та їх пропозиціями інструментарію Hadoop, таких як Google Cloud Platform - Dataproc, Cloud Dataflow і Cloud Data Fusion, AWS Elastic Map-Reduce. - Досвід моделювання даних та складування даних. - Досвід перевірки якості даних та моніторингу. - Повинен знати CI / CD-потоки та володіти використанням інструментів, таких як Jenkins, Cloud Build і TeamCity, для створення необхідних потоків для CI / CD. - Повинен бути самомотивований, здатний пропонувати рішення та обходні шляхи і виконувати роботу в строгі терміни. - Здатність усувати ключові проблеми впровадження клієнтів і приводити їх до успішного вирішення. - Здатність співпрацювати з архітекторами домену для розробки комплексної архітектури рішень, включаючи застосування, інфраструктуру, дані, інтеграцію та безпеку. Гарно мати: - Професійне свідоцтво інженера з даних є бажаним. - Знання Python Fundamentals та HiveQL / SQL є плюсом. - Досвід роботи з аналітикою даних соціальних медіа, яка включає велику кількість даних та високу частоту даних. - Досвід у проектах розробки додатків, спрямованих на інженерні роботи з даними за допомогою будь-якої з мов програмування (Python, SQL, Java), є бажаним. - Попередній досвід роботи з інструментами та концепціями big data, такими як Hadoop, MapReduce, Spark, Hive, HBase, Apache Airflow (оркестрація), буде перевагою.