Инженер по работе с большими данными

От лица нашего клиента, активно развивающейся компании, специализирующейся на разработке программного обеспечения для анализа больших данных, мы в настоящее время ищем самостоятельного и ресурсного инженера по большим данным для усиления нашей команды разработчиков программного обеспечения. День из жизни инженера больших данных В качестве инженера по большим данным, ваше ежедневное внимание будет сосредоточено на использовании потенциала данных. Вы будете активно заниматься разработкой приложений на Scala и Spark, создавая и оптимизируя решения для обработки огромных объемов данных. Кроме того, вы будете отвечать за развертывание и мониторинг этих приложений в условиях работы с клиентами, гарантируя их бесперебойную работу. В духе командной работы вы также будете поддерживать другие команды в проектировании и создании приложений на Spark. Ваши ежедневные задачи включают: - Разработка аналитических алгоритмов в Spark - Использование Spark для трансформации и обработки сетевых данных - Оптимизация и тестирование приложений Spark - Развертывание и отслеживание работы приложений в условиях работы с клиентами - Помощь другим командам в дизайне и разработке приложений Spark Требования: - Минимум 3 года опыта разработки приложений Spark на PySpark и/или Scala - Отличные навыки развертывания и мониторинга распределенных приложений - Расширенный опыт работы с Unix-системами - Глубокие знания Python - Знание систем управления рабочими процессами, например, Airflow - Отличные навыки командной работы, коммуникации и логического мышления - Знакомство с инструментами контроля версий - Свободное владение английским языком в устной и письменной форме Мы ценим в вас, если вы - Направлены на результат - Вносите свой вклад в командную работу - Имеете стартаповый менталитет Преимущества Вы станете частью команды, которая предлагает не только материальное вознаграждение, но и: - Стабильное рабочее окружение с отличными перспективами - Поддержку коллег, которые являются экспертами в своем поле.