Господин Разработчик Databricks

Старший разработчик Databricks будет ответственен за внедрение и поддержание решений на платформе AWS Databricks. Вы будете координировать запросы данных от различных команд, рассматривать и утверждать эффективные методы для загрузки, извлечения, преобразования и поддержания данных в модели с множественными уровнями. Вы также будете работать с членами команды для наставничества другим разработчикам, расширяя их знания и компетенции. Вы будете работать в быстром темпе, в условиях высокой нагрузки на обработку, где качество и внимание к деталям являются неотъемлемой частью работы. ОСНОВНЫЕ ОБЯЗАННОСТИ • Разработка высокопроизводительных, безопасных решений Databricks с использованием Python, Spark, PySpark, Delta tables, UDP и Kafka. • Создание высококачественной технической документации, включая карты данных, процессы обработки данных и руководства по оперативной поддержке. • Преобразование бизнес-требований в проекты моделей данных и технические решения. • Разработка конвейеров для загрузки данных с помощью Python, Spark и PySpark для поддержки процессов загрузки в режиме реального времени и пакетной обработки. • Поддержание процессов работы с хранилищем данных и конвейерами, включая отладку проблем, тюнинг производительности и улучшение качества данных. • Плотное взаимодействие с техническими лидерами, продуктовыми менеджерами и командой отчетности для сбора функциональных и системных требований. • Работа в быстром темпе и эффективное ведение работы в среде Agile-разработки. ТРЕБОВАНИЯ К ЗНАНИЯМ И НАВЫКАМ • Высшее образование в области информатики, информационных систем или эквивалентное ему. • Не менее 8 лет опыта разработки приложений с использованием Python, Spark, PySpark, Java, Junit, Maven и их экосистемы. • Не менее 4 лет практического опыта работы с AWS Databricks и соответствующими технологиями, такими как MapReduce, Spark, Hive, Parquet и AVRO. • Опыт работы над полным циклом реализации проектов DW BI, в частности, в разработке хранилищ данных и мартов данных. • Обширный практический опыт работы с RDD, Data frame и Dataset operations of Spark 3.x. • Опыт проектирования и внедрения ETL/ELT-фреймворков для сложных хранилищ/мартов. • Знание обработки больших объемов данных и опыт оптимизации производительности и устранения проблем. • Будет плюсом опыт работы с AWS Cloud Analytics: Lambda, Athena, S3, EMR, Redshift, Redshift spectrum. • Требуется знание RDBMS: Microsoft SQL Server, Oracle, MySQL. • Знакомство с ОС Linux. • Понимание архитектуры данных, репликации и администрирования. • Опыт работы с инструментами для загрузки данных в режиме реального времени. • Сильные навыки отладки для устранения проблем в рабочей среде. • Способность работать в команде. • Практический опыт работы с Shell Scripting, Java и SQL. • Способность определять проблемы и эффективно сообщать о решениях коллегам и руководству. Labcorp гордится тем, что является работодателем, предоставляющим равные возможности: Как работодатель, поддерживающий равенство возможностей и недопущение дискриминации, Labcorp выступает за разнообразие и инклюзию в рабочем коллективе и не допускает никакого вида домогательства или дискриминации. Наши решения о приеме на работу основываются на потребностях нашего бизнеса и квалификации кандидата, и мы не дискриминируем по признакам расы, религии, цвета кожи, национального происхождения, пола (включая беременность или другие медицинские условия/потребности), семейного или родительского статуса, семейного, гражданского или партнерского статуса, сексуальной ориентации, гендерной идентичности, гендерного самовыражения, внешнего вида, возраста, ветеранского статуса, инвалидности, генетической информации или любого другого юридически защищенного характеристика. Мы приглашаем всех подать заявку. Дополнительную информацию о том, как мы собираем и храним ваши персональные данные, вы можете найти в нашем Заявлении о конфиденциальности.