Пане Розробнику Databricks

Старший розробник Databricks буде відповідальним за впровадження та підтримку рішень на платформі AWS Databricks. Ви будете координувати запити даних від різних команд, переглядати та затверджувати ефективні методи введення, витягування, трансформації та підтримки даних в моделі з множинними переходами. Ви також будете працювати з членами команди, щоб наставляти інших розробників та розширювати їх знання та експертизу. Ви будете працювати в швидкому та високого обсягу обробки середовищі, де якість та увага до деталей є важливими. ОСНОВНІ ОБОВ'ЯЗКИ • Розробляйте високопродуктивні, безпечні рішення Databricks за допомогою Python, Spark, PySpark, Delta таблиць, UDP та Kafka. • Створюйте високоякісні технічні документи, включаючи карти даних, процеси даних та довідники з оперативної підтримки. • Перекладайте бізнес-вимоги в дизайн моделі даних та технічні рішення. • Розробляйте процеси введення даних за допомогою Python, Spark & PySpark для підтримки майже реального часу та процесів поступового введення. • Підтримуйте озеро даних та процеси побудови конвейерів, включаючи усунення проблем, підвищення продуктивності та покращення якості даних. • Тісно співпрацюйте з технічними лідерами, менеджерами продуктів та командою звітності для збору функціональних та системних вимог. • Працюйте в швидкому середовищі та ефективно виконуйте свої обов'язки в атмосфері гнучкої розробки. ВИМОГИ ДО ЗНАНЬ ТА НАВИЧОК • Бакалаврський ступінь з інформатики, систем інформації або такий, що прирівнюється до них. • Повинно мати 8+ років досвіду розробки застосунків за допомогою Python, Spark, PySpark, Java, Junit, Maven, та його екосистеми. • Повинно мати 4+ роки практичного досвіду роботи з AWS Databricks та пов'язаних технологій, таких як MapReduce, Spark, Hive, Parquet та AVRO. • Хороший досвід у впровадженні проектів DW BI від початку до кінця, особливо у розвитку складів даних та мартів даних. • Великий практичний досвід з RDD, Data frame та операціями Dataset Spark 3.x. • Досвід з проектуванням та впровадженням рамки ETL/ELT для складних складів / мартов. • Знання великих наборів даних та досвід з підвищенням продуктивності та усуненням неполадок. • Буде плюсом мати досвід з AWS Cloud Analytics: Lambda, Athena, S3, EMR, Redshift, Redshift spectrum. • Повинно мати RDBMS: Microsoft SQL Server, Oracle, MySQL. • Знайомство з Linux OS. • Розуміння архітектури даних, реплікації та адміністрування. • Досвід роботи з введенням даних в режимі реального часу за допомогою будь-якого інструменту потокового введення даних. • Сильні навички налагодження для усунення проблем у виробничому середовищі. • Вміння працювати в командному середовищі. • Практичний досвід роботи з Shell Scripting, Java, та SQL. • Здатність виявляти проблеми та ефективно комунікувати рішення з колегами та керівництвом. Labcorp пишається тим, що є роботодавцем, який надає рівні можливості: Як роботодавець, що підтримує рівність можливостей/дії, Labcorp виступає за різноманітність та включеність у робочу силу і не толерує жодної форми домагань або дискримінації. Наші рішення щодо працевлаштування базуються на потребах нашого бізнесу та кваліфікації особи, і ми не дискримінуємо за расу, релігію, колір шкіри, національне походження, гендер (включаючи вагітність або інші медичні стани/потреби), сімейний або батьківський статус, статус шлюбу, цивільного союзу або домашнього партнерства, сексуальну орієнтацію, гендерну самоідентифікацію, гендерну експресію, особисту появу, вік, статус ветерана, інвалідність, генетичну інформацію, або будь-яку іншу характеристику, що захищається законом. Ми заохочуємо всіх подавати свої заявки. Для отримання додаткової інформації про те, як ми збираємо та зберігаємо ваші особисті дані, будь ласка, ознайомтеся з нашою Політикою конфіденційності.