Старший інженер-програміст системного програмного забезпечення - Продуктивність - Прискорений Apache Spark

Ми шукаємо досвідчених інженерів системного програмного забезпечення, які володіють Apache Spark, щоб приєднатися до нашої команди та допомогти нам очолити інновації в області прискореного оброблення даних на відеокартах. В Nvidia, яка очолює відео прискорення, ми розробляємо наступне покоління екосистем оброблення даних. Для науковців-дослідників даних велика частина часу йде на вивчення даних та експерименти з машинним навчанням (ML). Кожна година обчислень, необхідних для проходження через набори даних, вилучення ознак та підгонки алгоритмів ML, уповільнює ефективний бізнес-процес. Nvidia вважає, що робочі процеси науки про дані можуть значно виграти в швидкості, дозволяючи науковцям вивчати значно більше наборів даних і швидше та ефективніше рухатися до своїх бізнес-цілей. В Nvidia ми з ентузіазмом працюємо над складними проблемами, які мають реальний вплив. Вам потрібно мати досвід роботи з додатками Apache Spark, вміння програмувати, а також знайомство з відкритими рамками обробки великих даних. Ви будете співпрацювати з командою інженерів, щоб прискорити Apache Spark з відеокартами за допомогою CUDA та відкритих бібліотек. Це важливе вкладення для Nvidia. Код вже використовують кілька провайдерів хмарних послуг і дистрибутивів Apache Spark. Nvidia лідирує в області впровадження майбутнього дата-центру з платформою процесора-відеокарти, тому прискорення обробки даних стане необхідністю для всіх підприємств. Що вам доведеться робити: - Масштабування прискорення Apache Spark для високопродуктивних відеокарт та з новою платформою суперчіпа Grace Hopper. - Співпраця з обраними клієнтами та партнерами для прискорення додатків Apache Spark з відеокартами у власних та хмарних середовищах. - Проведення бенчмаркінгу та оптимізації робочих навантажень Apache Spark на відеокартах для прискорення продуктивності. - Розробка інструментів для аналізу робочих навантажень обробки даних щоб ідентифікувати можливості для прискорення та економії витрат. - Допомога у визначенні архітектури довідки для обчислювальної хмари наступного покоління. - Робота з головними провайдерами хмарних послуг та виробниками Spark по всьому світу для впровадження прискореного обчислення для використання обробки даних. Що ми хочемо бачити: - 8+ років досвіду у розробці програмного забезпечення, більшість з яких - в області обробки даних. - 3+ роки практичного досвіду розробки та проектування додатків на Apache Spark. - Вища освіта з комп'ютерних наук або суміжної галузі. - Знайомство з сучасною відкритою екосистемою даних (Apache Hadoop, Flink, Presto, Hive, Kafka, TensorFlow, PyTorch тощо) - Глибоке розуміння оптимізації продуктивності в низькорівневих середовищах. - Досвід написання високопродуктивного дистрибутивного програмного забезпечення великого масштабу. - Досвід роботи на публічних та приватних хмарних платформах. - Попередній досвід підтримки корпоративних клієнтів. - Знання SQL, Python та Scala/Java. - Відмінні комунікативні, презентаційні та технічні навички. Як виділитися з-поміж інших: - Знання RAPIDS та UCX. - Досвід оптимізації продуктивності у середовищах CSP для використання великих даних. - Розуміння та вміння в конфігурації апаратного забезпечення з огляду на продуктивність та вартість. - Досвід роботи та розробки на відеокартах. Ми широко визнані одним з найбажаніших роботодавців у світі технологій, і як результат, деякі з найбільш інноваційних і трудолюбивих людей у світі працюють для нас. Якщо ви пристрасні, креативні та цілеспрямовані, ми будемо раді вас бачити в команді. З конкурентоспроможними зарплатами та всебічними пакетами соціальних пільг, ми вважаємося одним з найбільш привабливих у світі технологій роботодавців. У нас працюють деякі з найкреативніших та найбільш працьовитих людей у світі, і, в зв'язку з винятковим ростом, наші унікальні інженерні команди швидко розширюються. Якщо ви з власної волі інженер з великим палом до технологій, ми хотіли б почути про вас. Діапазон основної зарплати становить від 216 000 до 333 500 доларів. Ваша базова зарплата буде визначена на основі вашого місцезнаходження, досвіду та зарплати співробітників на подібних посадах. Крім вашої зарплати, ви також будете мати право на придбання акцій компанії та отримання інших пільг. NVIDIA приймає заявки на роботу на постійній основі.