Інженер з даними - Дослідження

Про стабільність:

Стабільність AI - це комуніті і місіонерська, відкрита для огляду компанія, що спеціалізується на штучному інтелекті та дбає про реальний світ та його застосування. Наші найбільші досягнення випливають з нашого різноманітного підходу до роботи в різних групах та дисциплінах. Ми не боїмося відхилятися від усталених норм і сприяти інноваціям. Ми завзяті щодо перетворення новаторськіх ідей у конкретні рішення. Наші динамічні громади складаються з фахівців, лідерів та партнерів по всьому світу, які розробляють передові відкриті моделі AI для зображень, мови, звуку, відео, 3D та біології.

Про роль:

Ми шукаємо талановитого інженера-розробника даних, який спеціалізується на ефективному масштабуванні розподілених завдань. Ви будете працювати спільно з розквітайучою багатодисциплінарною командою досвідчених науковців-дослідників і інженерів-розробників машинного навчання для підвищення ефективності в наших моделях. В цій ролі ви будете внести свій вклад у революційні проекти, такі як навчання найбільших відкритих моделей мови, і будете відповідальні за забезпечення збирання, обробки та використання даних відповідно.

Обов'язки:

• Очищати, стандартізувати та передобробляти дані способом, який дозволяє масштабування, для підготовки їх до введення в наші конвеєри навчання моделей машинного навчання, забезпечуючи високу якість даних.
• Створювати та підтримувати високо масштабовані розподілені завдання.
• Створювати конвеєри даних для введення та обробки даних (наприклад, зображень та тексту) для інтеграції в моделі ML.
• Управління ресурсами AWS.
• Бути в курсі методів, які допоможуть підвищити якість даних та / або підготувати дані для зображень, відео, LLMs і т.д.

Кваліфікація:

• Доведений досвід роботи з розподіленими завданнями великого масштабу.
• Досвід роботи з великими масштабами завантаження даних для навчальних прогонів машинного навчання.
• Досвід роботи з хмарним зберіганням та файловими системами. AWS (S3) має перевагу, але відкриті для інших хмарних платформ.
• Досвід роботи з Python + Pytorch.
• Досвід роботи з багатопроцесорним та багатопотоковим виконанням завдань на Python.
• Відмінні комунікативні навички для ефективної співпраці з користувачами, вирішення проблем та надання настанов.
• Уважність до деталей та здатність ефективно документувати процеси та рішення.
• Сильний інтерес до генеративного AI.
• Досвід роботи з проектами машинного навчання і, ідеально, деякі знання Deep learning / Comp Vision.
• Досвід роботи зі стеком завантаження даних (webdataset, torchdata, fsspec, AIstore) та паралельними манипуляціями з dataframe за допомогою Pyspark/Ray вітається.

Рівні можливості на роботі:

Ми пропонуємо рівні можливості для працевлаштування і не дискримінуємо на підставі раси, релігії, національної приналежності, гендеру, сексуальної орієнтації, віку, статусу ветерана, інвалідності або інших законом захищених статусів.