Machine Learning Engineer - Inference (Accelerated AI)

Together AI активно шукає талановитого Інженера з машинного навчання, щоб приєднатися до нашої динамічної команди Інферентного Енджину. Ця критична роль зосереджена на оптимізації та підвищенні продуктивності наших систем AI-інференції, використовуючи найсучасніші великі мовні моделі для забезпечення ефективності та масштабованості.

Якщо ви захоплюєтесь AI-інференцією, є експертом у PyTorch та досвідчені в розробці високо продуктивних систем, ми хочемо почути від вас. Ця позиція пропонує виняткову можливість співпрацювати з провідними дослідниками та інженерами в галузі AI, створюючи передові AI-рішення. Приєднуйтесь до Together AI та допоможіть формувати майбутнє AI!

• Розробляти та розвивати сучасні виробничі системи, що забезпечують роботу інферентного енджину Together AI, забезпечуючи надійність і продуктивність в умовах великого масштабу.
• Оптимізувати інференційні сервіси для широкого застосування AI.
• Співпрацювати з дослідниками, інженерами, менеджерами продукту та дизайнерами для впровадження нових функцій та дослідницьких можливостей.
• Проводити ретельну перевірку дизайну та коду для підтримання найвищих стандартів якості.
• Створювати сервіси, інструменти та комплексну документацію для розробників, щоб підтримувати інферентний енджин.
• Впроваджувати надійні та стійкі системи для збору та обробки даних.

• Мінімум 3 роки досвіду написання високо продуктивного, добре протестованого та виробничо-якісного коду.
• Висока компетенція в Python та PyTorch.
• Доведений досвід у створенні високо продуктивних бібліотек і інструментів.
• Виняткове розуміння концепцій низькорівневих операційних систем, включаючи багатопоточність, управління пам'яттю, мережі, зберігання даних, продуктивність та масштабованість.

• Знання існуючих систем AI-інференції, таких як TGI, vLLM, TensorRT-LLM, Optimum.
• Знайомство з техніками AI-інференції, такими як спекулятивне декодування.
• Досвід у програмуванні на CUDA/Triton.
• Бажано: Знайомство з Rust, Cython та компіляторами.

Together AI - це провідна компанія в галузі штучного інтелекту, керована дослідженнями. Ми прагнемо до відкритих та прозорих AI-систем, які стимулюють інновації та забезпечують найкращі результати для суспільства. Наша місія полягає в суттєвому зниженні витрат на сучасні AI-системи через спільне проектування програмного забезпечення, апаратного забезпечення, алгоритмів та моделей.

Ми внесли свій внесок у провідні відкриті дослідження, моделі та набори даних, щоб просувати межі AI. Наша команда відіграла ключову роль у технологічних проривах, таких як FlashAttention, Hyena, FlexGen та RedPajama. Приєднуйтесь до нашої пристрасної команди дослідників та інженерів у нашій подорожі з побудови наступного покоління AI-інфраструктури.

Ми пропонуємо конкурентоспроможний компенсаційний пакет, включаючи стартапову част