Інженер з обробки даних персоналу

NVIDIA шукає старших інженерів розподілених систем з орієнтацією на обробку даних для розробки та масштабування своїх AI та платформ глибокого навчання. Наша команда розробляє платформу розробника програмного забезпечення 2.0 з акцентом на набори даних для розробки AI-застосувань. Разом ми посилимо можливості NVIDIA створювати та впроваджувати провідні рішення для широкого спектру AI-застосувань, таких як автономні транспортні засоби, охорона здоров'я, віртуальна реальність, графічні двигуни та візуальні обчислення. Приєднуйтесь до нас, щоб разом з нашими партнерами NVIDIA оживити автономні транспортні засоби! Що ви будете робити: - Створювати архітектуру та побудувати масштабовані, розподілені системи для покращення, обчислень та трубопроводів даних для нашої централізованої дата-платформи, IT Data Lake. - Розробляти та створювати масштабовані дата-озера об'ємом у петабайти для структурованих та неструктурованих інтерфейсів запитів даних і мікросервісів для їх отримання, індексації, видобутку, трансформації та управління великими наборами даних. - Розробляти схеми витрат і використання даних у хмарі для перебирання, збору та трансформації терабайтів даних щодня. - Забезпечувати моделі даних та перегляди через терабайти даних, які можна використовувати аналітичними інструментами, такими як PowerBI, та створювати аналітику PowerBI для фінансового звітності. - Розробляти та впроваджувати підтримку версіонованих, відстежуваних та незмінних наборів даних у датасеті в розсіяному, масштабуємому способі. - Оптимізувати ефективний та продуманий вибір даних - ключовий компонент успішного машинного навчання! - Активно писати код високої якості з хорошим проектуванням та архітектурою, повністю протестований і переглянутий колегами. - Співпрацювати з різними продуктовими та інженерними командами для розуміння їх потреб у даних та обчисленнях (програмне забезпечення, обладнання, автомобілі, AI), інтегруючи їх нововведення та алгоритми в наші виробничі системи. - Автоматизувати все для вимірювання, тестування, оновлення, моніторингу та сповіщення про датасет. Що ми хотіли б побачити: - Бакалавр (або еквівалентний досвід) або магістр з області архітектури комп'ютера, комп'ютерних наук або пов’язаного з ними напряму інженерії за даними. - 8+ років практичного досвіду в області обробки даних, працюючи над розробкою та створенням програмного забезпечення із Великими даними, екосистемою Data Lake/Lake House, Data Analytics, архітектурою бекенд мікросервісів, та різними типами даних у великому масштабі. - Глибокий досвід створення ETL конвеєрів з використанням Databricks, Spark, Python, SQL, Scala, Kafka, Presto, Parquet, Streaming, подій, ботів, екосистеми AWS/cloud. - Досвід розробки Micro Services та використання рамок AWS, таких як SQS, Stream, Kubernetes, EC2, S3, Lambda тощо. - Досвід роботи з трубопроводами даних, аналізу, візуалізації інструментами, такими як Elastic stack, Logstash, Kibana, Kafka, Grafana, Splunk, Pandas, Message brokers, моделювання даних. - Експертні знання в області архітектури Data Lakehouse та кінцевих технік Databricks, включаючи компоненти Data Science. - Досвід впровадження циклу життя даних від Data Ingestion, Data Transformation до Data Consumption Layer. Знайомий з API та його застосуванням. - Знання хмарних рішень, таких як Kendra, SageMaker, Auto-ML, Big Query, RedShift, Glue, Athena. Як вам виділитися з-поміж інших: - Розуміння та досвід з Cost та Usages analytics є перевагою. - Експертні знання в Spark, Parquet, streaming, events, Kafka, telemetry, MapReduce, Hadoop, Hive, Presto, Spark, методах запитів даних та дашбордах. - Впровадження Enterprise використання випадків, таких як CMDB, Гувернанс, класифікація часових рядів, виявлення аномалій в телеметрії, логи та реальний час введення даних через API. - Досвід роботи зі структурованими даними, такими як Avro, Parquet, Protobuf, Thrift, та поняттями, такими як схема еволюції. - Знання Amazon Web Services, Kubernetes, Docker є плюсом. NVIDIA вважається одним з найпотужніших роботодавців у технічному світі. У нас працюють деякі з найбільш новаторських та працьовитих особистостей на планеті. Якщо ви творчі та автономні, ми хочемо чути вас! Основний діапазон зарплат становить від 160 000 USD до 304 750 USD. Ваша основна зарплата буде визначена в залежності від вашого місцезнаходження, досвіду та зарплати працівників на подібних посадах. Ви також будете мати право на акції та додаткові вигоди.