Инженер по работе с данными штата

NVIDIA ищет для найма старших инженеров по распределенным системам со специализацией в области инжиниринга данных для разработки и масштабирования своих платформ ИИ и глубокого обучения. Наша команда разрабатывает платформу для разработчиков программного обеспечения 2.0 с акцентом на наборы данных для разработки приложений ИИ. Вместе мы усилим способности NVIDIA по созданию и внедрению передовых решений для самых разных приложений на основе ИИ, таких как автономные транспортные средства, здравоохранение, виртуальная реальность, графические движки и визуальные вычисления. Присоединяйтесь к нам, чтобы воплотить в жизнь автономные транспортные средства с нашими партнерами NVIDIA! Что вам предстоит делать: - Проектировать и создавать масштабируемые, распределенные системы для улучшения, вычислений и данных по трубопроводам, чтобы запустить нашу централизованную платформу для обработки данных, IT Data Lake. - Проектировать и строить масштабируемые хранилища данных петабайтного класса для структурированных и неструктурированных интерфейсов запросов к данным и микросервисов для загрузки, индексирования, извлечения, преобразования и управления большими наборами данных. - Разрабатывать шаблоны расходов и использования облачных данных для обхода, сбора и преобразования терабайт данных ежедневно. - Создавать модели данных и представления на терабайтах данных, которые могут быть использованы аналитическими инструментами, такими как PowerBI, и создавать аналитику PowerBI для финансового отчетности. - Разрабатывать и внедрять поддержку версированных, трассируемых и неизменяемых наборов данных в "озере данных" распределенным, масштабируемым способом. - Оптимизировать эффективный и проницательный выбор данных – ключевой компонент успешного машинного обучения! - Регулярно писать код высокого качества с хорошей архитектурой и дизайном, полностью протестированный и проверенный коллегами. - Сотрудничать с различными командами по продуктам и инженерии, чтобы понять их требования к данным и вычислениям (Программное обеспечение, Оборудование, Автомобили, ИИ), интегрируя их инновации и алгоритмы в наши производственные системы. - Автоматизировать все для измерения, тестирования, обновления, мониторинга и оповещения платформы данных. Что мы хотим видеть: - Бакалавр (или соответствующий опыт) или магистр по направлению "Архитектура компьютеров", "Информатика", или связанная с обработкой больших данных инженерная специальность. - 8+ лет подтвержденного опыта в инжиниринге данных, работая над проектированием и разработкой программного обеспечения с Big Data, экосистемой Data Lake/ Lake House, Data Analytics, архитектурой микросервисов и различными типами данных в масштабе. - Глубокий опыт в создании ETL-каналов, используя Databricks, Spark, Python, SQL, Scala, Kafka, Presto, Parquet, Streaming, события, боты, AWS/cloud экосистему. - Владение разработкой микросервисов и использованием фреймворков AWS, таких как SQS, Stream, Kubernetes, EC2, S3, Lambda, и др. - Опыт работы с каналами данных, анализом, визуализационными инструментами, такими как Elastic stack, Logstash, Kibana, Kafka, Grafana, Splunk, Pandas, Message brokers, Data modeling. - Знание архитектуры Data Lakehouse и инструментов Databricks от и до, включая компоненты Data Science. - Опыт работы с жизненным циклом данных от этапа Data Ingestion до этапа Data Consumption. Знакомство с API и его применением. - Знание облачных решений вроде Kendra, SageMaker, Auto-ML, Big Query, RedShift, Glue, Athena. Как выделяться из толпы: - Понимание и опыт работы с Cost and Usages аналитикой приветствуются. - Экспертиза в области Spark, Parquet, streaming, событий, Kafka, телеметрии, MapReduce, Hadoop, Hive, Presto, Spark, методов запроса данных и подготовки отчетности. - Реализация корпоративных сценариев использования, таких как CMDB, управление, классификация временных рядов, определение аномалий в телеметрии, логи и реальное время загрузки данных через API. - Опыт работы со структурированными данными, такими как Avro, Parquet, Protobuf, Thrift, и концепциями, такими как эволюция схемы. - Практические знания Amazon Web Services, Kubernetes, Docker приветствуются. NVIDIA считается одним из наиболее привлекательных для работы технологических работодателей. У нас работают некоторые из самых инновационных и трудолюбивых людей на планете. Если вы творческий и самостоятельный, мы хотим услышать от вас! Диапазон базовой зарплаты составляет от 160 000 до 304 750 долларов США. Ваша базовая заработная плата будет определена в соответствии с вашим месторасположением, опытом и зарплатой сотрудников на аналогичных должностях. Вы также будете допущены к участию в программе акционерства и получите соответствующие блага.