Data Engineer

Описание работы

DXC Technology ищет опытного Инженера по данным. Идеальный кандидат будет разрабатывать, внедрять и тестировать программы и скрипты для автоматизации задач и обработки данных, используя SQL для операционного использования. К обязанностям относится проведение анализа данных, управление и контроль за безопасностью данных, а также документирование процедур и лучших практик.

• Оптимизация и улучшение производительности обработки данных путем выявления и устранения проблем производительности.
• Разработка, внедрение и тестирование скриптов и программ на Python для автоматизации задач по обработке и анализу данных.
• Использование сложных SQL-запросов для извлечения, манипулирования, преобразования, загрузки данных и оптимизации производительности и эффективности.
• Проектирование, моделирование и оптимизация моделей данных и структур данных для эффективной отчетности, анализа, визуализации данных и обмена данными.
• Сотрудничество с командами бизнес-аналитики, приложений и консультантов для удовлетворения потребностей клиентов и решения их задач с данными.
• Выполнение анализа данных и профилирования для выявления проблем качества данных, аномалий и возможностей для улучшения.
• Участие в управлении и контроле за безопасностью данных и аномалиями доступа.
• Документирование и обновление процедур и лучших практик, связанных с Python, библиотеками, алгоритмами и другими технологиями обработки данных. Предложение инновационных решений.

• Минимум 3 года опыта работы в области инженерии данных.
• Опыт работы с облачными платформами, такими как AWS, Azure или GCP.
• Профессиональные навыки разработки интеграции данных (ETL/ELT) с использованием Python, PySpark и SparkSQL.
• Опыт работы с технологиями хранилищ данных, такими как Redshift, Snowflake или BigQuery.
• Знание технологий озер данных, включая Hadoop, Spark и Hive.
• Опыт работы с инструментами оркестрации, такими как Airflow или Control-M.
• Знакомство с фреймворками машинного обучения, такими как TensorFlow, PyTorch и sci-kit-learn.
• Отличные навыки решения проблем и аналитические способности.
• Сильные коммуникативные и межличностные навыки.
• Отличные навыки общения на английском языке.

Пожалуйста, будьте настороже перед мошенничеством