Посадова підсумкова інформація

Інженер з даних створює шляхи для транспортування даних з їх вихідного джерела до сховища даних. Ці шляхи є життєво важливими, дозволяючи організації отримати доступ і аналізувати свої дані для прийняття бізнес-рішень. Дані про трубопроводи переносять і трансформують дані відповідно до встановлених бізнес-правил або дослідницьких аналізів, які бізнес хотів би провести. Інженер з даних готує і організовує дані, які організації накопичили в своїх базах даних та інших форматах.

День у житті інженера-розробника машинного навчання

День інженера з даних починається з конструювання та подачі високоякісних архітектур даних та трубопроводів для підтримки клієнтів, бізнес-аналітиків та дата-вчених. Інженери з даних співпрацюють з іншими технічними командами для видобування, трансформації та завантаження [ETL] даних з широкого спектра джерел даних. Успішні інженери з даних постійно поліпшують діючу звітність та процеси, а також автоматизують або спрощують самообслуговування для клієнтів. Інженери з даних розробляють, кодують і випускають скрипти, написані на Python, оскільки Python є основною мовою для даних. Всі інженери з даних передусім є розробниками програмного забезпечення з розумінням процесу розробки програмного забезпечення (SDLC).

Основні обов'язки та відповідальність

• Створення, тестування та підтримка архітектур даних, наданих архітектором даних
• Аналіз сирих і органічних даних
• Створення систем даних та трубопроводів
• Проектування необхідної інфраструктури для оптимального видобування, трансформації та завантаження даних з широкого спектра джерел даних за допомогою SQL і технологій "великих даних" AWS
• Розробка коду та скриптів для архітекторів даних, дата-вчених та інженерів контролю якості даних
• Попередня обробка даних
• Визначення методів покращення надійності, роботи та якості даних
• Створення процесів набору даних
• Підготовка даних для передбачувального та передбачуваного моделювання
• Автоматизація процедур збору та аналізу даних, інструментів випуску даних та звітності
• Побудова алгоритмів та прототипів
• Створення аналітичних інструментів та програм
• Співпраця з дата-вченими та архітекторами по різних проектах або ініціативах

Вимоги

• Бакалаврський або магістерський ступінь з комп'ютерних наук, інженерії або суміжного предмету
• • Необхідно мати цей сертифікат або бути готовим отримати його протягом двох тижнів після найму
• 5+ років доведеного досвіду роботи як інженер з даних, бажано в ролі професійного консультанта або консультанта
• Високі навички в мовах програмування, таких як Python, Java або Scala, та знання в області обробки даних і бібліотек (наприклад, Spark, Hadoop, SQL і т. д.)
• Загальне розуміння систем баз даних (реляційних і NoSQL), моделювання даних та концепцій сховищ даних
• Досвід роботи з хмарними платформами та сервісами для роботи з даними (наприклад, AWS, Azure, Google Cloud), включаючи знайомство з відповідними інструментами та технологіями (наприклад, S3, Redshift, BigQuery і т. д.)
• Добірка в дизайні та реалізації процесів ETL та процесів інтеграції даних, використовуючи інструменти, такі як Apache Airflow, Informatica або Talend
• Знайомство з практиками управління даними, рамками якості даних та принципами безпеки даних
• Сильні аналітичні та проблемно-орієнтовані здібності, з доброю підготовкою до перекладу бізнес-вимог у технічні рішення
• Виняткові комунікативні та колективні навички, з можливістю ефективно взаємодіяти з клієнтами та міжфункціональними командами
• Самомотивованість та прогресивність, з ентузіазмом до навчання та залишатися в курсі останніх розвитків в області інженерії даних
• Здатність працювати з неоднозначністю та перекладати потреби клієнтів на реалізовані історії та епіки впродовж спринту. Це означає, що інженери з даних розуміють "гнучкі" методи розробки програмного забезпечення
• Солідне розуміння процесу SDLC
• Розуміння об'єктно-орієнтованого програмування
• Здатність працювати з мінімальним керівництвом
• Досвід роботи з AWS
• Розвинуте мислення інженера рішень

Основні навички

• AWS Glue
• AWS Lake Formation
• AWS Step Functions
• Amazon Redshift
• Amazon S3

Переважний досвід та навички

• Допитливий настрій при розв'язанні проблем
• Ставлення "добре - це не достатньо добре" для наших клієнтів
• Сертифікації та/або практичний досвід з Snowflake або Databricks

Корпоративні переваги

Повностю зайняті працівники можуть скористатися нашими програмами додаткових переваг для працівників:

• Медичне страхування (медицина, стоматологія та зір),
• Страхування від короткочасової інвалідності, страхування від довгочасової інвалідності та страхування життя,
• 401k з компанійським матчингом
• Накопичувані оплачувані відпустки (до 120 годин протягом одного року)
• Оплачуваний відпустка на дні головних свят (14 днів за рік)
• Тільки управління вирішує про надання інших переваг. Це може змінюватися в будь-який час.

Зарплатна вилка для цієї ролі становить $104,900 - $149,800.

CA ID: IT10000584B

"Зазначені діапазони зарплати використовуються лише для інформації і можуть змінюватися в залежності від таких факторів, як досвід, кваліфікація і географічне розташування. Кінцева зарплата буде визначене на основі навичок кандидата та відповідності вимогам ролі."

Цей опис службових обов'язків не включає всі покладені обов'язки, відповідальність або аспекти роботи. Це може бути змінено в будь-який час за винятковою дискрецією роботодавця. Завдання та відповідальність можуть бути скориговані, щоб розумно перетворити осіб із інвалідністю. Для успішного виконання цієї роботи особи повинні мати навички, таланти та спроможності виконувати кожне завдання достатньо професійно. Цей документ не створює трудовий контракт, наявний або інший, окрім “ат вілл” відносин. Effectual Inc. є роботодавцем, який дотримується Справедливих умов зайнятості (EEO) та не дискримінує на основі будь-якої захищеної класифікації в прийомі на роботу, продвижении или в других трудових возможностях.