Staż w opracowywaniu zestawów danych do analizy obrazu komputerowego i modelu sieci neuronowej CNN

Opis firmy

Przekonani, że technologia powinna przyczyniać się do upraszczania, zrównoważenia i bezpieczeństwa naszego środowiska życia, LACROIX (5300 pracowników, 619 mln euro obrót pro-forma) wspiera swoich klientów w projektowaniu i zarządzaniu inteligentnymi ekosystemami mieszkalnymi, dzięki połączonemu sprzętowi i technologiom, realizując wizję:

"Połączone technologie dla inteligentniejszego świata".

W sercu strategii Grupy L25, Impulse jest jednostką biznesową działu R&D naszej działalności elektronicznej. Łączy kluczowe technologie, które pomagają firmom i przemysłowi przyspieszyć ich technologiczną i cyfrową transformację. Oferta Impulse opiera się na kompleksowym zakresie kompetencji w zakresie projektowania i uprzemysłowienia rozwiązań IoT (sprzętowych, oprogramowania i chmury), AI, Computer Vision, Cyberbezpieczeństwa, i innych, aby stać się liderem w przemyśle IoT. Impulse kieruje się na rynki o wysokim społecznym znaczeniu z perspektywą wzrostu, szczególnie w dziedzinach automatyki domowej, przemysłu, mobilności i motoryzacji.

Głównie zlokalizowane w Cesson w sercu technologicznej kotliny Rennes, zespoły Impulse (obecnie 100 pracowników) są związane z wzrostem LACROIX, przyczyniając się do jego rozwoju.

Opis stanowiska

Temat: Zestaw danych i model CNN do wykrywania obiektów na drodze

Wykrywanie i śledzenie obiektów na filmach oferuje szeroki zakres zastosowań w robotyce i w naszym codziennym życiu. Aby to zrobić, użycie głębokich sieci neuronowych stało się niezbędne ze względu na ich ogromną zdolność do zapamiętywania ważnych reprezentacji wizualnych. W LACROIX-Impulse, centrum R&D LACROIX z siedzibą w Metropolii Rennes, rozważyliśmy wykrywanie obiektów na drodze jako cel w zakresie nadzoru i regulacji ruchu drogowego.

Będziesz pracować pod kierunkiem Lesley-Ann, inżyniera wizji komputerowej.

Celem stażu jest zbadanie wykorzystania augmentacji danych, takich jak syntetyczne dane generowane przez symulator CAR Learning to Act (Carla), w celu poprawy wykrywania obiektów w określonych warunkach. Ten symulator pozwala generować dane treningowe (obrazy, przepływ optyczny, segmentacja, trajektorie...) na dużą skalę z konkretnymi obiektami i parametrami napotkanymi w rzeczywistych scenach wideo, ale mniej dostępnymi w istniejących zestawach danych, takich jak COCO lub Google OpenImage. Rozważane może być również wykorzystanie symulatora AirSim, jak również stworzenie wirtualnego miasta przez stażystę. Możliwe są również propozycje poprawek w istniejącej sieci.

Twoje zadania:

• Naucz się korzystać z symulatora CARLA, aby generować syntetyczne dane treningowe z uwzględnieniem obiektów i parametrów.
• Utwórz interfejs użytkownika do automatycznego tworzenia tych nowych zestawów danych.
• Porównaj symulator CARLA z jego konkurentem AirSim.
• Przetwarzaj, łącz i przetwarzaj dane, aby przygotować dane treningowe i testowe do sieci.
• Ustal metryki do analizy zestawów danych (istniejących i syntetycznych).
• Szkolony model wykrywania obiektów oparty na CNN z powiększonym zestawem danych.
• Ustal benchmarking, aby zobaczyć wpływ dodania nowych zestawów danych na wydajność sieci w zależności od ich charakterystyki.
• Opcjonalnie: pracuj nad stworzeniem nowej mapy użytecznej w CARLA, mapując dzielnicę Rennes z OpenStreetMap.
• Napisz raport, artykuł naukowy lub zgłoszenie wynalazku w zależności od uzyskanych wyników.

Oczekiwane wyniki

• Intuicyjny interfejs użytkownika umożliwiający generowanie syntetycznych danych z symulatora do zadania,
• Powiększony zestaw danych do szkolenia i testowania modelu wykrywania obiektów na drodze opartego na CNN, który jest połączeniem syntetycznych i istniejących zestawów danych,
• Szkolenie i testowanie modelu CNN do zadania, z ewaluacją potwierdzającą poprawę wydajności wykrywania,
• Metryki do analizy całego zestawu danych (syntetyczne i istniejące)
• Raport i zgłoszenie patentowe w zależności od nowości badanego podejścia.

Wymagania

• Studenci szkoły inżynierskiej lub osoby o równoprawnym statusie
• Ludzie mówią, że jesteś kreatywny i samodzielny.
• Interesujesz się algorytmami, szczególnie wizją komputerową, i masz dobrą znajomość Pythona.
• Udane doświadczenie w frameworku machine learning i doświadczenie w korzystaniu z silników 3D (Unity, Unreal Engine) będzie dodatkowym atutem (Pytorch, TensorFlow, etc.).
• Znajomość C, C++ lub C# będzie również dodatkowym atutem.
• Możliwe, że będziesz musiał/musiała pracować w międzynarodowym kontekście, dlatego wymagana jest dobra znajomość języka angielskiego.

Dodatkowe informacje

Korzyści:

• Płatny staż z dostępem do vouchera na restaurację
• Możliwość pracy nad innowacyjnymi i zaawansowanymi technologicznie projektami
• Nadzór ze strony doświadczonego i pełnego pasji zespołu