Cod: AUT-028
Durata: 8 ore
Durata: 8 ore
Descriere
Prin introducerea senzorilor LiDAR (Light Detection and Ranging) in ADAS (Advanced Driver Assistance Systems) si Autonomous Driving, a aparut nevoia unor perception algorithms care sa analize in mod direct point clouds.In acest curs vei:
- Beneficia de o prezentare a ADAS si Autonomous Driving din perspectiva procesarii de date LiDAR
- Intelege configurarea traditionala a sistemului si coordinate frames, precum si notiunile de latency & jitter
- Intelege detaliile algoritmilor clasici de point cloud processing pentru scenariul ADAS
- Invata cum sa implementezi cel putin unul dintre algoritmii clasici folosind C++
- Avea o prezentare a abordarilor deep learning legate de perceptie in scenariul de autonomous driving
- Intelege cum sa masori acuratetea algoritmilor si cum sa ii implementezi in componentele hardware de ultima generatie
- Afla despre open datasets pentru autonomous driving
Subiecte curs
a:2:{s:4:"TEXT";s:2665:"Scurta introducere in ADAS si Autonomous Driving- Nivele de autonomie, classic AD stack
- Diferitii furnizori din piata, optiuni de montare pentru LiDAR
- LiDAR – directii tehnologice
- Prezentarea furnizorilor si modelelor LiDAR
- Caracteristicile LiDAR oferite de Velodyne
- ASIL levels, ISO26262
Setarea de baza a sistemului
- Sisteme de coordonate (global, local, ego-vehicle, senzori, alti participanti la trafic)
- Calibrare
- Sincronizare
- Latency & jitter
Algoritmi clasici de point-cloud perception
- Prezentarea sarcinilor legate de perceptie care pot sa fie rezolvate cu LiDAR
- Multi-frame accumulation (motion compensation)
- Ground detection/subtraction
- Occupancy grid
- Clusterization (DBscan)
- Convex hull estimation
- Lane detection folosind point cloud
Practica
- Revizuirea codului care implementeaza elemente precum ground plane removal, clusterization, convex hull extraction si visualization in C++ folosind Eigen si PCL libraries
- Implementarea unuia dintre urmatorii algoritmi: Ground plane removal cu RANSAC & Convex hull calculation cu Graham scan
Perceptie cu retele neuronale
- Introducere in abordarile bazate deep learning
- Taxonomia retelelor neuronale pentru point cloud processing
- Basic block: PointNet
- VoxelNet (BEV detection)
- SECOND (BEV detection)
- PointPillars (BEV detection)
- Fast and Furious (BEV detection and prediction)
- Frustum PointNet (projection view, detection)
- MV3D (mutiview detection)
- Multiview fusion, MVF (mutiview detection)
- Multi-View LidarNet (multitarget: segmentation and detection)
Open datasets pentru autonomous driving
- KITTI
- Semantic KITTI
- nuScenes
- Waymo
- Argoverse
- Lyft Level-5
- Udacity
Continuous deployment a modelelor de deep learning
- Metrici legate de acuratete
- Non-regressive deployment
Platforme de calcul pentru autonomous driving
- Prezentare platforme: DrivePX2, Pegasus, Mobileye, computer Tesla
- TensorRT inference library
Obiective
- In urma acestui training vei intelege o arie larga de algoritmi clasici si deep learning perception care proceseaza point cloud data generate de LiDAR
- Vei experimenta implementarea de algoritmi in C++
Public tinta
- Programatorii care lucreaza cu computer vision algorithm pentru industria automotive