IA et apprentissage automatique
Reconstruction 3D à partir d’images
De quelques photos à un nuage de points et une scène 3D explorable […]
Laboratoire de vision stéréo
Placez deux caméras virtuelles dans une scène 3D, changez la base et la focale, et observez la disparité et la profondeur évoluer. Puis retrouvez la profondeur à partir des deux images, par appariement classique puis avec un petit réseau de neurones.
Version réduite
Une version réduite du projet. La version complète est liée ci-dessous.
Comment ça marche
- 01Deux caméras virtuelles sont côte à côte, séparées d’une base B, et regardent dans la même direction. Chacune dessine ce qu’elle voit : chaque objet tombe à une position horizontale légèrement différente dans les deux images. Ce décalage est la disparité d, et la profondeur en découle par Z = f · B / d.
- 02La carte de disparité est trouvée comme le fait un système stéréo classique : pour chaque pixel de l’image gauche, on fait glisser une petite fenêtre le long de la même ligne de l’image droite et on garde le décalage où les deux fenêtres se ressemblent le plus (somme des différences absolues). Aucun modèle n’intervient encore.
- 03La vraie profondeur est aussi calculée, donc l’image de droite montre exactement où l’appariement se trompe. Sans texture ou avec du bruit, les zones plates échouent ; avec une grande base, les objets proches sortent de la plage de recherche. Un réseau de neurones, entraîné sur des scènes de ce moteur de rendu, est l’étape suivante.
Au programme
- 01Scène 3D avec deux caméras réglables, frustums, lignes épipolaires et formule de profondeur en direct.
- 02Erreur de profondeur selon la distance pour le montage choisi.
- 03Appariement par blocs sur le GPU, comparé à un réseau de disparité appris.
- 04Réseau entraîné sur des scènes rendues par le même moteur, avec la vraie profondeur comme référence.
Plus dans cette catégorie
IA et apprentissage automatique
Localisation de sources sonores
Trouver d’où vient un son grâce au retard entre les microphones […]
IA et apprentissage automatique
HARNAIS SSI
Un harnais de cybersécurité pour les agents de code IA, comme Claude […]