ReScan & ReMap
Solutions IOS et Desktop pour la génération de datasets de Gaussian Splatting.
🛠️ ReScan & ReMap
Projet Personnel (R&D / Open Source)
Le Contexte
Développé de manière totalement indépendante, ce projet est né de la volonté de résoudre une problématique technique spécifique et d'optimiser des workflows existants.
Il s'articule autour de deux briques complémentaires : ReScan, dédié à la collecte de données [Images, intrinsics, LiDAR, odométrie], et ReMap, un SfM (Structure from Motion) concentré sur structuration des données (création de nuages de points et d’un dataset complet adapté au Gaussian Splatting).
Architecture
De la conception de l’architecte à la publication du code.
ReScan
Création d'une application adaptée au domaine des VFX, permettant de contrôler le shutter speed, le focus, le framerate… Il embarque également un convertisseur EXR half-float, permettant de convertir le LOG Apple vers du linear sRGB à la volée.
Il y a une partie “serveur” permettant, à distance, d’envoyer directement les datasets de scans sur le serveur ReMap.
Plutôt utile quand on a de la route après nos scans, on rentre chez nous et les splats sont déjà prêts à être entrainés !
ReMap
Implémentation d'algorithmes SOTA (State Of The Art) permettant de générer avec un maximum de précision et de fidélité un nuage de point dense.
L’implémentation des données du LiDAR est venue après, les résultats étaient tout de suite ultra concluants. Les données du LiDAR rendent tout de suite les nuages beaucoup plus précis, on avoisine (sans faire le maxeur) les 90-95% de floaters éliminés ! D’autant plus grâce au fait qu’on croise les données avec HLoc et SuperGlue← regardez la documentation c’est vraiment insane !
L’idée était aussi d’avoir quelque chose de performant. L’utilisation de GLOMAP et de FFMPEG via GPU a grandement accéléré le workflow sans aucune perte de qualité.
Et bien évidement de gérer du début à la fin du pipe des gros colorspaces (ACEScg dans notre cas):
Ayant build l’application premièrement sous Linux, les performances grâce au ext4 se ressentent beaucoup face au NTFS. L’écriture et l’extraction des données se faisant plus rapidement sur linux !
Langages & Outils : Python (ReMap) & Swift (ReScan, app IOS)
Vous pourriez aimer
// projets similaires