Entraîner une voiture autonome c'est un peu comme apprendre à nager... sauf que si vous vous plantez, c'est pas juste votre ego d’informaticien qui coule mais ce sont des choses graves qui peuvent arriver. Ça tombe bien puisque Waymo vient de dévoiler cette semaine un truc plutôt pas con pour aider à régler ce problème.

Ça s'appelle le World Model et c'est un modèle génératif capable de fabriquer des simulations ultra-réalistes de conduite. Comme ça, au lieu d'attendre qu'un éléphant traverse une route de Phoenix en Arizona pour savoir comment réagir (oui, c'est un de leurs exemples !), l'IA génère elle-même ces scénarios complètement dingues dans son propre monde virtuel.

Techniquement, ça tourne sur Genie 3 de DeepMind, mais en version adaptée pour le domaine automobile. Ça analyse des flux caméra ET lidar en haute fidélité, synchronisés entre eux mais on peut aussi décrire en langage naturel ce qu'on veut simuler.

Genre "il pleut, c'est la nuit, et y'a un camion en travers de la route" et hop, le modèle génère ça ! Bon, faut quand même que la description soit cohérente, hein, n'allez pas lui demander un sous-marin au milieu de l'autoroute A6 (quoique...).

Y'a aussi moyen de modifier la scène à la main (rajouter des piétons, changer le tracé) ou de contrôler directement les actions de conduite avec 3 modes de pilotage, du plus intuitif au plus technique. Le système est aussi capable de convertir de simples vidéos dashcam en simulations multi-capteurs complètes. C'est génial parce que vous prenez une vidéo filmée depuis le pare-brise d'une Dacia "tout équipée de rien", et le modèle la transforme en scénario de simulation avec données lidar et tout le toutim.

Le hic, c'est qu'on sait pas encore à quel point ça scale sur des vidéos de mauvaise qualité ou avec des conditions d'éclairage pourries. Et les méthodes classiques type 3D Gaussian Splatting pètent visuellement dès que le trajet simulé s'éloigne trop de la trajectoire originale.

Mais alors pourquoi c'est génial ? Et bien parce qu'il y a des trucs qu'on teste PAS en conditions réelles. Les tornades, les conducteurs bourrés qui déboulent à contresens, les incendies de forêt...etc.. Hé bien maintenant grâce à ce World Model, ça peut être simulé à la demande, et même rejouable en accéléré x4.

Et surtout, ce modèle permet de rejouer une scène en modifiant une seule variable, histoire de voir ce qui se serait passé autrement (les fameuses "simulations contrefactuelles"). Par contre, pour le rendu lidar 3D, faut un post-entraînement spécialisé en plus du modèle de base donc c'est pas juste un bouton magique.

Voilà c'est une super approche je trouve parce qu'on va pas envoyer des voitures dans des tornades juste pour collecter de la data. Même si ça reste quand même de la simulation... Donc faut garder un œil critique une fois que ces scénarios virtuels sont transposés à de la physique du monde réel.

Mais ceci étant dit, ces milliards de kilomètres simulés peuvent venir maintenant fortement renforcer les données terrain d'une manière que les tests physiques seuls ne pourront JAMAIS égaler.

Bref, si vous voulez creuser le sujet ou juste voir les démos (l'éléphant sur la route, ça vaut le détour ^^), c'est par ici.

AstroClick, c'est un simulateur interactif du système solaire en 3D, 100% gratuit et open source, qui tourne dans le navigateur. Ce projet a été développé par Charlie, un lecteur du blog (merci !), et perso je trouve que ça mérite un petit coup de projecteur.

AstroClick, le système solaire en cubes

Quand vous débarquez sur le site, vous avez le Soleil au centre avec toutes les planètes qui gravitent autour en temps réel. Vous pouvez donc zoomer, dézoomer, tourner autour... et même accélérer le temps pour voir les orbites défiler plus vite. Le rendu est en voxel (oui, des petits cubes), ce qui donne un côté Minecraft spatial pas dégueu du tout.

Et c'est pas juste joli puisque chaque planète est cliquable et vous donne des infos astronomiques réelles. On retrouve aussi l'ISS, Hubble et même le télescope James Webb dans le lot. Vous pouvez même basculer entre une vue simplifiée (pour que ce soit lisible) et une vue à l'échelle réelle des distances... et là vous comprendrez VRAIMENT à quel point l'espace c'est grand. Genre, IMMENSE 😱.

La navigation dans AstroClick, plutôt fluide

Côté technique, c'est du React Three Fiber avec Next.js 14, le tout sous licence MIT sur GitHub ( github.com/sartilas/AstroClick si vous voulez fouiller le code). Les textures viennent de la NASA, y'a même de l'audio ambiant pour l'immersion. Hop, vous activez le son et vous vous la jouez Thomas Pesquet depuis votre canapé. L'appli est traduite en 6 langues (français, anglais, espagnol, russe, chinois et hindi) donc tout le monde peut en profiter.

Si vous avez des gamins curieux ou si vous êtes vous-même un peu geek de l'espace, c'est un super outil pédagogique, je trouve. Attention par contre, sur mobile c'est pas ouf... le WebGL rame un peu sur les petits écrans (sauf si vous avez un flagship récent), mais sur un PC ça envoie par contre. Pas d'abonnement, pas de tracking, juste de la science accessible en un clic. Si vous avez envie de explorer le système solaire dans votre navigateur , c'est le genre de projet qu'on ne voit pas assez.

Bref, merci Charlie pour le taf. Allez voir AstroClick et amusez-vous bien !