Runway a présenté Continuum, un système qui diffuse en continu un écran interactif généré par un modèle vidéo. La démonstration comprenait un agent de programmation utilisant Continuum pour raisonner sur un problème faisant intervenir un modèle de vélo en 3D.
Runway a montré comment la prédiction de l’image suivante peut servir à créer des interfaces interactives, et pas seulement des séquences vidéo. Dans une démonstration, les utilisateurs pouvaient allumer les phares d’une voiture, la faire pivoter ou ouvrir son capot à partir d’une seule image, sans recourir à Unity, Unreal ou Blender.
Cristóbal Valenzuela a fait valoir que les modèles vidéo de plus grande taille apprennent des propriétés comme la gravité, le mouvement et la permanence des objets sans règles programmées à la main. Il a indiqué que l’entreprise évalue désormais la physique et la géométrie, et que ses modèles ont réussi son test visant à déterminer si les participants peuvent distinguer des séquences générées de vidéos réelles.
La démonstration de Continuum a également transformé du texte surligné portant notamment sur les batteries et la photosynthèse en visualisations 3D en direct et redimensionnables. Pour les concepteurs d’applications, cela ouvre la voie à des interfaces générées et à des outils visuels pour les agents IA, mais ces démonstrations ne permettent pas d’établir leur fiabilité pour un usage quotidien en entreprise.
La génération de scènes interactives sans moteur 3D classique pourrait changer la manière dont les entreprises créent leurs interfaces visuelles.
L’utilisation d’un environnement visuel généré par un agent de programmation laisse entrevoir un outil possible pour raisonner sur des problèmes spatiaux.
Ces démonstrations ne prouvent ni la fiabilité de la simulation physique ni l’utilité concrète en entreprise, malgré les affirmations de Runway sur le réalisme.
Rédigé automatiquement par la rédaction de Made in 10 à partir de la source ci-dessus.
Tencent Holdings a lancé Hy4, un modèle d’IA à poids ouverts doté de capacités de compréhension visuelle. Selon Tencent, il peut exécuter des tâches sur ordinateur via des interfaces graphiques et en ligne de commande, ce qui élargit son champ d’application aux agents IA.
