Помните как нейросеть
запустила DOOM? Китайцы пошли дальше создав Matrix - систему позволяющую генерировать бесконечные миры с высоким качеством(720p) и все это в реальном времени(16 fps), включая управление с точностью до кадра![фото 1, видео 1]
Тренировочные данные включали как ААА игры, например Forza Horizon 5 и Cyberpunk 2077, и также видео реального мира.
Также модель может создавать миры которые она ранее не видела[фото 2] и также у нее есть понимания реальных объектов(как например людей)[фото 3]
На их
сайте можно подробно ознакомится с тем как создавали, что делали и посмотреть на архитектуру и т.д. Также позже обещают выпустить демо и опубликовать все в open-source. Ну или можно послушать экспертов из Future Podcast которые решили погрузиться в Матрицу(на целых 30 минут)[видео 2].
P.S. Ввиду очень длинного "погружения" я не перепроверял перевод, поэтому могут быть ошибки. Также ввиду большое объёма текста deepl перевел только примерно треть всего текста, остальное это гугл переводчик