Традиционно создание таких виртуальных пространств отнимало много времени у художников. «На создание одной среды художники могли потратить неделю», — говорит Юэ Ян, докторант, участвующий в проекте.
«Системы генеративного ИИ обучаются на огромных массивах данных», — объясняет соавтор проекта профессор Крис Каллисон-Берч. «В ChatGPT есть триллионы слов, а в генераторах изображений — миллиарды картинок. Но для обучения роботов у нас есть лишь малая часть такого количества 3D-среды».
Появилась Holodeck. Эта система использует искусственный интеллект для интерпретации команд пользователя и генерирования практически неограниченного диапазона внутреннего окружения. «Опишите нужное вам окружение, и Holodeck создаст его для обучения ваших агентов ИИ», — отмечают ученые.
Например, исследователь может попросить Holodeck создать «однокомнатную квартиру для программиста с собакой». Система разложит этот запрос на шаги: создаст план помещения, добавит мебель, например письменный стол и лежанку для собаки, и обеспечит реалистичное расположение всего.
Чтобы оценить эффективность Holodeck, исследователи сравнили ее с ProcTHOR, более старым инструментом для создания виртуальных сред. Люди, проводившие оценку, неизменно отдавали предпочтение средам, созданным Holodeck, особенно для более сложных помещений, таких как магазины и офисы.
