Как искусственный интеллект помог сделать проект Белокурихи Горной
В Алтайском крае строится новый федеральный курорт. Он получил название «Белокуриха Горная» и будет предлагать гостям круглогодичный оздоровительный отдых. Здесь при помощи бальнеологии будут лечиться около 140 (а в перспективе – до 210) тысяч человек в год. Для них сегодня проектируются различные туристические объекты — отели разной категории, бунгало и множество элементов дополнительной инфраструктуры.
Одна из отличительных черт «Белокурихи Горной» в том, что при разработке проектов гостиниц мы активно использовали технологии и сервисы искусственного интеллекта. О том, как именно это происходило, мы и поговорим.
Одна из отличительных черт «Белокурихи Горной» в том, что при разработке проектов гостиниц мы активно использовали технологии и сервисы искусственного интеллекта. О том, как именно это происходило, мы и поговорим.
Идея и видение
Разработке каждого проекта предшествует подготовка. Во многом она определяет то, как будет выглядеть новый туристический комплекс. На этом этапе на ряду с экономическими факторами изучается местность, анализируются географические и климатические условия, назначение объекта (то, какие виды отдыха планируется предлагать гостям), составляется перечень объектов, которые должны быть возведены на территории. Такой список может предоставить инвестор, но мы можем взять его формирование на себя или предложить изменения и дополнения к имеющимся вариантам курорта.
Уже на этом этапе, для формирования архитектурного стиля зданий и архитектурного образа курорта в целом применяются современные интеллектуальные цифровые технологии. Современные диффузионные модели ИИ c открытым исходным кодом запускаются локально и позволяют генерировать изображения по текстовому описанию с качеством не уступающим таким западным сервисам как Midjourney, ChatGPT и др. Используя интерфейс ComfyUI (ПО с открытым исходным кодом), архитекторы получают более гибкую платформу где можно поэтапно от формы к содержанию получить десятки вариантов архитектурного исполнения зданий и сооружений будущего курорта..
Современные модели ИИ уже не требуют специальных навыков при составлении промптов — они прекрасно понимают обычное описание задачи и достаточно точно следуют написанному при генерации изображений. Модели предыдущего поколения требовали особого подхода к написанию промтов, имелись ограничения по длине текста, языку на котором пишется промт, подробные описания не воспринимались моделью. При этом нельзя сказать что модели из прошлого 2024 г. ушли в историю. При использовании «старого» поколения моделей есть свои преимущества, такие как: более низкие системные требования, скорость работы, скорость и простота дообучения и именно для архитектурных задач их использование все еще оправдано.
Существует и другой вариант формирования референсов будущих объектов. В этом случае, в отличие от простой генерации по описанию, архитектор на основе данных о природном ландшафте территории и имеющихся ограничениях застройки набрасывает эскизы и обрабатывает их нейросетью в ComfyUI с использованием ControlNet (подробнее технология описана ниже), получая ИИ-рендеры, привязанные к конкретной природной территории и позволяющие предоставить заказчику различные варианты внешнего вида объектов курорта.
Отрисовка такого количества вариантов вручную весьма трудоемка даже при использовании специализированного программного обеспечения и требует значительного штата сотрудников.
Отрисовка такого количества вариантов вручную весьма трудоемка даже при использовании специализированного программного обеспечения и требует значительного штата сотрудников.
Преимущества использования ИИ на этапе формирования идеи очевидны: возможность рассмотрения большого числа вариантов, высокая скорость получения результатов, готовность системы к постоянному улучшению предложенных решений. Но есть и недостатки, выдаваемые на этом этапе предварительные рендеры часто имеют искажение перспективы, содержат артефакты и деформации, содержание сцены плохо поддается контролю. Из сформулированных таким образом идей курорта выбирается наиболее предпочтительный для заказчика вариант, утверждается и используется в дальнейшим для архитектурного проектирования.
Создание архитектурного проекта
Архитектор в соответствии с установленными в РФ нормами и правилами, используя специализированное ПО с технологией информационного моделирования создает трехмерные модели зданий и сооружений, формирует ландшафтное окружение зданий, разрабатывает чертежи и BIM-модель туристического комплекса.
Казалось бы, большинство задач, связанных с проектированием объекта, успешно решаются на этом этапе. Полученные результаты можно передавать инженерам-проектировщикам для проектирования конструкций зданий и инженерных систем. Но, еще не достигнут главный элемент, при помощи которого дизайн-бюро взаимодействуют с инвесторами и заказчиком — качественные реалистичные визуальные образы курорта. Полученная BIMмодель точна геометрически, соответствует установленным требованиям, но для получения реалистичных образов объекта требуется дальнейшая работа, использование сторонних инструментов, что значительно увеличивает длительность процесса и трудозатраты. Отсюда — третий этап работы над проектом с использованием ИИ.
Визуализация
BIM - модели зданий и сооружений курорта, рельеф местности с элементами благоустройства разработанные архитектором импортируются в Twinmotion - бесплатное программное обеспечение для 3D-визуализации и создания анимаций. Процесс визуализации происходит в несколько этапов:
Настройка сцены - подбираются и настраиваются материалы, добавляется растительность, деревья, персонажи, мебель, техника, машины, дорожные элементы. Моделируются в Blender (ПО с открытым исходным кодом) и импортируются в сцену объекты индивидуального дизайна, барные стойки, стойки размещения в гостиницах, люстры, мебель, МАФы и т.п.;
Настройка света и атмосферы - настраивается время суток, облака, туман, дождь, снег, геолокация и ориентация солнца;
Настройка статичных и динамичных видов и видео: настраиваются характерные виды, экспозиция, длина фокуса, траектория движения камеры.
Экспорт (рендеринг): длительный и требовательный к ресурсам процесс создания изображений и видео с использованием технологии трассировки лучей, именно на данном этапе ИИ снова приходит на помощь архитектору.
Настройка сцены - подбираются и настраиваются материалы, добавляется растительность, деревья, персонажи, мебель, техника, машины, дорожные элементы. Моделируются в Blender (ПО с открытым исходным кодом) и импортируются в сцену объекты индивидуального дизайна, барные стойки, стойки размещения в гостиницах, люстры, мебель, МАФы и т.п.;
Настройка света и атмосферы - настраивается время суток, облака, туман, дождь, снег, геолокация и ориентация солнца;
Настройка статичных и динамичных видов и видео: настраиваются характерные виды, экспозиция, длина фокуса, траектория движения камеры.
Экспорт (рендеринг): длительный и требовательный к ресурсам процесс создания изображений и видео с использованием технологии трассировки лучей, именно на данном этапе ИИ снова приходит на помощь архитектору.
Обучение моделей ИИ
Полученные изображения — только промежуточный итог работы над проектом. Чтобы получить качественные и главное реалистичные изображения в короткие сроки можно либо доведя мощность системы до уровня суперкомпьютера, сутками рендерить изображения, предварительно потратив сотню человеко-часов на доведение сцены до фото реализма или снова подключить к задаче искусственный интеллект.
Сегодня в распоряжении архитекторов — множество массивов изображений различных объектов. Это могут быть собственные наборы фотографий, картинки из фотостоков и даже иллюстрации к описаниям туристических объектов и фото туристов на различных информационных ресурсах вроде TripAdvisor. Из этих массивов в ходе работы над проектом собирается датасет – набор изображений, которые наиболее стилистически близки к проекту над которым работает архитектор и текстовые описания этих изображений, которые формулируются в ручную либо с помощью текстовых моделей с открытым исходным кодом в ComfyUI.
Сегодня в распоряжении архитекторов — множество массивов изображений различных объектов. Это могут быть собственные наборы фотографий, картинки из фотостоков и даже иллюстрации к описаниям туристических объектов и фото туристов на различных информационных ресурсах вроде TripAdvisor. Из этих массивов в ходе работы над проектом собирается датасет – набор изображений, которые наиболее стилистически близки к проекту над которым работает архитектор и текстовые описания этих изображений, которые формулируются в ручную либо с помощью текстовых моделей с открытым исходным кодом в ComfyUI.
Для каждого проекта обучается отдельная модель LoRA (Low-Rank Adaptation). Это метод машинного обучения, который адаптирует большие предварительно обученные модели машинного обучения к конкретным задачам без переобучения всей модели. Обучение LoRA модели производится локально с использованием сервиса Kohya_SS, подобранных в датасете изображениях и описаниях к каждому из них.
Вместо того чтобы обновлять всю матрицу весов, LoRA замораживает исходные веса. Затем вводит небольшие матрицы низкого ранга (адаптеры) в определённые слои модели в процессе обучения обновляются только параметры этих новых матриц. Мы адаптируем основную большую модель ИИ для генерации изображений в нужном нам стиле.
На иллюстрации пример работы различных LoRA моделей обученных нами на генерацию изображений в различных стилях, хорошо видно насколько сильно отличается полученный результат при одном и том же промте и абсолютно одинаковых настройках генерации.
Вместо того чтобы обновлять всю матрицу весов, LoRA замораживает исходные веса. Затем вводит небольшие матрицы низкого ранга (адаптеры) в определённые слои модели в процессе обучения обновляются только параметры этих новых матриц. Мы адаптируем основную большую модель ИИ для генерации изображений в нужном нам стиле.
На иллюстрации пример работы различных LoRA моделей обученных нами на генерацию изображений в различных стилях, хорошо видно насколько сильно отличается полученный результат при одном и том же промте и абсолютно одинаковых настройках генерации.
Обработка изображений
Изображения, полученные в Twinmotion предстоит доработать и улучшить с помощью обученной нами LoRA-модели.
Для этого, как и на стадии выбора концепции, используется все тот же ComfyUI, с ControlNet — технологией, необходимой для управления процессом генерации изображений.
Данная технология состоит из следующих этапов:
Предобработка изображения — на вход мы подаем изображение полученное в Twinmotion, изображение обрабатывается, препроцессор ControlNet извлекает ключевые признаки формируется карта формы и карта глубины.
Внедрение условий — ControlNet преобразует извлечённые признаки в «сигналы условий», которые передаются сэмплеру при генерации нового изображения. Эти сигналы фактически говорят ИИ: «При генерации изображения старайся соответствовать линиям/форме/композиции исходного изображения».
Генерация изображения сэмплером — сэмплер при удалении шума учитывает сигналы условий от ControlNet, в итоге создавая изображение, соответствующее как текстовому описанию, так и признакам входного изображения.
В итоге мы получаем сразу в высоком разрешении улучшенный вариант исходного изображения, тени и текстуры становятся более естественными, материалы более натуральными и все это в заданном нами при обучении LoRA-модели стиле.
Этим методом так же можно, менять материалы фасадов зданий, менять погодные условия, освещенность и время года.
Таким образом на выходе мы получаем изображения курорта полученные при совмещении двух методов - традиционного рендеринга с трассировкой лучей (дает правильную геометрию, соответствие нормам, позволяет вписать объекты в реальный ландшафт местности) и последующей обработкой изображений ИИ с использованием обученной для данного проекта модели (бесконечные варианты отделки, доработка текстур, повышение реалистичности изображения при минимальных трудозатратах). В итоге выигрываем в скорости проектирования и закладываем возможность быстрой адаптации проекта по требованию конкретного инвестора или заказчика.
Для этого, как и на стадии выбора концепции, используется все тот же ComfyUI, с ControlNet — технологией, необходимой для управления процессом генерации изображений.
Данная технология состоит из следующих этапов:
Предобработка изображения — на вход мы подаем изображение полученное в Twinmotion, изображение обрабатывается, препроцессор ControlNet извлекает ключевые признаки формируется карта формы и карта глубины.
Внедрение условий — ControlNet преобразует извлечённые признаки в «сигналы условий», которые передаются сэмплеру при генерации нового изображения. Эти сигналы фактически говорят ИИ: «При генерации изображения старайся соответствовать линиям/форме/композиции исходного изображения».
Генерация изображения сэмплером — сэмплер при удалении шума учитывает сигналы условий от ControlNet, в итоге создавая изображение, соответствующее как текстовому описанию, так и признакам входного изображения.
В итоге мы получаем сразу в высоком разрешении улучшенный вариант исходного изображения, тени и текстуры становятся более естественными, материалы более натуральными и все это в заданном нами при обучении LoRA-модели стиле.
Этим методом так же можно, менять материалы фасадов зданий, менять погодные условия, освещенность и время года.
Таким образом на выходе мы получаем изображения курорта полученные при совмещении двух методов - традиционного рендеринга с трассировкой лучей (дает правильную геометрию, соответствие нормам, позволяет вписать объекты в реальный ландшафт местности) и последующей обработкой изображений ИИ с использованием обученной для данного проекта модели (бесконечные варианты отделки, доработка текстур, повышение реалистичности изображения при минимальных трудозатратах). В итоге выигрываем в скорости проектирования и закладываем возможность быстрой адаптации проекта по требованию конкретного инвестора или заказчика.
Заключение
Белокуриха Горная — проект масштабный. Ему придается огромное значение и на федеральном уровне, и на уровне региона. Для строительства объектов привлекаются инвесторы, которые совершают миллиардные вложения в будущий курорт.
Естественно, для представления проекта на всех уровнях были необходимы высококлассные материалы — визуализации, рендеры, виртуальные туры. При этом при согласовании проектов, и во время их реализации всегда возникают замечания и предложения, которые необходимо учитывать архитекторам и инженерам. И все они должны находить отражение в рендерах и видео. Максимально быстро разработать концепцию курорта, подготовить проект, визуализировать решения — именно для решения этих задач наша команда и использует инструменты ИИ.
Естественно, для представления проекта на всех уровнях были необходимы высококлассные материалы — визуализации, рендеры, виртуальные туры. При этом при согласовании проектов, и во время их реализации всегда возникают замечания и предложения, которые необходимо учитывать архитекторам и инженерам. И все они должны находить отражение в рендерах и видео. Максимально быстро разработать концепцию курорта, подготовить проект, визуализировать решения — именно для решения этих задач наша команда и использует инструменты ИИ.