Дождь, снег и туман в промптах для ИИ-видео без мерцания

Погода - самое дешёвое настроение, которое можно добавить в кадр, и одно из самых лёгких для поломки. Для видеомодели дождь, снег и туман - одна и та же задача: тысячи мелких частиц, ни одна из которых сама по себе ничего не значит, но все должны двигаться согласованно от кадра к кадру. Когда этого нет, заметно сразу. Дождь мерцает, как телевизор с плохим сигналом, снег кипит, туман то густеет, то редеет, будто кто-то нажимает на диммер.

Лекарство редко в более сильном слове. Оно в том, чтобы просить меньше, дать погоде что-то, на чём ловится свет, и проверять формулировку дёшево, прежде чем вкладываться.

Почему осадки превращаются в шум

Модель рисует каждый кадр близко к предыдущему. Капля дождя - несколько пикселей в ширину и живёт несколько кадров, так что устойчивого объекта, за которым можно следить, у модели нет. Она либо повторяет текстуру, скользящую вниз по кадру, и это выглядит нормально, либо придумывает струи заново в каждом кадре, и это выглядит как шум. Плотная быстрая погода толкает ко второму. Редкая, медленная, освещённая погода - к первому.

• Скажите, сколько. «Heavy rain» (сильный дождь) зовёт стену струй. «Light steady drizzle» (лёгкая ровная морось) или «a few large slow flakes» (несколько крупных медленных хлопьев) оставляет модели меньше для выдумывания.
• Скажите, как это движется. Дождь падает прямо или наискось, с одной скоростью. Снег дрейфует. Назовите направление один раз и держитесь его.
• Скажите, что стоит на месте. «Camera locked, background steady» (камера неподвижна, фон ровный) оставляет в движении только погоду, так что любое мерцание легко заметить.

Дождь: формулировка для ровной картинки

Дождь легче всего читается, когда есть что-то, что его показывает. Сам по себе десяток штрихов в воздухе почти не виден, а на мокрой улице с фонарём позади они считываются сразу. Поэтому описывайте и поверхности, а не только капли: блестящий асфальт, мелкую рябь в луже, окно со стекающими бусинами.

Дождь за окном - самый безопасный дождь. Стекло рядом, капли крупные и медленные, а улица за ним может быть мягким размытием, так что мерцать почти нечему. Если в клипе нужен дождь, а вы волнуетесь, снимайте его через окно.

Снег: меньше, крупнее, медленнее

Снег ломается с другой стороны. Попросите «heavy snowfall» (сильный снегопад), и хлопья сожмутся в кипящие точки. Попросите «large soft flakes drifting slowly down» (крупные мягкие хлопья медленно опускаются), и результат будет спокойнее и кинематографичнее. Снегу также нужно тёмное пятно позади: на белом небе хлопья исчезают, а полоса голых деревьев или тёмный дверной проём помогает глазу их найти.

Лежащий снег и падающий снег - разные просьбы. Заснеженный пейзаж с одной-двумя снежинками в воздухе гораздо ровнее метели, так что если сцена про место, держите снегопад лёгким, а вес отдайте земле.

Туман: называйте слой, а не облако

Туман прощает больше всего, потому что у него нет мелких частей. Его беда - пульсация: он становится то гуще, то реже от кадра к кадру. Закрепите его местом и глубиной. «A low bank of fog lying along the ground» (низкая полоса тумана вдоль земли) или «thin mist between the trees, thicker in the distance» (тонкая дымка между деревьями, гуще вдали) даёт модели слой, который можно удержать. Затем скажите, что он остаётся: «fog density constant» (плотность тумана постоянна), «slow drift» (медленный дрейф), «does not thicken» (не густеет).

Туман - ещё и лучший повод для чистой простой сцены. Он убирает фон, прячет мелкие ошибки и делает любой одинокий объект, будь то фонарь, пирс или маяк, намеренным. В материале про воду, дым и огонь есть слова для движущейся дымки; здесь же нужно, чтобы она почти не двигалась.

Контровой свет и уличный фонарь

Осадки невидимы, пока на них не попадёт свет. Поставьте свет за погодой, и каждая капля или хлопья засветятся на тёмном фоне, так что немного погоды читается как много, а плотность можно держать низкой. Три схемы, которые работают:

• Одинокий уличный фонарь. Дождь или снег виден только внутри конуса света, а темнота вокруг скрывает остальное. Назовите один фонарь, а не улицу фонарей.
• Фары в тумане. Два мягких луча в дымке придают туману форму, не требуя густого облака.
• Свет из окна. Тёплое освещённое окно позади падающего снега делает то же самое и заодно задаёт настроение.

Заодно держите свет ровным. Мигающий фонарь заставляет мерцать и погоду, так что пишите «steady glow» (ровное свечение) или «constant light» (постоянный свет). Если сам свет должен меняться, в материале про смену света описано, как сформулировать это без стробоскопа.

Сначала черновик, потом фиксация погоды

Погода - хороший случай для цикла из материала про черновик, фиксацию и финал. Попробуйте формулировку как короткий дешёвый черновик в P-Video-2 из текста в видео, где есть переключатель черновика. Смотрите только на одно: держится ли погода ровно весь клип? Меняйте по одному слову (количество, направление, свет) и снова делайте черновик.

Когда в черновике погода получилась, зафиксируйте её. Возьмите из него хороший кадр или сделайте одну картинку сцены и используйте как старт финального рендера в Kling V4.0 из изображения в видео. Зафиксированный первый кадр даёт погоде вид, который можно продолжить, а фону опору, и это ровнее, чем старт только от слов. Клипы здесь идут не дольше 30 секунд, а для погоды короче надёжнее: один ровный клип лучше длинного, который уплывает.

Что пересобрать, а что переписать

• Пересоберите дубль (re-roll), когда формулировка верна, а в одном дубле сбой: вспышка струй, пятно кипящего снега. Погода сильно меняется от дубля к дублю, так что запустите тот же промпт дважды, прежде чем трогать его.
• Перепишите, когда у каждого дубля один и тот же изъян. Мерцание во всех означает слишком много погоды: уменьшите количество. Туман, пульсирующий во всех, означает, что у него нет опоры: назовите слой.
• Перестройте кадр, когда погода спорит со сценой. Оживлённая улица в метель - это две трудные задачи; сделайте тихую улицу в лёгком снегу.

Чего студия не делает

Ползунка погоды нет: нельзя задать число капель, скорость снега или плотность тумана, и ни одна модель не обещает конкретный вид. Формулировка - всё, что вы контролируете. Студия рендерит клип и ничего больше, так что звук дождя или слой накладного снега добавляются в другом приложении. Все видеомодели и то, что они принимают на вход, собраны в каталоге.