MiniMax H3 no VibePaper: como dar funções a referências mistas, planejar o som junto com a imagem e onde o modelo ainda falha

Visão geral

Um contexto, várias fontes

A maioria dos modelos de vídeo lê um prompt e devolve um clipe. O H3 lê um conjunto de materiais e tenta construir uma cena a partir dele. A MiniMax descreve a entrada como um único contexto criativo, então personagens, movimento, linguagem de câmera, vozes, ambiente e ritmo podem vir cada um de um arquivo diferente, em vez de saírem todos da frase que você digita.

Essa é a principal diferença do H3, e ela muda o trabalho. Antes de adicionar qualquer coisa, decida para que serve cada arquivo. Uma referência que não responde a uma pergunta sobre o plano acrescenta ruído e pode afastar o resultado da única função que você queria que ela cumprisse.

Dando uma função a cada referência

Essas funções vêm do que cada tipo de entrada é capaz de transmitir. É assim que planejamos um trabalho antes de abrir o Paper Gen; não é uma lista de chaves que a interface oferece.

Planejando o som junto com a imagem

O H3 gera imagem e som juntos. Segundo a MiniMax, os espaços latentes de vídeo e áudio são separados, mas a geração acontece dentro do mesmo sistema, e o áudio sai em estéreo a partir dos canais esquerdo e direito, processados de forma independente e depois recombinados. Na prática, isso significa que o som pertence ao plano, e não a uma camada adicionada depois.

Por isso, escreva o som no mesmo momento da imagem a que ele pertence. "O torno zumbe enquanto as mãos desaceleram" dá ao modelo um acontecimento para sincronizar; "adicione som ambiente" não dá nenhum.

Uma restrição para conhecer antes de começar: uma referência de áudio não pode ser a única entrada. O áudio precisa vir junto com uma referência de imagem ou de vídeo, e cada arquivo de vídeo ou áudio deve ter de 2 a 15 segundos, com limite de 15 segundos no total para cada tipo.

Itere em 768p e depois regenere em 2K

A MiniMax descreve duas passadas. O H3-Base produz a sequência audiovisual em 768p. O H3-Regenerate-2K leva esse resultado e o contexto original de volta ao H3 e regenera em resolução mais alta. Não é um simples upscale: como o modelo pode revisitar as instruções e as referências de origem, a MiniMax afirma que ele recupera detalhes que uma ampliação baseada só em pixels não consegue.

O fluxo prático vem daí. Use 768p para testar composição, movimento e som. Quando uma tomada funcionar, regenere só essa tomada em resolução mais alta. Não espere que a passada em 2K conserte um plano que já estava errado em 768p.

Dois checkpoints por trás do modelo

A MiniMax publica o H3-Base como dois checkpoints. O H3-Base-FL2VA cobre texto para vídeo com controle opcional de primeiro quadro, último quadro ou ambos. O H3-Base-Ref2VA lida com referências mistas. Os dois foram liberados para implantação e fine-tuning.

O escopo importa. A camada de orquestração Context-IR hospedada, o H3-Regenerate-2K e a implementação nativa de atenção esparsa não fazem parte dessa versão aberta, então o pipeline oficial completo em 2K ainda depende dos serviços da MiniMax. O Paper Gen oferece o fluxo de trabalho hospedado, não os checkpoints brutos.

Como criar um clipe com o MiniMax H3 no VibePaper

Onde fica cada controle

Os controles que definem um trabalho do H3 ficam em dois lugares: o seletor de modo de entrada, acima da caixa do prompt, e a linha de ajustes, logo abaixo.

Como é a interface

Primeiro, o modelo. No seletor, a MiniMax tem um grupo próprio com o H3 no topo, ao lado do Hailuo 2.3 Fast. Proporções, durações e regras de referência seguem o modelo, então escolha o modelo antes dos outros ajustes.

Limites e falhas que encontramos

Uma lista de recursos divulgada diz para que um modelo foi projetado. São os limites que decidem se ele serve para o seu trabalho, então aqui está o que encontramos e o que ainda não conseguimos verificar.

• A geração falhou no dia do teste. Um trabalho do H3 em 16:9, 768p e 5 segundos retornou "Could not start generation. Please try again. Nexra API returned HTTP 404". Tentar de novo depois de uma breve espera retornou o mesmo erro. Já reportamos o problema e não estamos mostrando um resultado do H3 que não obtivemos.
• Quando verificamos, o preço do H3 não aparecia no botão Generate, então não conseguimos confirmar o custo antes de enviar. Confira o botão Generate antes de cada trabalho, em vez de deduzir o preço a partir de outro modelo.
• As durações das referências são rígidas. Referências de vídeo e de áudio precisam ter de 2 a 15 segundos cada uma, e uma referência de áudio não pode ser a única entrada. Confira as durações antes de enviar os arquivos.
• Os direitos continuam valendo. Toda imagem de pessoa, voz, logotipo ou elemento protegido por direitos autorais que você enviar precisa de autorização, seja qual for o modelo.

Um checklist de prompt para a sua primeira tentativa

Plano médio fechado: as mãos molhadas de uma ceramista modelam uma tigela de argila em um torno girando, em um ateliê ensolarado. Aproximação lenta, pouca profundidade de campo. Luz suave da janela, poeira flutuando no feixe. Som: o torno zumbe enquanto as mãos desaceleram, gotas de água caem em um balde de metal. Sem diálogo, sem texto, sem logotipos.

Perguntas que recebemos sobre o MiniMax H3