VIBEPAPER JOURNAL / AI CREATION

MiniMax H3 在 VibePaper 裡:給混合參考分配角色、與畫面一起規劃聲音,以及目前還卡在哪

VibePaper · 更新於

MiniMax H3 把文本、圖片、影片和音頻理解為同一個創作上下文,然後生成音畫同步的場景。它和文生影片接口最實際的區別是:你掛上的每一個檔案都是一個決定,要麼回答鏡頭裡的一個問題,要麼只會添亂。這篇文章講清楚 H3 如何讀取混合參考、怎樣分配角色、聲音如何與畫面一起規劃、MiniMax 公佈的 768p 與 2K 兩個階段是什麼,以及我們在 Paper Gen 裡嘗試生成時發生了什麼。凡是來自 MiniMax 的說法,我們都會註明。

  • MiniMax H3
  • AI 影片生成
  • 混合參考
  • 音畫同步
  • VibePaper
MiniMax H3 影片截幀
MiniMax H3 截幀。下文的操作步驟以 VibePaper Paper Gen 介面為準。

一覽

MiniMax 公佈的 H3 能力,以及在 Paper Gen 裡實際影響任務的設置
能力官方數字或表現在 Paper Gen 裡意味著什麼
單次時長每次生成 4–15 秒Paper Gen 預設 5 秒。提交前先設好,它定義了這次任務。
分辨率768p 為基礎生成;通過再生成流程可到 2KPaper Gen 預設 768p。先在 768p 上迭代,已確認的結果再提升分辨率。
畫面與聲音24 FPS 影片,原生 32 kHz 立體聲,一次生成對白和環境聲要寫進提示詞,並放在它們對應的畫面旁邊。
混合參考最多 9 張圖片、3 段影片、3 段音頻;合計 12 個檔案在「參考」模式裡添加,每個檔案只承擔一項任務。
畫面控制首幀、尾幀,或兩者都用開場或結尾畫面已經定稿時,用「首尾幀」。
畫幅比例橫屏、方形、直屏Paper Gen 預設 16:9。提交前先選好畫幅。

一個上下文,多種來源

大多數影片模型讀取一段提示詞,返回一段片段。H3 讀取的是一組素材,並嘗試從中搭出一個場景。MiniMax 把輸入描述為一個統一的創作上下文,所以主體、動作、鏡頭語言、聲音、環境和節奏,可以分別來自不同的檔案,而不必全都寫在你輸入的那句話裡。

這是 H3 最主要的不同,也改變了工作方式。掛上任何檔案之前,先想清楚每個檔案用來做什麼。不能回答鏡頭裡某個問題的參考,只會增加噪音,還可能把結果帶離你想讓它承擔的那個角色。

給每個參考分配角色

這些角色來自每種輸入能承載什麼。它們是我們在打開 Paper Gen 之前規劃任務的方法,並不是介面上的開關。

把每種參考類型對應到它應該控制的鏡頭部分
參考類型它回答的問題鏡頭裡的角色示例
圖片畫面裡是誰或什麼,長什麼樣角色的面部和服裝,或房間的材質
影片什麼在動,鏡頭怎麼動一次推近、一個手部動作、轉身的節奏
音頻場景聽起來是什麼樣,誰在說話一個聲音、室內的環境音、切點的節奏
首幀 / 尾幀鏡頭如何開始、如何收束片段首尾兩幀的構圖

與畫面一起規劃聲音

H3 把畫面和聲音一起生成。MiniMax 表示,視覺與音頻的潛空間是分開的,但生成發生在同一個系統裡,音頻由左右兩個聲道分別處理、再合成為立體聲。實際意味著:聲音屬於這個鏡頭,而不是事後疊上去的一層。

所以要把聲音寫進它所屬畫面的同一個節拍裡。「手慢下來的時候陶輪發出嗡鳴」給了模型一個可以同步的事件;「加入環境音」則沒有給它任何可同步的東西。

開始前要知道一個約束:音頻參考不能作為唯一輸入。音頻必須和圖片或影片參考放在一起;每段影片或音頻需要 2–15 秒,每類的總時長上限為 15 秒。

先在 768p 迭代,再在 2K 上再生成

MiniMax 描述了兩個階段。H3-Base 生成 768p 的音畫序列。H3-Regenerate-2K 把這個結果和原始上下文一起送回 H3,按更高分辨率重新生成。它不是簡單放大:因為模型可以重新讀取原始指令和參考,MiniMax 認為它能恢復純像素放大無法得到的細節。

實際的循環由此而來:用 768p 檢驗構圖、動作和聲音;某一條成立後,只把這一條再生成到更高分辨率。不要指望 2K 階段去修正 768p 時就錯了的鏡頭。

模型背後的兩個權重

MiniMax 把 H3-Base 公開為兩個權重。H3-Base-FL2VA 支援文生影片,並可選首幀、尾幀或首尾幀控制;H3-Base-Ref2VA 負責混合參考。兩者都已開放用於部署和微調。

範圍很重要。託管的 Context-IR 編排層、H3-Regenerate-2K 以及原生稀疏注意力實現不在這次開放範圍內,所以完整的官方 2K 流程仍依賴 MiniMax 的服務。Paper Gen 提供的是託管的工作流,而不是原始權重。

在 VibePaper 裡做一段 MiniMax H3 影片

  1. 01打開影片模式,選擇 MiniMax H3在 Paper Gen 裡從「圖片」切到「影片」,打開模型選擇器,進入 Minimax 分組並選擇 MiniMax H3。同一分組裡還有 Hailuo 2.3 Fast。
  2. 02設定比例、分辨率和時長H3 預設 16:9、768p 和 5 秒。寫提示詞前先確認這三項,它們定義了任務本身。
  3. 03給每個檔案分配角色確定哪個參考控制角色、動作、聲音或構圖。不能回答鏡頭裡某個問題的檔案,直接去掉。
  4. 04把提示詞寫成帶聲音的鏡頭主體、一個動作、一種運鏡、光線,然後是環境聲和對白,每一項都掛在它發生的那一刻。
  5. 05生成,然後看結果或錯誤任務開始後會出現在「你的創作」裡。任務失敗時,原因會顯示在設置欄下方,方便你複製準確的錯誤訊息發給支援人員。
在 Paper Gen 裡從選擇 H3 到查看結果的路徑。

各項設置在哪裡

影響 H3 任務的設置分佈在兩處:提示詞框上方的輸入模式切換,以及下方的設置欄。

介面長什麼樣

先選模型。在模型選擇器裡,MiniMax 有自己的分組,H3 排在最前,旁邊是 Hailuo 2.3 Fast。比例、時長和參考規則都跟著模型走,所以要先選模型,再動其他設置。

我們遇到的限制和尚未驗證的部分

官方功能列表只說明模型設計上能做什麼。限制才決定它適不適合你的工作,所以下面是我們實際碰到的情況,以及還沒驗證的部分。

  • 測試當天生成失敗。H3 任務按 16:9、768p、5 秒提交,返回「Could not start generation. Please try again. Nexra API returned HTTP 404」。稍等後重試,同樣的錯誤。我們已經回饋給技術同事,不會展示我們沒有拿到的 H3 結果。
  • 我們檢查時,H3 的「生成」按鈕上沒有顯示價格,所以提交前無法確認花費。每次提交前都要看一下生成按鈕,不要參照其他模型的價格。
  • 參考素材的長度限制很嚴格:影片和音頻參考各自需要 2–15 秒,音頻不能單獨作為唯一輸入。上傳前先核對長度。
  • 版權要求同樣適用。任何上傳的人像、聲音、標誌或受版權保護的元素,無論用哪個模型,都需要確認授權。

第一次嘗試的提示詞清單

中近景:一雙濕潤的手在陽光充足的工作室裡,於旋轉的陶輪上塑造一隻陶碗。緩慢推近,淺景深。柔和的窗光,光束裡有浮塵飄動。聲音:手慢下來時陶輪發出嗡鳴,水滴落進金屬桶裡。無對白、無文字、無標誌。

關於 MiniMax H3 的常見問題

MiniMax H3 單次生成最長多久?

MiniMax 公佈的是每次 4 到 15 秒。Paper Gen 預設 5 秒。想要更長的序列,請規劃成幾段,每段配一份分鏡清單。

H3 會同時生成聲音嗎?

會。MiniMax 公佈的是原生 32 kHz 立體聲,與畫面一次生成。把聲音寫進它所屬畫面的同一個節拍裡。

不用參考素材可以嗎?

可以。文生影片可以直接用,首幀和尾幀控制都是可選的。需要特定角色、動作、聲音或節奏貫穿整段片段時,參考素材才有明顯用處。

為什麼我的 H3 任務失敗了?

Paper Gen 會把原因顯示在設置欄下方。我們測試當天的原因是「Nexra API returned HTTP 404」,屬於伺服器端錯誤,而不是提示詞的問題。請複製完整的錯誤訊息,稍後重試,或發給支援人員。

參考資料與本文範圍

技術概念以下列官方資料與原始來源為準。文中的工作流程建議和示例屬於編輯分析,並不保證效果。

  1. MiniMax-H3 模型卡,MiniMax 在 Hugging Face 的發佈頁來源:H3-Base-FL2VA 與 H3-Base-Ref2VA 兩個檢查點、影片和音頻參考各 2–15 秒的長度,以及未開源的部分:Context-IR、H3-Regenerate-2K 和稀疏注意力實現。