絵コンテから、
一本のアニメーションへ。

のために 3D 短編アニメーション：Ollama で脚本と絵コンテを作り、Qwen-Image-2.1 でキャラクター参照画像と各ショットの先頭フレームを生成します。MiniMax H3 で音声付きの動画にし、ローカルで編集します。まず6ショット、約30秒の短編を完成させます。

以下のフォルダー構成を推奨します。承認済みのキャラクター参照画像をマスターとして保存し、各ショットのプロンプト、seed、ワークフロー、出力も残します。修正が必要なショットだけ作り直してください。

My3DShort/
  00_story/          剧本、分镜、角色设定
  01_character/      阿木定妆主图
  02_first_frames/   shot01.png ... shot06.png
  03_video/          shot01.mp4 ... shot06.mp4
  04_edit/           剪辑工程、字幕、最终成片
  workflows/        当前使用的JSON

ワークフローはこのサイトから直接ダウンロードされます

JSON を保存して ComfyUI キャンバスにドラッグするか、メニューの「開く」を使用します。これらのファイルは UI ワークフローです。APIリクエストJSONではありません。画像ノードは独自のファイルを再アップロードする必要があります。サンプル ファイル名を保持して直接実行をクリックすることはできません。

30秒制作シート：「後期パッケージ」

フィルム全体には 6 つのショットがあり、各ショットは 5 秒間配信されます。まず観客に「追いつけない」ことを理解させ、次に「誰かが待っている」ことを明らかにし、最後にプレゼントで逆転する。画面左側から差し込む夕日、右側のベンチ、それに巻かれた赤いリボンとキャラクターの服を修正しました。カメラが切り替わっても、視線とプロップの位置は維持されます。

祖母も固定のキャラクター参照画像を作ります。灰色の短髪、ベージュのニットカーディガン、深緑のロングスカート、丸みのある3D質感です。2人の先頭フレームでは、編集ワークフロー内で祖母の参照画像を次に接続します： image_3、プロンプトの単語で指定されています <image3> Only restrain grandma.ショット 6 は、「取り出したスカーフ」の最初のフレームを直接作成し、開梱プロセスを完了します。

ローカルの Qwen3 を使用してショットごとのプロダクション ファイルに拡張

次の制作指示は、プロット、キャラクター、最初のフレーム参照関係、および H3 オーディオおよびビデオ フィールドを同時に制約します。生成後、6つのミラープロンプトワードを1つずつ保存し、上記の表に従って撮影軸とパッケージの位置を見直します。

あなたはローカル環境で3Dアニメ短編を制作する監督です。30秒のオリジナル短編「遅れた小包」の実行可能な制作表を出力してください。
固定アセット：アム、栗色の短髪、茶色の目、フードを下ろしたオレンジのレインコート、紺色の斜め掛けバッグ、濃色のブーツ。クラフト紙の小包、赤いリボン。夕暮れの小さな町の駅ホーム。光は画面左から入り、ベンチは右側です。
各5秒の6ショット：ホームで落胆するアム→風で小包の赤いリボンが持ち上がる→リボンの先の右側のベンチを見る→待っていた祖母がベンチに現れる→アムが小包を渡す→祖母が小包から小さなマフラーを取り出しアムに渡す、という結末です。
まず人物と場面のアセット表を出力します。次に6ショットの表を作成し、ショット番号、5秒の尺、ショットサイズ、先頭フレームの構図、主動作1つ、カメラ位置と控えめな動き、小道具と視線の連続性、環境音、任意の短いセリフ、確認項目を記載してください。
各ショットについて、英語のレイアウト画像プロンプト、Qwen先頭フレーム編集プロンプト、H3動画プロンプトを出力してください。参照画像1はそのショットの1344×768レイアウト、参照画像2はキャラクター参照画像です。複数人物のショットには同じ祖母の参照画像も付けます。
H3は単一先頭フレームのI2VAを使用します。最初の行は英語のまま、次の文言と完全に一致させてください：“For the target video, at 0.00 seconds into the target video, <Picture 1> ([ショット 1] より) は完全に参照されています。";空白行の後には、integrated_multimodal_description、overall_soundscape、および non_diegetic_music の 3 つのフィールドのみを使用します。それぞれの独立したファイルは [ショット 1] から始まり、最初のフレームを固定し、アクション、カメラの動き、結果を記述します。各ショットに配置される被写体のアクションは 1 つだけです。音楽フィールドのデフォルトは N/A です。
セリフには(S1)アムと(S2)おばあちゃんが使用されており、音色の説明はラベルの外側にあり、セリフはラベルの内側にあります。<d>[Chinese]台词。</d>内に記述し、1つのセリフを中国語12文字以内にしてください。環境音だけの版ではセリフを省きます。
人物、服装、照明位置、視線、荷物の受け渡し位置を一貫させてください。制作内容だけを出力してください。

Use uniformly below D:\AI。 Dドライブがない場合は、この記事をすべてコピーしてください D:\AI 十分な容量のあるディレクトリに変更します。まず NVIDIA ドライバーを更新してから、PowerShell で 1 つずつ実行します。インストーラーが表示されたら、インターフェイスに従ってインストールを完了します。

New-Item -ItemType Directory -Path 'D:\AI' -Force | Out-Null
Set-Location 'D:\AI'
curl.exe -L --fail --retry 3 -o OllamaSetup.exe https://ollama.com/download/OllamaSetup.exe
.\OllamaSetup.exe
curl.exe -L --fail --retry 3 -o ComfyUI_windows_portable_nvidia.7z https://github.com/Comfy-Org/ComfyUI/releases/download/v0.43.0/ComfyUI_windows_portable_nvidia.7z

1. Complete decompression

   7-Zipで解凍し、存在することを確認します。 D:\AI\ComfyUI_windows_portable\ComfyUI\main.py そして python_embeded\python.exe。圧縮パッケージ内で実行しないでください。

2. 最初のスタート

   Double click run_nvidia_gpu.bat。 Terminal appears http://127.0.0.1:8188 最後に、ブラウザでこのローカル アドレスを開き、ターミナルを開いたままにしておきます。

3. 稼働機器の確認

   起動ログでは NVIDIA RTX 4090 / CUDA が識別されるはずです。 CPU のみがある場合は、まずドライバーまたはパッケージ アーキテクチャの問題を解決します。 AMD、ARM、または古い CUDA 互換パッケージをダウンロードしないでください。

標準の Portable には、Python と対応するランタイムがすでに含まれています。この記事では、CUDA ツールキット全体をインストールする必要はありません。まず次のコマンドを使用して Ollama のクラウド機能をオフにし、トレイから終了して Ollama を再度開きます。

[Environment]::SetEnvironmentVariable('OLLAMA_NO_CLOUD','1','User')

ただ入力するだけではありません qwen3 または latest: この記事の 30.5B モデルとは異なります。新しい PowerShell を開いて次を実行します。

ollama pull qwen3:30b-a3b-instruct-2507-q4_K_M
ollama run qwen3:30b-a3b-instruct-2507-q4_K_M

会話に入ったら最初に入力してください /set parameter num_ctx 8192をクリックし、次の制作プロンプトの単語をコピーします。この Instruct タグは非思考モードです。

あなたはローカル環境で3Dアニメ短編を制作する監督です。30秒のオリジナル短編「遅れた小包」の実行可能な制作表を出力してください。
固定アセット：アム、栗色の短髪、茶色の目、フードを下ろしたオレンジのレインコート、紺色の斜め掛けバッグ、濃色のブーツ。クラフト紙の小包、赤いリボン。夕暮れの小さな町の駅ホーム。光は画面左から入り、ベンチは右側です。
各5秒の6ショット：ホームで落胆するアム→風で小包の赤いリボンが持ち上がる→リボンの先の右側のベンチを見る→待っていた祖母がベンチに現れる→アムが小包を渡す→祖母が小包から小さなマフラーを取り出しアムに渡す、という結末です。
まず人物と場面のアセット表を出力します。次に6ショットの表を作成し、ショット番号、5秒の尺、ショットサイズ、先頭フレームの構図、主動作1つ、カメラ位置と控えめな動き、小道具と視線の連続性、環境音、任意の短いセリフ、確認項目を記載してください。
各ショットについて、英語のレイアウト画像プロンプト、Qwen先頭フレーム編集プロンプト、H3動画プロンプトを出力してください。参照画像1はそのショットの1344×768レイアウト、参照画像2はキャラクター参照画像です。複数人物のショットには同じ祖母の参照画像も付けます。
H3は単一先頭フレームのI2VAを使用します。最初の行は英語のまま、次の文言と完全に一致させてください：“For the target video, at 0.00 seconds into the target video, <Picture 1> ([ショット 1] より) は完全に参照されています。";空白行の後には、integrated_multimodal_description、overall_soundscape、および non_diegetic_music の 3 つのフィールドのみを使用します。それぞれの独立したファイルは [ショット 1] から始まり、最初のフレームを固定し、アクション、カメラの動き、結果を記述します。各ショットに配置される被写体のアクションは 1 つだけです。音楽フィールドのデフォルトは N/A です。
セリフには(S1)アムと(S2)おばあちゃんが使用されており、音色の説明はラベルの外側にあり、セリフはラベルの内側にあります。<d>[Chinese]台词。</d>内に記述し、1つのセリフを中国語12文字以内にしてください。環境音だけの版ではセリフを省きます。
人物、服装、照明位置、視線、荷物の受け渡し位置を一貫させてください。制作内容だけを出力してください。

ローカルAPIを直接呼び出すことが可能

Ollama を実行し続けると、次のリクエストはこのマシンにのみ送信されます。 127.0.0.1:11434。keep_alive=0 この回答の後でモデルをアンロードして、画像ステージ用のスペースを確保します。

$storyRequest = @{
  model = 'qwen3:30b-a3b-instruct-2507-q4_K_M'
  messages = @(@{role='user'; content='为原创3D动画短剧写6个镜头。角色是橙色雨衣、短栗色头发、深蓝斜挎包的阿木；每镜只安排一个主要动作，列出首帧、运镜和环境声。'})
  stream = $false
  keep_alive = 0
  options = @{num_ctx=8192; temperature=0.7}
} | ConvertTo-Json -Depth 8
$storyResult = Invoke-RestMethod -Uri 'http://127.0.0.1:11434/api/chat' -Method Post -ContentType 'application/json; charset=utf-8' -Body ([Text.Encoding]::UTF8.GetBytes($storyRequest))
$storyResult.message.content

対話型対話終了入力 /bye。描画する前に、テキスト モデルが存在しないことを確認します。

ollama stop qwen3:30b-a3b-instruct-2507-q4_K_M
ollama ps

約 3 つのファイル 16.10GiB。 PowerShell で以下の段落全体を実行し、ポータブルの正しいモデル カテゴリ ディレクトリに保存します。繰り返し実行すると、同じ名前のファイルが再ダウンロードされます。ダウンロードが失敗した場合、エラーが最初に処理され、ファイル拡張子は変更されません。

$comfyRoot = 'D:\AI\ComfyUI_windows_portable\ComfyUI'
$modelRepo = 'Comfy-Org/Qwen-Image-2.1'
$modelFiles = @(
  'diffusion_models/qwen_image_2.1_int8_convrot.safetensors'
  'text_encoders/qwen3vl_8b_int8_convrot.safetensors'
  'vae/qwen_image_2.1_vae_bf16.safetensors'
)
foreach ($modelFile in $modelFiles) {
  $destination = Join-Path (Join-Path $comfyRoot 'models') $modelFile
  New-Item -ItemType Directory -Path (Split-Path $destination) -Force | Out-Null
  curl.exe -L --fail --retry 3 --output $destination "https://huggingface.co/$modelRepo/resolve/main/$modelFile"
  if ($LASTEXITCODE -ne 0) { throw "下载失败，请先处理：$modelFile" }
}

ダウンロード後に ComfyUI を再起動し、当サイトの Windows 用キャラクター参照画像ワークフローを読み込みます。生成器、エンコーダ、VAE の各選択欄が取得したファイルになっていることを確認し、refine_prompt 閉じる、プロンプト ワード エンハンサー PE は必須のモデルではありません。

ポジティブな合図の言葉を以下にコピーします。 CFG=1 の場合、否定的なキューワードは CFG ガイダンスを生成しません。アイデンティティ、構成、素材を明確に書くことが優先されます。

Original stylized cinematic 3D animation character, Amu, a young courier boy with short chestnut hair, warm brown eyes, rounded expressive face, orange raincoat with hood down, navy crossbody satchel, dark boots. Full-body three-quarter character portrait, both hands visible, neutral warm-grey studio background, clear silhouette, soft cinematic key light, subtle subsurface skin, tactile woven fabric, physically plausible materials, restrained filmic color. One character, clean studio composition.

先頭フレームで人物と構図を決めます。同じ画面比率のレイアウト画像とキャラクター参照画像を組み合わせ、先にショットを配置してから人物の特徴を反映します。

1. ミラーレイアウトを生成する

   キャラクター参照画像用のテキストから画像を生成するワークフローを開き、Resolution Selector を次に変更します： 16:9、0.98MP、multiple=32、出力を確認します 1344×768。以下のレイアウト プロンプトの単語に置き換えて、名前を付けて保存します。 shot01-layout.png。レイアウトは、シーン、場所、ジェスチャー、小道具を担当します。

2. アクセス参考図

   「最初のフレーム編集」をインポートします。image_1 新しく生成された 1344×768 レイアウトをアップロードします。image_2 承認されたものをアップロードする amu-character.png。後者は特に顔、服装、素材を制限します。キャンバス上の 2 つの Load Image ノードから対応するインターフェイスを接続します。

3. レイアウト枠を維持する

   保つ resolution=0、custom_size=false、40 ステップ、CFG=1、オイラー / 単純、refine_prompt=false、以下の編集ヒントの単語を使用してください。構成プレビューの 25 ステップ。出力サイズはimage_1の1344×768を踏襲します。

4. レンズごとの受け入れとアーカイブ

   順番に保存 shot01.png に shot06.png。顔の形、髪色、服、バッグのストラップ、靴を参照画像と比べます。指、小道具との接触、足元の影を拡大確認し、視線、荷物の位置、照明もチェックします。現在のショットの構図を変更するときも、参照人物の特徴に関する制約は残してください。

Stylized cinematic 3D animation opening frame, quiet small-town train platform at golden hour. A young courier boy with short chestnut hair, orange raincoat with hood down, navy crossbody satchel and dark boots stands on the left third, holding a small kraft-paper parcel with a red ribbon at chest height, looking toward the right. Medium-wide eye-level composition, warm sunlight from screen left, wooden bench in the background to the right, coherent tactile materials, clear hand and parcel silhouettes. Clean composition with open space on the right.

Use <image1> as the exact composition, camera, canvas and station layout. Use <image2> as the identity and outfit reference for Amu. Replace only the boy in <image1> with this same Amu: exact face, short chestnut hair, orange raincoat with hood down, navy crossbody satchel and dark boots from <image2>. Keep the parcel with its red ribbon, hand positions, gaze direction, warm light from screen left and the bench on screen right. Match the stylized 3D materials from <image2>. Preserve the width and height of <image1>.

検証ビデオでも、同じ幅と高さの最初のフレームのコピーが使用されています。低解像度の検証の場合は、比例的に拡大縮小し、エッジを 864×480 の中央に配置します。 1344×768 のメイン画像を高品質ファイルに直接使用します。各ショットの後に PNG、プロンプトワード、シード、JSON を保存します。画像モデルを解放するには、ビデオを作成する前に ComfyUI を再起動します。

Windows 5 ピース パッケージ 39.14GiB。ビデオ VAE とオーディオ VAE の両方が必要です。テンプレートモデルの検査とその後の比較を容易にするために、8 ステップの LoRA がまとめて用意されていますが、この記事を最初に ターボをオフにする。

$comfyRoot = 'D:\AI\ComfyUI_windows_portable\ComfyUI'
$modelRepo = 'Comfy-Org/MiniMax-H3'
$modelFiles = @(
  'diffusion_models/minimax_h3_fl2va_pruned_int8_convrot.safetensors'
  'text_encoders/qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors'
  'vae/minimax_h3_video_vae_int8_convrot.safetensors'
  'vae/minimax_h3_audio_vae_fp32.safetensors'
  'loras/minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16.safetensors'
)
foreach ($modelFile in $modelFiles) {
  $destination = Join-Path (Join-Path $comfyRoot 'models') $modelFile
  New-Item -ItemType Directory -Path (Split-Path $destination) -Force | Out-Null
  curl.exe -L --fail --retry 3 --output $destination "https://huggingface.co/$modelRepo/resolve/main/$modelFile"
  if ($LASTEXITCODE -ne 0) { throw "下载失败，请先处理：$modelFile" }
}

ComfyUI を再起動し、Windows の動画検証用ワークフローを読み込みます。Load Image で自分の先頭フレームをアップロードし直してください。画像から動画を生成するサブグラフと Save Video の接続を保ちます。クラウド API キーを求められた場合は、選んだノードが違います。

メインアクションを1ショットに1つ配置し、まずは5秒程度にコントロール。外層 Resolution Selector 接続線はサブピクチャの幅と高さをカバーします。サブピクチャー番号のみを変更しても反映されません。

外側の設定を 0.98MP / multiple=32 にして、1344×768 で出力します。1.0MP では、より大きな整列済みキャンバスが選ばれます。Turbo=false の場合は Base の20ステップ分岐が実行され、使用しない Turbo 分岐の固定値は今回のサンプリングに影響しません。

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

integrated_multimodal_description: [Shot 1] Stylized cinematic 3D animation, the opening medium-wide composition matches <Picture 1>. Amu keeps the same face, short chestnut hair, orange raincoat, navy satchel and dark boots. He holds the red-ribbon parcel steadily at chest height and looks toward the empty platform on screen right; his shoulders slowly settle in disappointment. The camera pushes in with small amplitude at slow speed. Warm sunlight stays on screen left and the wooden bench remains on screen right. The shot follows one continuous restrained movement.

overall_soundscape: A distant train fades into a soft station hum. A light breeze brushes the coat fabric.

non_diegetic_music: N/A

プロンプトワードは「最初のフレーム→アクション→サウンド」に従って構成されています

上の最初の行は、0 秒の最初のフレームに固定されています。integrated_multimodal_description キャラクターの動き、カメラの位置、セリフを書きます。overall_soundscape 環境音と動作音を書き込みます。non_diegetic_music サウンドトラックを書くときは、この映画を最初に埋めていきます。 N/A。ショットが生成されるたびに、ショット番号は次から始まります。 [Shot 1] 開始します。

3 番目のショットでダイアログを実行するには、まずショットの最初のフレームに変更してから、以下の例を使用します。ボーカルの説明と (S1) ラベルの外側に置き、その中に中国語の行を入れます <d>[Chinese]…</d>。ワンカットの短いセリフと、最後の表情。

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

integrated_multimodal_description: [Shot 1] Stylized cinematic 3D animation, the opening medium-wide composition matches <Picture 1>. Amu keeps the same face, short chestnut hair, orange raincoat, navy satchel and dark boots. He holds the red-ribbon parcel steadily at chest height and lifts his eyes toward the bench on screen right. Amu, a young boy with a clear warm mid-high voice and unhurried Mandarin delivery (S1), says: <d>[Chinese] 还在等我？</d> His expression shifts from disappointment to curiosity. The camera pushes in with small amplitude at slow speed. Warm sunlight stays on screen left and the wooden bench remains on screen right. The shot follows one continuous restrained movement.

overall_soundscape: A distant train fades into a soft station hum. A light breeze brushes the coat fabric.

non_diegetic_music: N/A

ショット全体で音色を統一する必要がある場合は、手順 15 のローカル ダビング トラック全体を使用します。ショット内の H3 ダイアログは、リップシンクやリズムのデモに使用できます。キャラクター ID はプロンプトの言葉における話者の参照を担当し、連続吹き替えトラックは最終的な音色を担当します。

1. まず確認してください

   フレームに一致する最初のフレームをアップロードし、上記のプロンプト単語を入力し、[実行] をクリックして、ターミナルの進行状況を観察します。最初の実行では、エンコーダー、ジェネレーター、VAE のロードが順番に完了します。端末はステージの進行状況を継続的に表示し、ビデオ メモリやシステム メモリと組み合わせて実行ステータスを観察する必要があります。

2. 出力を確認する

   ビデオの保存先 ComfyUI/output/video/。セクション全体に黒枠や文字のズレ、手の変形、背景の飛びなどがないか、周囲の音が正常かどうかを確認してください。

3. 再度品質を向上させます

   検証用ワークフローが動作したら画質用ワークフローを読み込み、先頭フレームを選び直してモデルの選択欄を確認します。OOM が出た場合は 0.4MP、batch=1 に戻し、ほかの GPU タスクを停止します。最初から15秒の動画を生成しないでください。

Mac ルートの使用法 Apple Silicon + macOS 15 以降に均一にインストールされています ~/AI。 Max クラスのチップと 128GB ユニファイド メモリを使用して、フル 768p の生産が計画されています。テキスト、写真、ビデオが順番に実行され、各段階の最後にモデルがリリースされます。検証ファイルは最初にエンジンとパスをチェックします。

まずターミナルで開発ツールのインストールを実行し、システム ポップアップ ウィンドウを完了してから続行します。

xcode-select --install

Homebrew がインストールされている場合は、最初の手順をスキップしてください。プロンプトに従って初期インストールを確認し、インストーラーによって指定された PATH 設定を完了します。 Apple Silicon は通常、以下の 2 行目を使用して現在のターミナル環境をロードできます。

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
eval "$(/opt/homebrew/bin/brew shellenv)"
brew install python@3.12 ffmpeg ollama
mkdir -p ~/AI
cd ~/AI
git clone --branch v0.43.0 --depth 1 https://github.com/Comfy-Org/ComfyUI.git
cd ComfyUI
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install torch torchvision torchaudio
python -m pip install -r requirements.txt
python -c "import torch; print('MPS:', torch.backends.mps.is_available()); print(torch.ones(1, device='mps'))"

MPS は True になり、テンソルが表示されるはずです device='mps:0'。失敗した場合は、まずシステム、Python アーキテクチャ、および依存関係に対処し、CUDA インストール コマンドを使用しないでください。次に、以下を開始します。

cd ~/AI/ComfyUI
source .venv/bin/activate
python main.py --cpu-vae

ブラウザが開きます http://127.0.0.1:8188。この記事の Mac イメージは CPU VAE 互換パスを使用しているため、デコードは遅くなります。ジェネレーターは引き続き MPS を使用できます。ターミナルは開いたままです。

すでに Ollama アプリまたはサービスが実行されている場合は、最初にそれをセットアップします launchctl setenv OLLAMA_NO_CLOUD 1、完全に終了してアプリを再度開きます。ローカルタブを使用して確認してください。 2 番目のサービス インスタンスを繰り返し開始しないでください。 CLI を初めて使用するときは、ターミナルから実行します。

OLLAMA_NO_CLOUD=1 ollama serve

サービス ターミナルを開いたままにし、新しいターミナルを開いてモデルをプルして実行します。会話入力を入力してください /set parameter num_ctx 8192をクリックし、ステップ 4 で完全なストーリーボード プロンプトをコピーします。

ollama pull qwen3:30b-a3b-instruct-2507-q4_K_M
ollama run qwen3:30b-a3b-instruct-2507-q4_K_M

Mac ネイティブ API リクエスト

curl --fail http://127.0.0.1:11434/api/chat   -H 'Content-Type: application/json'   -d '{"model":"qwen3:30b-a3b-instruct-2507-q4_K_M","messages":[{"role":"user","content":"为原创3D动画短剧写6镜分镜。主角阿木穿橙色雨衣、背深蓝斜挎包，每镜仅一个主要动作，保持同一角色。"}],"stream":false,"keep_alive":0,"options":{"num_ctx":8192,"temperature":0.7}}'

JSONを返します message.content が生成された内容です。プロジェクトフォルダーに保存し、画像や動画を生成する前にモデルがメモリからアンロードされていることを確認してください：

ollama stop qwen3:30b-a3b-instruct-2507-q4_K_M
ollama ps

イメージジェネレーターは約14.23GB、エンコーダーは約17.53GB、VAEは約0.68GBです。合計サイズは約 32.44GB ダウンロード;実行するには追加のメモリが必要です。別のダウンロード ツール環境を使用し、ComfyUI にダウンロード ツールを混在させないでください。

python3.12 -m venv ~/AI/hf-tools
~/AI/hf-tools/bin/python -m pip install --upgrade huggingface_hub
~/AI/hf-tools/bin/hf download Comfy-Org/Qwen-Image-2.1   diffusion_models/qwen_image_2.1_bf16.safetensors   text_encoders/qwen3vl_8b_bf16.safetensors   vae/qwen_image_2.1_vae_bf16.safetensors   --local-dir ~/AI/ComfyUI/models

ComfyUI を再起動し、Mac 用のキャラクター参照画像と先頭フレーム編集のワークフローを読み込みます。BF16 のファイル名と専用 VAE を選択し、refine_prompt は無効にします。Windows 用 INT8 ConvRot や H3 NVFP4 パッケージを MPS 構成に流用しないでください。

手順5・6と同じキャラクター参照用プロンプト、40ステップ、CFG=1、固定 seed でキャラクターと先頭フレームを作成します。構図の簡易プレビューは25ステップにします。画像を確認したら Ollama を停止し、 Ctrl+C ComfyUI を閉じ、H3 エンジンを設定してから再起動し、ユニファイド メモリの画像モデルとビデオ プロセスの間の競合を回避します。

Macの場合 h3.c ネイティブ C/Metal エンジン、次のステップで同じ ComfyUI を受け取ります。こちらはコミュニティ上級ルートです。 FL2VAの純正重量は約15g。 144.05GB / 134.16GiB、Windows 量子化パッケージとは異なります。

cd ~/AI
git clone https://github.com/antirez/h3.c.git
cd h3.c
git checkout 8974cc055ea9c02fcd14cc27dfda3e1027c05153
make -j8
./h3 --help
ffmpeg -version
ffprobe -version

完全な h3.c ディレクトリを保持します。これは、実行時に同じディレクトリに存在する必要があります。 h3_shaders.metal。前のステップから hf-tools のダウンロードを続けます。

~/AI/hf-tools/bin/hf download MiniMaxAI/MiniMax-H3   --revision 42ed227ee7df40d41602854ae760620d6eb651fe   --include 'FL2VA/*' 'model_index.json'   --local-dir ~/AI/h3.c/MiniMax-H3
cd ~/AI/h3.c
./h3 --info -d ./MiniMax-H3

正しい構造は、 MiniMax-H3/FL2VA/transformer、text_encoder、tokenizer、processor、video_vae、audio_vae。--info モデルのディレクトリとデバイスを確認しただけでは、ビデオが生成されたことを意味しません。

Wild H3C ブリッジの修正バージョンをインストールします。これは h3 エンジンをローカルで起動し、MiniMax クラウド API を呼び出しません。

cd ~/AI/ComfyUI/custom_nodes
git clone https://github.com/skaiy/wild-h3c-comfyui.git
cd wild-h3c-comfyui
git checkout e08057decfe3083a9270b05cac255c0101a7208e
cat > config.json <<'JSON'
{
  "h3_binary": "~/AI/h3.c/h3",
  "model_dir": "~/AI/h3.c/MiniMax-H3"
}
JSON
cd ~/AI/ComfyUI
source .venv/bin/activate
python main.py --cpu-vae --offline

model_dir FL2VA を含む外部ディレクトリを指します。 config.json を変更した後、ComfyUI を再起動します。このサイトの「Mac・Video Verification File」をインポートすると、接続は次のようになります。

比率と一致する最初のフレームをアップロードします。ビデオ プロンプト ワードはステップ 8 と同じままです。検証が成功したら、品質レベルを 1344×768、5 秒、50 ステップに切り替えます。precise=50 レイヤー、reuse=1とし、毎回のノイズ除去を完全に実行します。token_reduction=false を維持し、まず ssd_streaming を無効にしてください。Save Video で MP4 / H.264 として保存します。

ComfyUI ノードがエラーを報告した場合は、まずそのエラーを個別に見つけます。

ターミナルで次のコマンドを使用して、ローカル エンジン チェックを実行します。最初のフレーム パスを実際の PNG 絶対パスに置き換えます。プレースホルダー パスをそのまま使用してコマンドを実行することはできません。

cd ~/AI/h3.c
mkdir -p outputs
cat > shot01-prompt.txt <<'PROMPT'
For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

integrated_multimodal_description: [Shot 1] Stylized cinematic 3D animation, the opening medium-wide composition matches <Picture 1>. Amu keeps the same face, short chestnut hair, orange raincoat, navy satchel and dark boots. He holds the red-ribbon parcel steadily at chest height and looks toward the empty platform on screen right; his shoulders slowly settle in disappointment. The camera pushes in with small amplitude at slow speed. Warm sunlight stays on screen left and the wooden bench remains on screen right. The shot follows one continuous restrained movement.

overall_soundscape: A distant train fades into a soft station hum. A light breeze brushes the coat fabric.

non_diegetic_music: N/A
PROMPT
./h3 --profile -d ./MiniMax-H3   --first-frame /absolute/path/shot01.png   -p "$(cat shot01-prompt.txt)"   --width 1344 --height 768 --seconds 5   --steps 50 --layers 50 --reuse 1 --seed 42   -o outputs/shot01.mp4

ターミナル エンジンが生成およびブリッジできるが失敗する場合は、config.json、最初のフレーム パス、ffmpeg PATH、およびノードのバージョンを確認してください。ブリッジがコマンドを見つけられない場合は、Homebrew 環境がロードされたターミナルから ComfyUI を起動します。

まず、すべてのモデル、テンプレート、依存関係をダウンロードしてから、次のチェックを実行します。ネイティブ API が応答でき、写真やビデオを個別に証明することなくローカルで実行できます。クラウド モデル タグやプレミアム API ノードは使用されません。

1. テキスト

   ネットワークから切断した後、正確なラベルを付けて新しい質問を 127.0.0.1:11434 に投稿し、新しい回答が生成されることを確認します。 OLLAMA_NO_CLOUD 設定を維持し、-cloud タグを使用しないでください。

2. 写真

   オフラインで ComfyUI を再起動し、キャラクター参照画像ワークフローを読み込んで、新しい seed で画像を生成・保存します。前回のキャッシュ画像ではなく、新しい出力であることを確認してください。

3. ビデオ

   テキストとイメージのタスクを停止し、ネイティブ H3 ワークフローをロードし、新しいシードを使用してショート ショットを生成し、保存して再生し、実際の出力があり、リモート リクエストの依存関係がないことを確認します。

ダウンロード完了後のオフライン起動コマンド

Windows はポータブル ルート ディレクトリで実行されます。

Set-Location 'D:\AI\ComfyUI_windows_portable'
.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build --offline

ターミナルで実行中の Mac:

cd ~/AI/ComfyUI
source .venv/bin/activate
python main.py --cpu-vae --offline

制作リストに基づいて適格な 6 ショットが選択され、1 ショットあたり 120 フレーム、フィルム全体で 720 フレームの 30 秒のフィルムに統合されました。最終納品仕様: 1344×768、24fps、H.264、48kHz ステレオ AAC。

ローカル自動編集チェーン: 映像から配信まで

ストーリーボードを使用して物語を整理し、自動化を使用して反復的なタスクを完了します: 6 つのショットの連続組み立て、素材の長さのチェック、フレーム サイズとフレーム レートの統一、ダビングとミキシング、発話時の背景音の自動抑制、音楽の最初と最後のフェードアウト、中国語音声字幕の変換、フィルム全体のラウドネス キャリブレーション、エクスポート仕様のチェック。すべてのオーディオとビデオの処理と音声認識はネイティブに実行されます。

1. 6 つのレンズを備えた FFmpeg の準備

Mac は手順 9 でインストールされました。Windows PowerShell のインストール後にターミナルを再度開きます。

winget install --id Gyan.FFmpeg --exact --source winget

品質ファイルの出力を同じフォルダーにコピーし、名前を付けます shot01.mp4 に shot06.mp4。各セグメントの長さは少なくとも 5 秒で、連続画像と完全なオーディオ トラックが含まれている必要があります。 ComfyUIのSave VideoでMP4 / H.264を選択して保存します。次のスクリプトをこのフォルダーにダウンロードします。

2. 統一音声: ローカルでダビングを録音します。

同じ俳優が静かな部屋でセリフ全体を録音した。 Windows の場合はサウンド レコーダーを使用し、Mac の場合は QuickTime Player → ファイル → 新しいオーディオ録音を使用します。録音後、ローカル編集ソフトウェアで 6 つのショットを時間内に配置し、正確に 30 秒のステレオ サウンドをエクスポートします。 narration.wav、セリフがないときは沈黙を保ちます。このバージョンの H3 ショットは、環境音のプロンプト ワードに基づいて生成され、最後の対話は吹き替え全体によって行われます。オープニングダイアログミラーは口の形を段階的に調整する必要があり、ナレーションミラーは唇を閉じたままにします。

録音を 48kHz WAV に変換する必要がある場合:

ffmpeg -i voice-recording.m4a -ar 48000 -ac 2 narration.wav

中国語字幕を自動生成：Whisper large-v3-turbo · 809M

809M パラメータを使用した多言語音声認識モデル、位置合わせ後 30 秒 narration.wav タイムラインを使用して SRT に変換します。このモデルは約 1.62GB で、最初のダウンロード後はオフラインで実行されます。 Windows と Mac はどちらもスタンドアロンの Python 3.12 環境、CPU INT8 を使用します。 ComfyUI の GPU 環境とは別のものです。

Windows: まず Python 3.12 をインストールし、次に PowerShell を再度開き、専用の環境を作成して修正バージョン モデルをダウンロードします。

winget install --id Python.Python.3.12 --exact --source winget
py -3.12 -m venv D:\AI\subtitle-tools
& 'D:\AI\subtitle-tools\Scripts\python.exe' -m pip install --upgrade pip
& 'D:\AI\subtitle-tools\Scripts\python.exe' -m pip install 'faster-whisper==1.2.1' 'ctranslate2==4.8.4'
& 'D:\AI\subtitle-tools\Scripts\python.exe' -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='dropbox-dash/faster-whisper-large-v3-turbo', revision='0a363e9161cbc7ed1431c9597a8ceaf0c4f78fcf', local_dir=r'D:\AI\models\whisper-turbo')"

Mac: 以前にインストールした Python 3.12 を使用:

python3.12 -m venv ~/AI/subtitle-tools
~/AI/subtitle-tools/bin/python -m pip install --upgrade pip
~/AI/subtitle-tools/bin/python -m pip install 'faster-whisper==1.2.1' 'ctranslate2==4.8.4'
~/AI/subtitle-tools/bin/python -c "from huggingface_hub import snapshot_download; from pathlib import Path; snapshot_download(repo_id='dropbox-dash/faster-whisper-large-v3-turbo', revision='0a363e9161cbc7ed1431c9597a8ceaf0c4f78fcf', local_dir=str(Path.home()/'AI/models/whisper-turbo'))"

字幕スクリプトをショットディレクトリに配置し、そのディレクトリから実行します。 Windows:

& 'D:\AI\subtitle-tools\Scripts\python.exe' .\h3-subtitles-v2.py .\narration.wav .\captions.srt --model 'D:\AI\models\whisper-turbo'

Mac：

~/AI/subtitle-tools/bin/python ./h3-subtitles-v2.py ./narration.wav ./captions.srt --model ~/AI/models/whisper-turbo

スクリプトは、実際の単語レベルのタイムスタンプ、一時停止、句読点によってストリップされ、UTF-8 を出力します。 captions.srt と captions.asr.json。名前、文の断片、最初と最後の単語を校正する時間です。 H3 ネイティブ ダイアログを使用する場合は、まずプロダクション スクリプトを使用してエクスポートします。 rough.mp4、ファイルを特定し、取得した字幕を最終バージョンに追加します。字幕時間は最後の 30 秒のタイムラインに基づいています。 Windows で CTranslate2 DLL 読み込みエラーが発生した場合は、Microsoft Visual C++ 2015–2022 x64 ランタイムをインストールした後、ターミナルを再度開きます。

3. 自動フィルム合成、ミキシング、字幕、エクスポート

自分の音楽またはライセンスを取得したローカル音楽を準備します music.wav、少なくとも 30 秒の長さ。音楽、アライメントダビング、校正を組み合わせる captions.srt 映像カタログには 6 つの MP4 が含まれています。 Windows で PowerShell を開き、Portable の組み込み Python を使用します。

D:\AI\ComfyUI_windows_portable\python_embeded\python.exe .\h3-finish-v2.py . --narration .\narration.wav --music .\music.wav --srt .\captions.srt --output final.mp4

同じレンズディレクトリで実行されている Mac:

python3.12 ./h3-finish-v2.py . --narration ./narration.wav --music ./music.wav --srt ./captions.srt --output final.mp4

必要に応じて保管してください --narration、--music、--srt;項目を省略した場合は、以下のパスとともに削除されます。スクリプトは最初に入力をチェックし、次にフレームごとにスケーリング/フィルし、24fps に変換し、最初の 120 フレームを取得し、オーディオ トラックを 48kHz に統合します。アフレコ時は、周囲の音と音楽が自動的に抑制され、音楽の最初と最後が0.5秒ずつ消えます。フィルム全体は、約 -16 LUFS の目標と -2 dBTP の最大ピーク目標でラウドネスのために 2 回処理されます。切り替え可能な中国語字幕トラックを含む MP4 を出力し、生成します final.report.json、実際のフレーム数、長さ、オーディオトラックの数、字幕、測定されたラウドネスを記録します。元のマテリアルは保持され、既存の出力ファイルがある場合は新しい名前が使用されます。

4. ローカルタイムラインと字幕の調整: Shotcut

Windows と Mac は同じネイティブ編集インターフェイスを使用します。 Windows のインストール:

winget install --id Meltytech.Shotcut --exact --source winget

Mac のインストール:

brew install --cask shotcut

1. 建設プロジェクト

   Shotcut を開き、新しいプロジェクトを次の場所に保存します。 04_edit;マスターを変換します final.mp4 タイムラインにドラッグします。ビデオ モードは、マスター バージョンと一致して、カスタム 1344×768、24fps に設定されています。

2. アライメントと検査

   タイムラインの再生ヘッドでショットごとに確認し、音声クリップを動かして発話の開始と終了を合わせます。音声トラック全体を WAV 形式の narration.wav に書き出し、仕上げ用スクリプトに渡してください。字幕はマスター上で調整し、1画面2行以内にして顔や重要な小道具を隠さないようにします。

3. 字幕を追加する

   開く 見る / 見る → 字幕 / 字幕、新しい字幕トラックを作成し、行を追加し、開始時刻と終了時刻を設定します。 SRT がある場合は、字幕パネルからインポートします。名前、タイプミス、文章の断片化、口のパターンを校正し、最初に別の SRT ファイルをエクスポートします。

4. 書き込みとエクスポート

   タイムラインで 出力/出力 追加する Subtitle: Burn In フィルタリングし、字幕トラックとフォントを選択します。 H.264 MP4 にエクスポートする前に、1344×768、24fps、48kHz のオーディオ トラックを維持して字幕が表示されることをプレビューで確認します。 Shotcut プロジェクトを保存して、微調整を続けることができます。

最終バージョンを全画面で再生します。顔や手、セリフのすべての行、最初と最後の黒いフレーム、トランジション、ナレーションの継続を調べます。 RAW 映像、PNG、プロンプト、ワークフロー、録画、SRT、編集セッションをまとめてアーカイブします。