Vibe Video Editingをやりたかった
はじめに
インタビュー映像を編集している。 手元には10名ほどのインタビュイーによる1時間程度の素材。これを再構成して物語を作り出さなければならない。
DaVinci Resolveでの編集画面
さて、話変わってVibe Codingによるコーディングが当たり前になった2026年、やりたい状態がふんわりとした要求で目の前で形になっていく日々。どんな作業にもこのノリを求めてしまう自分がいる。元々何か固まっていないフローを一般化してシステム化するのが好きな自分にとっては、映像編集とVibe Codingが繋がって見えてしまった。 すでに話し手がいる、個別の意味自体を変えられない言葉たちを再構成することによって1つの物語を作っていくこと、それを自然言語の処理を得意とするAIと共にできたら素敵だなと思い、そしてこれを確立されたフローにできたら実験として面白いと思った。
映像編集の領域ではまだAIによるサポートが少ない。コーディングの分野では、操作者は自然言語の入力だけでソフトウェアが構築されていくのを眺める。ここではエディタに住むAIが直接ファイルを更新していく。映像編集の分野でAIが利用されるのは、音声のSTTによる字幕生成や音声のノイズリダクション、一部の映像マスク処理の自動トラッキング程度。つまり、映像編集分野におけるAIの利用は結局のところ音声、つまり自然言語の関わるところが実用の範囲内だ。では、音声を元にした編集ならある程度は任せられるのではないか。
そう、それこそがインタビュー映像の再構成だ。インタビュー映像は究極的に言えば文字情報に落とし込んで解釈することが可能だ。
Vibe Video Editingのプロセス
データの準備と書き出し
目論見はこう。
- 事前準備
- インタビューにまつわる事前情報・インタビュイーの情報をMarkdownにまとめる（AIだのみ）
- 映像編集ソフト上での作業
- 不必要な処理や意図しない処理を避けるため最低限のカット処理を行う
- 話者ごとの区切りにマーカーを打ち、タイムコード上に話者情報を紐付ける → indexを書き出す
- STTによる字幕生成を行う → .srtファイルを書き出す
さて、これで3つのファイルが生成できた。インタビューの基本情報、話者情報の載ったタイムコード、字幕情報だ。 インタビュー映像におけるエッセンシャルな部分を文字情報に落とし込むことができた。ここでAIくんの登場。（ここまでにだいぶ手作業があるのはご愛嬌）
話者情報を含まないオリジナルの字幕データ
AIによるテキストデータの結合と整形
まずは話者情報と生成された字幕情報をタイムコードを使って結合する。 ここではもちろんAIを利用する。普段Vibe CodingではCLIを使っているのでここでも2つのファイルを指定して結合を行った。 すべての字幕の冒頭にインタビュイーの名前を追記させることで、単一のファイルで話者と発話内容を紐づけることができた。
次に、発話内容の整形を行う。GeneralなSTTでは誤認識や文脈の欠如によって不十分な文字起こしとなってしまう。事前準備で作成した、インタビューの背景・インタビュイーの基本情報をまとめたMarkdownで、前段で示したsrtファイルを修正する。これにより、文脈に沿った文字起こしを作成することができた。また、ここでは不必要なフィラーなど、字幕として利用する上でノイズとなる情報も同時に削除した。
話者情報の追加・フィラー削除・整形が行われた字幕データ
文脈に沿った文字起こしが作成できたら、各インタビュイーがどのような内容を話しているのか、そのトピックをまとめてもらい、基本情報をまとめたMarkdownファイルに追記した。これにより、誰がどのような内容の話をしたかが、その他の基本情報と共に1つのファイルにまとまった。
AIによる構成案の作成と検証
さて、ようやく全ての準備が整った。誰がどのような内容をどのタイムスタンプで話しているか、これらの情報全てが文字情報として揃った。あとは自然言語処理マスターのAIくんによる物語の作成だ。全ての情報が詰まったMarkdownを投げ、内容の再構成をお願いした。
構成案作成のために準備されたMarkdown
結果は、「微妙」だった。 生成されたプロット（文脈の再構成）はぱっと見では流れがあったが、文字情報からは取りこぼされているインタビュイーの性格や話し方、本来の意図などが汲み取りきれておらず、とってつけたような流れになってしまっていたのだ。また、頼んでもいないのに「インサートとして〇〇の画を使う」など、ピッタリはまったインサートがある前提で話を進めてきたりして、絶妙に意思の疎通が図れなかった。
AIが提案した構成プロット
さいごに
かなりのステップのお膳立てをして目論んだVibe Video Editingだったが、結果は失敗（というか、納得できない精度）であった。現状では、ビジュアルモデルは依然として多くの計算リソースを使うため、これ以上文字情報を超えたリクエストは諦めることとした。
AIによるコーディングは自己増殖的にアップデートされる毎日だが、映像編集で彼が活躍できるのはまだ先のことになりそうだ。