CuplikinのAIの仕組み：長尺動画から投稿用クリップへ

「アプリに入っているAI」と聞くと、多くの方は一つの魔法の箱を思い浮かべます。動画を入れれば、バズるクリップが出てくる、というイメージです。実際はもっと地に足のついたもので、だからこそ、そのパターンは他の業務にも応用できます。本記事では、CuplikinでAIがどのように動いているのか を、技術的な前提知識がなくても分かる言葉で、段階ごとに解説します。

始める前に一つお断りしておきます。ここで公開するのはコンセプトであって、レシピではありません。プロンプト、見どころの質の評価方法、最適化の詳細は社内に留めています。ただ、コンセプト自体は秘密ではなく、理解しておけばどんなAIプロジェクトもより冷静に評価できるようになります。プロダクトがどのように作られたかについては、Cuplikinをアイデアからリリースまで作った話をご覧ください。

全体像：五つの工程と一つの原則

Cuplikin の処理は五つの工程で構成されています。

1. 動画を取り込む（ローカルファイルまたはYouTubeのリンクから）。
2. 音声を、単語ごとのタイムスタンプ付きでテキストに文字起こしする。
3. AIがクリップにする価値のある見どころを見つけて提案する。
4. ユーザーが見どころを選び、文字起こしを整え、字幕と画面比率を設定する。
5. 字幕付きでクリップをレンダリングし、デバイスに保存する。

その背景にある原則は、AIが提案し、人が決める です。AIは最も退屈で時間のかかる工程に使い、クリエイティブな判断と最終決定はユーザーの手に残します。

工程1：動画の取り込み

ユーザーはパソコンやスマートフォンからファイルを選ぶか、YouTubeのリンクを貼り付けます。リンクの場合、App Storeで配布されるアプリは独自のダウンロードツールを実行することが認められていないため、ダウンロードは当社サーバー上のサービスが補助します。ダウンロードしたファイルは一時的なもので、ユーザーのデバイスへコピーされた後、サーバー上のコピーは自動的に削除されます。

ここから得られる小さな教訓があります。App Storeのサンドボックス規則のようなプラットフォームの制約は、技術的な好みよりも強くアーキテクチャを左右することが多い、ということです。その影響についてはケーススタディの記事で詳しく触れています。

工程2：デバイス上での文字起こし

音声は、クラウドではなく ユーザーのデバイス上で直接 動く音声認識モデル「Whisper」によってテキストに変換されます。結果は単なるテキストではなく、すべての単語に開始時刻と終了時刻が付いたものです。

この単語ごとのタイムスタンプが、以降のすべての工程の土台になります。これがあるからこそ、見どころを正確に切り出せ、字幕を音声に合わせて一語ずつ表示でき、ユーザーは単語をクリックしてその箇所へジャンプできます。

ローカルでの文字起こしには、私たちが承知のうえで受け入れた二つの代償があります。一つは、ある程度高性能なデバイスが必要になること（Mac版CuplikinはAppleシリコンのみに対応しています）。もう一つは、スマートフォンではサーバーよりも処理が遅くなることです。その見返りが、プライバシーと予測可能なコストです。これについてはAIプロダクトの運用コストで解説しています。

工程3：AIがクリップにする価値のある見どころを探す

ここでAIが働きます。AIの役割は、単独のクリップとして成立する部分、つまり惹きつける冒頭、まとまった中身、自然な締めくくりがある部分を見つけることです。結果は候補のリストで、それぞれに時間範囲、タイトル案、スコア、そしてその部分が魅力的だと判断された短い理由が付きます。

この工程を設計するうえで、私たちが重視したことが二つあります。

• 見どころ分析のために動画をアップロードしない。 重い処理はデバイス上に留め、サーバーに送るのは必要最小限のデータだけです。これによりプライバシーを守ると同時に、コストも抑えられます。
• AIには理由を示させる。 理由のないスコアは信頼しにくく、修正もしにくいものです。短い理由があれば、ユーザーはAIがその動画を「理解」しているかどうかを判断できます。

Cuplikinには二つのモードがあります。内蔵AI は当社のサービスを使い、クレジットで計算されます。クレジットは分析が成功した場合にのみ消費されます。カスタムモード では、ユーザーが自分で用意したOpenAI互換のAIプロバイダーを接続できます。MacではOllama経由のローカルモデルも使えるため、見どころ分析まで含めて手元の環境で処理を完結させることも可能です。

正直なところ： AIは判断を誤ることがあります。AIが面白いと判断した場面が、実際に見ると平凡なこともありますし、その逆もあります。私たちは実際の動画を集めたセットで、AIの提案と自分たちの選択を比較して品質を検証し、指示を何度も改善しています。「完成」したバージョンはありません。常に正しい見どころを選ぶAIを約束する人は、夢を売っています。現実的なのは、時間を節約できる程度には十分な頻度で正しく、最終判断は人が持つAIです。

工程4：人が選び、整える

ユーザーは候補のリストを確認し、プレビューを見て、使うものを選びます。そこからユーザーは次のことができます。

• タイムライン上でクリップの開始位置と終了位置を調整する。
• 文字起こしのテキストを修正する。字幕は同じ文字起こしから作られるため、修正はすぐに字幕へ反映されます。
• 字幕テンプレートと動画の比率（ReelsやShorts向けの9:16、1:1、16:9、4:3）を選ぶ。

この工程はあえて自動化していません。完成したクリップを「自分のもの」と感じられるのはこの工程のおかげであり、AIをまったく呼び出さないため、計算コストの面でも最も安い工程です。

工程5：デバイス上でのレンダリングと書き出し

最終的なクリップは、デバイス上でFFmpegによってレンダリングされます。動画をカットし、字幕を映像に「焼き込み」、Macではユーザーが選んだフォルダに、スマートフォンでは写真ライブラリに、透かしなしで保存します。プロジェクトや書き出したクリップに有効期限はありません。そもそも当社のサーバーには保存されていないからです。

御社の業務に応用できるパターン

「動画」という文脈を外してみると、上記の流れは多くの業務に役立つ汎用的なパターンです。

先に加工してから、AIに送る。 生の録画・録音はデータ量が大きく、クラウドで処理するとコストがかさみます。文字起こしのような重い処理はできるだけデータの発生源の近くで行い、AIにはそのタスクに本当に必要な部分だけを送りましょう。会議の録画、コールセンターの通話、ウェビナー、インタビューであれば、タイムスタンプ付きの文字起こしで十分なことが多く、そのほうが安く、速く、確認もしやすくなります。

AIが提案し、人が決める。 ほぼすべての業務ケースにおいて、これが最も安全な設計です。議事録の要約は書記担当者が承認する。通話品質の評価はスーパーバイザーが確認する。コンテンツの下書きはマーケティングチームが編集する。その理由については中小企業のためのAI活用ガイドで詳しく解説しています。

デバイスや社外に何を出すかを意識的に決める。 Cuplikinでは、見どころ分析のために動画をアップロードすることはなく、デバイスの外に出るのは必要最小限のデータだけです。機密データを扱う企業も同じパターンを使えます。社内でできるだけ多く処理し、外に出すものは最小限にする、あるいは自社で運用するモデルを使う、という選択です。この選択肢については社内文書のためのRAGで取り上げています。

利用量は成功ベースで数える。 コストを試行回数ではなく成功した処理に紐づけることで、ユーザーの信頼が生まれ、コストも予測しやすくなります。

これまでに見込み客の方々と議論してきた、このパターンの応用例をいくつか紹介します。

次のステップ

録画・録音、文書、会話の記録が社内に溜まっていて、このようなパターンで活用したいとお考えなら、処理の流れの設計をお手伝いします。何をローカルで処理し、何をクラウドに送るかの判断も含めてご提案します。無料相談から始めるか、WhatsAppまたはメール（hello@rancanginaja.com）でお気軽にご連絡ください。当社のAIエンジニアリングサービスはサービスページでご覧いただけます。