日常のタスクの多くが複数のデータ形式を必要とするため、マルチモーダルAIモデルは重要です。一度の会議からスライド、発言、メモが生まれることがあります。医療記録には、スキャン画像、報告書、音声による口述が含まれる場合があります。複数の入力を受け入れるモデルなら、別々のツール間を切り替える必要を減らせます。
早期融合は生の入力を近くに保つ
早期融合は、主なネットワーク層が始まる前にデータを結合します。画像はパッチへトークン化し、音声波形はスペクトログラムのパッチになり、テキストはトークンのままです。最初の層から、すべてのパッチが同じTransformerスタックへ入ります。この方法は、モダリティ間に強い空間的または時間的な対応がある場合に機能します。
後期融合は、まず別々のエンコーダーで処理する
後期融合では、各モダリティを最初に専用のエンコーダーへ通します。テキストは言語エンコーダー、画像は視覚エンコーダー、音声は専用の音声エンコーダーを使います。最終的な埋め込みだけが、クロスAttentionブロック内で出会います。各エンコーダーを個別に最適化できるため、長い入力への拡張性が高い方法です。
音声インターフェースは、話し言葉の入力と画面の文脈を組み合わせます。利用者はスマートフォンのカメラを機器へ向け、自然な発話でトラブルシューティングの手順を尋ねられます。
動画分析プラットフォームは、要約と検索可能な文字起こしを生成します。編集者は、場面を説明したり、話された言葉を引用したりして、何時間もの映像内を検索できます。
Q：マルチモーダルAIモデルを実装するツールを使う場合、私のデータは安全ですか？
A：安全性は導入方式に左右されます。ローカル処理はファイルを端末内に保ち、クラウドAPIはデータをリモートサーバーへ送ります。
参考資料