Googleは11月19日、Mac版Geminiにコンピュータ操作機能を段階的に導入し始めました。メイン画面を使える状態に保ちながら、ファイル、デスクトップアプリ、ウェブサイトをまたぐ作業を処理できます。

これによりGeminiは、人が実行する手順の用意だけにとどまらなくなります。Googleによると、アプリ自身がクリック、文字入力、メニュー操作、フォーム入力を行います。そのため、権限と承認の境界も実用性の一部になります。

独立ウィンドウでメインの作業環境を維持

Googleの発表によると、Geminiは隔離されたバックグラウンドウィンドウ内で動作します。チャットにライブプレビューが表示され、メイン画面とカーソルは別の作業に使えます。

ユーザーはアクセスを許可するアプリを選び、進行状況を見守り、一時停止できます。重要な操作には承認が必要とも説明されています。これを、すべてのクリックに個別確認が必要、あるいは隔離ですべての危険がなくなるという約束に広げてはいけません。

複数段階の作業では、エージェントの別画面での動作を見ながら仕事を続けられる点が有用です。ただし発表は、完了率や予想外のアプリ状態から回復する信頼性を示していません。

ローカル情報を他のアプリの作業につなぐ例

Googleは、写真の一括色調整や複雑な3Dシーンの設定などを挙げています。別の例は、ローカルPDFから重量、寸法、住所を取り出して配送見積もりフォームに入力する作業です。

レポートでは、地域別ダッシュボードから指標とスクリーンショットを集め、Google Slidesの資料にまとめられます。中古品販売では、衣服の写真を確認し、価格を調べ、詳細を記録して出品準備を行います。

これらはファイル、アプリ、ウェブをまたぐ想定用途を示すGoogleの例です。正確さや時間短縮を独立測定した結果ではありません。出品準備も、販売の自動完了を約束するものではありません。

一般的なMac向け公開より対象は限定的

提供開始は米国内の英語です。Googleの脚注では、Apple Silicon搭載、macOS Sequoia 15.0以降のMac、18歳以上の個人Googleアカウント、Google AI Plus、ProまたはUltra契約が必要です。

この機能を前提に作業を設計する前に、これらの条件を確認する必要があります。Intel Mac、すべての国、すべてのアカウント種別への提供は発表されていません。

当面の変化は、動作を確認し制御しながらデスクトップ作業を委ねられることです。提供地域の拡大や実際のアプリ障害への安定した対処は、公開された例とは別に評価すべき課題です。

関連記事
参考資料

ツールディレクトリを見る →