
Googleは、Mac版Geminiアプリに、利用者の指示に応じてアプリやウェブサイトを操作する「computer use」を追加しました。ローカルファイルを含む複数段階の作業に対応し、Geminiの動作中も利用者は自分の画面とカーソルを使い続けられます。
米国の英語環境で提供を開始
computer useは、米国で英語向けに順次提供されています。利用にはMac版Geminiアプリと、Google AI Plus、Pro、Ultraのいずれかのサブスクリプションが必要です。
Mac版Geminiアプリの動作には、macOS Sequoia 15.0以降が必要です。対象はApple Siliconを搭載し、メモリーが8GB以上のMacです。インストールには200MB以上の空き容量、機能の利用には安定したインターネット接続も必要です。
アプリにはGoogleアカウントでログインします。個人で管理するアカウントのほか、管理者がGeminiを有効にした職場や学校のアカウントも利用できます。職場や学校のアカウントでは、Gemini Appsへのアクセスを含むプランまたはライセンスが必要です。
指示を受けて画面上の操作を実行
利用者が依頼内容を入力すると、Geminiがクリックや文字入力を行います。メニューの操作やフォームへの入力にも対応します。指示には「@Computer use」を追加します。
作業は、分離されたバックグラウンドのウィンドウ内で進みます。チャットには操作のライブプレビューが表示されます。利用者はその間も、メイン画面で入力やデザイン、通話などの作業を続けられます。
操作の対象には、ローカルファイル、デスクトップアプリ、ウェブサイトが含まれます。複数の段階を含む作業を指示でき、ファイルを一定の条件に基づいてフォルダーへ整理する作業も可能です。
アプリへのアクセスと重要な操作を管理
利用者は、Geminiにアクセスを認めるアプリを選べます。作業中の操作はライブプレビューで追跡でき、処理をいつでも一時停止できます。
重要な操作の実行前には、利用者の承認が必要です。ログインや支払いの際には処理が停止します。機微な操作にも確認が求められます。
Googleは、Geminiがファイルを完全に削除したり、他人と共有したりするなどの誤りを起こす可能性があると警告しています。Geminiが参照できるフォルダーは、利用者が接続したものに限られます。変更されたファイルのバックアップは、24時間後または新しいタスクの開始時に削除されます。
PDFからの転記や出品準備に対応
ローカルのPDFから重量や寸法、住所を抽出し、配送見積もりフォームの複数の入力欄に記入できます。
資料作成では、複数地域のダッシュボードから数値とスクリーンショットを取り込み、Googleスライドでプレゼンテーションを作成できます。クリエイティブ作業では、写真の色調を一括で調整したり、3Dシーンを設定したりする例もあります。
再販サイトへの出品準備では、ローカルフォルダーにある衣類の写真を分析し、価格を調べます。さらに商品情報を記録し、出品内容を準備できます。
Claude CoworkでもMacの画面操作に対応
AnthropicのClaude Coworkにも、Macのアプリやファイルを操作するcomputer useがあります。Claudeは利用可能な接続機能を優先し、次にブラウザー、さらに画面上の操作を使う順序で作業します。接続機能がないアプリでも、画面上でクリックや入力などを行えます。
ClaudeはmacOS 15以降では、通常バックグラウンドのウィンドウで作業します。その間、利用者のポインターやキーボードを占有しません。セッション中に画面全体の操作が必要になった場合は、最初に許可を求めます。
一方、Claudeはアプリごとにアクセス許可を求めます。ブラウザーや多くの投資・取引関連アプリは表示できますが、クリックや入力はできません。ターミナルやコードエディターではクリックとスクロールはできますが、文字入力はできません。











