Computer Useとは？Claudeが画面を見て操作する仕組みを整理

Claude Codeのアップデート情報で「Computer Use」という言葉を見かけても、何ができるのかイメージしづらいのではないでしょうか。

Computer Useとは、Claudeが画面のスクリーンショットを見て、マウスとキーボードを操作する機能です。遠隔で人にPC操作を指示するようなもの——画面を見て「ここをクリック」「ここに文字を入力」と伝えるのを、Claudeが代わりにやってくれます。

一言でいうと

Computer Useは、Claudeが画面を見ながらマウスとキーボードを操作する機能です。

人がブラウザを開いてクリックしたり入力したりするのと近い方法で、Claudeが許可されたアプリや画面上の操作を進められます。APIがないツールや、ブラウザ上でしか進められない手続きにも対応できるのが特徴です。

普段のClaude Codeはテキストベースで動いています。ファイルを書き換える、コマンドを実行する、パッケージをインストールする——これらはターミナル上で完結する操作です。テキストで触れない画面の操作をカバーするためにComputer Useが存在します。

じゃあ、なぜそんな機能がいるのでしょうか。

何のために出てくるか

テキストベースでPCを操作していると、どこかに必ず壁があります。

CLI（コマンドライン）の手が届かない領域です。社内システムの操作画面、ブラウザ上でしか動かないWebサービス、APIが用意されていない古いツール——こうしたGUIを伴う操作は、テキストだけではどうにもなりません。世の中には、コマンドで触れない画面が確実に存在します。

Computer Useはこの領域をカバーするために出てきました。「APIがないから触れない」という壁を、画面を直接操作することで越えようとする機能です。

先にAPIやコマンド、MCPで触れられるかを考えます。それで触れないものにComputer Useが出番になります。

ちなみに、Claude in ChromeというChrome拡張があります。ブラウザ内で動くこの機能は、Computer Useの考え方（画面を見て操作する）をブラウザに限定して応用したものです。ただしComputer UseとClaude in Chromeは別物で、Computer Useの方がデスクトップ全体を対象にできる分、範囲が広くなります。

具体的にどう動いているのか、仕組みを見てみましょう。

どういう仕組みで動くか

「画面を見て操作する」とはいっても、裏側で何が起きているのか気になります。

Computer Useは次のループを繰り返して動きます。

画面のスクリーンショットを取得 → Claudeが画像を分析して次のアクションを決定 → クリックや入力などのアクションを実行 → 再度スクリーンショットを取得して結果を確認。このサイクルが、目的を達成するまで回り続けます。

たとえば「ボタンを押す」という操作なら、スクリーンショットでボタンの位置を確認し、カーソルを移動してクリックし、再スクリーンショットでボタンが押されたかを確認する、という流れです。

複数のアクションが用意されています。screenshot、left_click、type、key、mouse_move、scrollなどで、画面操作に必要な一通りが揃っています。スキーマ（アクションの定義）はモデル内部に組み込み済みなので、ユーザー側で用意する必要はありません。

ここで一つ押さえておきたいポイントがあります。APIがあるものはテキストベースの方が速くて正確です。Computer UseはAPIがない領域をカバーする機能で、APIがあるならそちらを先に試すのが実務的な判断になります。

仕組みは分かった。じゃあ自分のClaude Codeとどう関係あるのでしょうか。

Claude Codeでどう関係するか

2026年3月、Computer UseがリサーチプレビューとしてClaude CodeとCoworkに追加されました。

現時点（2026年4月）での公式前提条件は、使う場所によって分かれます。

Claude CodeのCLIから使うComputer Useは、ProまたはMaxプラン向けのリサーチプレビューで、対応OSはmacOSのみです。一方、Claude Desktopアプリ上のCowork／Claude Codeでは、Computer UseはmacOSとWindowsの両方が対象として案内されています。

そのためWindowsユーザーの場合、「CLIからComputer Useを使う」はまだ対象外ですが、「Claude Desktopアプリ経由でComputer Useを試す」可能性はあります。Claude in Chromeは、Computer Useとは別系統のブラウザ操作機能として整理しておくと混同しにくくなります。

Computer Useが特に生きてくるのは、他機能との組み合わせです。Coworkの機能（DispatchやChannels等）と組み合わせると、スマホから「このページの不具合を直して」と指示 → PC上でClaude Codeが調査・修正 → Computer Useでブラウザを開いて結果を確認、という作業の流れを作れる可能性があります。

提供状況は変更される可能性があるため、利用前に公式ドキュメントで最新情報を確認することをおすすめします。

便利そうに聞こえますが、いくつか注意点もあります。

初心者が混乱しやすい点

Computer Useという言葉を見ると、読み方がずれやすいポイントがいくつかあります。あるあるな混同を整理しておきましょう。

「Computer Use = Claude Codeのすべて」ではない
アップデート情報でComputer Useの記述を見て「Claude Codeの仕組みが全部変わった？」と焦る方がいます。実際は、Claude Codeの基本は変わらずテキストベースです。Computer UseはGUI操作をカバーする追加機能に過ぎません。

「リモート操作」とは違う
「誰かのPCを遠隔から操作する機能？」と思うかもしれません。実際は自分のPC画面を自分のClaudeが操作するものです。Claude DesktopやClaude Code側が、ユーザーの許可を前提にアプリ操作を実行する仕組みです。少なくとも通常の使い方では、何も許可していない状態で勝手に画面操作を始めるものではありません。

「いつも動いている」わけではない
Computer Useは明示的に有効にした場面でのみ動きます。通常のClaude Codeセッションでこっそり画面を操作している、ということはありません。

「画面を見て操作する＝万能」ではない
人と同じ方法で操作するぶん、読み違いや押し間違いも起きます。画面のレイアウトが変わると操作が失敗しやすいですし、座標の誤検知で違うボタンを押してしまうこともあります。

セキュリティ面も押さえておきたいポイントです。プロンプトインジェクション（悪意のある指示を画面内に仕込む攻撃）のリスクがあるため、専用の仮想環境や制限された環境での利用が推奨されています。

「CLIでできるならCLI」「APIがあるならそちらを先に」という実務的な判断も大事です。どうしてもGUI操作が必要な場面の最後の手段——という位置づけで考えるとしっくりきます。

関連する用語も一緒に押さえておきましょう。

Claude Codeでどこまでできる？