Computer Useとは？Claude Codeが画面を操作する仕組み

Computer Useは、Claude Codeが画面の画像を見て、マウスやキーボードなどの操作を行うための組み込みMCPサーバーです。APIやCLI、MCP、Chrome連携で到達できないネイティブアプリやシミュレーターで使う最後の候補です。画面操作は広く遅く、状態変化や誤クリックの影響を受けます。

有効化と境界

仕事に合う接続方法があるかを先に確認します。

• API・CLI・専用MCPがある対象と結果を絞れる方法から検討する。
• 対応ブラウザのWeb作業Chrome連携の対象と権限を確認する。
• 他の方法で届かないアプリComputer Useで、読む・操作する・保存するを分けて試す。

画面操作は表示やフォーカスの影響を受けます。まず一つのアプリで、読み取りだけを確かめます。

対話セッションで/mcpを開き、computer-useを有効にします。設定はプロジェクト単位です。サーバーを有効にしただけで全アプリへアクセスできるわけではなく、個別操作には権限とユーザー承認が関係します。まず画面を読むだけの依頼で試し、クリック・入力・保存は一段階ずつ確認します。

ログイン、CAPTCHA、決済、削除、送信は人が担当する境界を決めます。Chromeで実行できるWeb作業ならClaude in Chromeの方が対象を限定しやすく、APIがあるサービスならMCPやCLIを優先します。画面に表示された秘密情報が画像や会話へ入る可能性もあるため、作業用アカウントとマスキングを使います。

公式Computer Use、Platformsを確認しました。ブラウザ用途はChrome連携、外部APIはMCPを参照してください。実機検証はしていません。

画面操作の依頼では、操作対象を一つのアプリと一つのウィンドウに限定し、確認用のスクリーンショットを残します。画面に出たパスワードや個人情報を記録しないよう、テスト用データを使い、終了後にアプリとセッションを閉じます。

画面の座標やボタン名はアプリ更新で変わります。再現性が必要な自動化は可能な限りAPIや専用MCPへ移し、Computer Useは人が結果を見ながら進める作業に限定します。

ネイティブアプリの操作では、アプリの権限ダイアログやOS通知が割り込みます。自動化の前提を固定できない場合は、手動確認を多くして対象を限定します。