ターミナルを出て、マウスとキーボードを握る──GitHub Copilotが「APIのない画面」まで操作し始めた
GitHubが10月1日、Copilotがデスクトップアプリの画面を直接操作する「Computer Use」をパブリックプレビュー公開。APIのない旧来ソフトの自動化やE2Eテストに手が届く一方、誤操作や情報漏れのリスクと許可設計の要点を整理します。
コーディングエージェントの仕事場は、長らくコードエディタとターミナルの内側にありました。GitHubは2026年10月1日、その境界を一つ越える機能「Computer Use（コンピュータ操作）」をパブリックプレビューで公開しました。Copilotが、人の代わりにデスクトップアプリの画面を読み、ボタンをクリックし、文字を入力し、スクロールやドラッグまで行えるようになります。開発者向けツールが、APIを持たない旧来ソフトの自動化にまで手を伸ばし始めた形です。
画面そのものを「操作面」に変える
Computer Useは、アプリが公開しているデータだけでなく、画面に映る視覚的な文脈も読み取ります。GitHubの説明によれば、Copilotは「アプリの表示内容と画面の文脈を読み取り、コントロールをクリックし、文字を入力・編集し、キーを押し、スクロールやドラッグを行い、複数アプリをまたいだ操作を進める」ことができます。狙いは明確で、API・コマンドライン・MCPのいずれも持たない「GUIしかない」ソフトの自動化です。これまでエージェントが触れなかった、社内に残る旧来システムが対象に入ってきます。
機能を最初に告知したGitHubのPierce Boggan氏はX上で「Computer useがGitHub Copilotにやってきた」と述べ、経費精算や出張予約の自動化、エンドツーエンドテストの高速化を例に挙げています。早期利用者からは、作業は裏側で進み、マウスやキーボード、作業中のウィンドウを乗っ取られることはない、との声も伝えられています。
どこで、どう動かすか
利用できる場所と有効化の手順は次のとおりです。
- 対応環境: GitHub Copilot CLI と、macOS・Windows 向けの GitHub Copilot アプリ
- 状態: 2026年10月1日時点でパブリックプレビュー。既定では無効
- 有効化: CLI では
/computer on、アプリでは設定 → Computer Use から有効化 - macOS の前提: アクセシビリティと画面収録の権限付与が必要
最も効くのは、望む結果・関係するアプリ・守ってほしい制約を具体的に伝えたときだとされています。「このアプリで、この条件で、ここまで」を言語化するほど、操作のブレは小さくなります。
「勝手に操作させない」ための関所
画面を直接触る以上、暴走を防ぐ仕組みが要になります。GitHubは段階的な許可の設計を採っています。
- 既定は無効: 明示的に有効化しない限り動かない
- 初回承認: Copilotがあるアプリを操作しようとすると、都度そのアプリへの承認を求める
- 自動許可の保存: 承認を手元に保存して以後自動化できるが、保存はアプリとCLIの両方に適用される
- 組織の無効化: 管理者が管理設定でこの機能を丸ごと無効にできる
GitHub自身、機微なデータを扱うアプリで「常に許可」を選ばないよう勧め、予測可能な結果が欲しい場面ではAPI・MCPサーバー・ターミナルコマンドを優先し、Computer Useは最後の手段として扱うよう案内しています。便利さを前面に出しつつ、適用範囲を絞らせる設計といえます。
開発と業務のどこが変わるか
ビジネス側の含意は、自動化できる範囲が「APIのあるもの」から「画面のあるものすべて」へ広がる点にあります。想定される使いどころは次のようなものです。
- GUIしかない旧来デスクトップアプリ上の操作の要約・代行
- 経費精算や、連携していないソフト間でのデータ移し替え
- プレゼン資料の更新
- エンドツーエンドテストの高速化
開発の現場では、とくにテスト自動化の意味が大きくなりそうです。API化もスクリプト化もされていない画面を、仕様を書くように言葉で指示して検証させる道が開けます。改修の手が入りにくかった社内の旧来システムが、エージェント運用の対象へ組み込まれていく可能性があります。
便利さの裏で広がる、操作ミスと情報漏れの面
一方で、画面を直接操作する自動化には固有のリスクも指摘されています。GitHubの案内でも、アプリのバージョン差などで画面が変わると「Copilotが誤ったコントロールをクリックしたり、誤ったフィールドに入力したり、操作を繰り返したりする」ことがあるとされます。予期しない画面の内容が、財務や基幹システムへの操作を誤って引き起こす懸念も挙げられています。さらにWindowsでは他者の情報が画面に映り込みうる点が、個人情報の取り扱い上の論点として指摘されています。
画面収録やアクセシビリティといった広い権限を前提にする以上、エージェントが触れられる範囲は従来より確実に広がります。既定無効・都度承認・組織単位の遮断という関所はそのための備えですが、「常に許可」を安易に広げれば関所は形だけになりかねません。導入するなら、機微データを扱うアプリは自動許可の対象から外す、まずは影響の小さい業務で試す、といった運用上の線引きが現実的でしょう。利便性と操作権限の広さは表裏であり、どこまで任せるかの判断は使う側に残されています。
参照: GitHub Changelog: GitHub Copilot can now interact with desktop apps with computer use ／ Pierce Boggan（X）による告知のまとめ ／ Aivy: GitHub Copilot can now use the apps on your computer ／ Technobezz: GitHub Copilot Gains Computer Use for Desktop Apps
