コンピューターを使用して Web アプリとデスクトップアプリを自動化する

コンピューターの使用は、エージェントが Windows コンピューター上のタスクを操作および自動化できるようにする Copilot Studio のツールです。ボタンを選択し、メニューを選択し、画面上のフィールドにテキストを入力することで、Web サイトやデスクトップアプリで動作します。コンピューターで実行する操作を自然言語で記述し、仮想マウスとキーボードを使用してセットアップしたコンピューターでタスクを実行します。コンピューターを使用することで、エージェントは、システムに直接接続する API がない場合でもタスクを完了できます。ユーザーがアプリまたは Web サイトを使用できる場合は、コンピューターの使用も可能です。自動データ入力、請求書処理、データ抽出などのタスクには、コンピューターの使用を使用できます。

コンピューターの利用は、視覚機能と高度な推論を組み合わせてグラフィカルユーザーインターフェース (GUI) と対話する AI モデルであるコンピューター利用エージェント (CUA) によって行われます。 AI を利用しているため、インターフェイスの変更に適応します。たとえば、ボタンや画面が変更されても、ツールはフローを中断することなく動作を続けます。使い方は簡単です。必要なものを自然言語で記述するだけです。コードを記述する必要はありません。

このビデオでは、コンピューター使用ツールを使用してエージェントが Web アプリケーションと対話する方法について説明します。

Requirements

この機能は、リージョンが米国に設定されている環境で使用できます。
エージェントがコンピューターを使用するためには、生成オーケストレーターが有効になっていることを確認してください。

エージェントにコンピューター利用を追加してください

Copilot Studio の新しいエージェントまたは既存のエージェントで、次の手順に従ってコンピューターの使用をツールとして追加します。

エージェントの [ツール ] セクションに移動し、[ ツールの追加] を選択します。
[ ツールの追加 ] ダイアログで、[ 新しいツール] を選択します。
[ コンピューターの使用] を選択します。
ツールがコンピューターで実行する必要があるタスクを説明する手順を指定します。使用を開始するためのいくつかの命令テンプレートが表示されます。コンピューターの使用に最適な手順を記述する方法の詳細については、コンピューターの使用に関する手順のベストプラクティスを参照してください。
[追加と構成] を選択します。設定ページで、以下の4つのフィールドを設定します:
- [名前]: コンピューター使用ツールの表示名を入力します。この名前は、エージェントに追加する他のツールと区別するのに役立ちます。
- 説明: このツールの機能と使用するタイミングの簡単な説明を入力します。このテキストは、このツールをいつ使用するかをエージェントに知らせます。
- モデル:コンピュータ使用ツールを実行するために使われるモデルを選択します。現在、サポートされているモデルには、 OpenAI の Computer-Using Agent と Anthropic の Claude Sonnet 4.5 が含まれます。
  
  Note
  
  Anthropicのモデルを使用するには、管理者が実行可能な外部モデルを持っていることを確認します。
- 手順: URL やアプリケーション名など、ツールで実行する必要がある手順を一覧表示します。ヒントについては、コンピューターの使用手順に関するベストプラクティスを参照してください。
必要に応じて、構成ページで使用できる追加のフィールドを確認して調整します。マシン、使用する資格情報、人間による監督、保存された資格情報、アクセス制御など、完全なカタログの追加設定を構成するを参照してください。
保存を選びます。

追加設定を構成する

構成ページには、必要な 4 つのフィールド (名前、説明、 モデル、命令) 以外の省略可能なフィールドが表示されます。シナリオに合わせて必要に応じて、これらを確認して構成します。

入力

入力を使用して、コンピューターが実行されるたびに変化する動的な値を定義します。たとえば、実行のたびに異なる値でフォームに入力する場合は、そのフィールドの入力を作成します。実行時に、コンピューターの使用により、命令と入力値が結合され、タスクが完了します。

機械

エージェントがコンピューターの使用を実行するために使用するターゲットコンピューターを選択します。要件に基づいて適切なコンピューターの種類を選択する方法の詳細については、コンピューター操作を実行する場所を構成するを参照してください。

更新を使用して、コンピューターの一覧を更新します。
マシンの管理を選択して、Power Automateポータルでマシン管理ページを開きます。
コンピューターの詳細を確認を選択して、Power Automate ポータルでコンピューターの詳細ページを開きます。

接続

このツールに使用される接続。新しい接続を更新または作成して、使用する資格情報を変更します。

使用する資格情報

実行中のコンピューターの認証方法を指定します。

Maker提供の認証情報 (デフォルト):このオプションはメーカーの認証情報を使用し、自律エージェントに適しています。

Warnung

この設定を持つエージェントを共有していれば、それを使う誰でも元の作者の権限で設定されたマシン上で行動できます。
エンドユーザーの資格情報: このオプションでは、エージェントと対話しているユーザーの資格情報が使用されます。各ユーザーは、マシンへのアクセス資格情報を持っている必要があります。

人間による監視

コンピューター使用エージェントが、モデルの動作を変更する可能性のある有害な命令を検出した場合に、電子メール (Outlook) 経由で連絡するユーザーを指定します。各エージェントの実行とそのアクティビティは、それを開始したユーザーに関連付けられます。もしコンピュータ使用エージェントを操作している人以外のレビュアーを選ぶと、その人は実行を開始していないため、そのレビュアーはその活動を見ていない可能性が高いです。そのため、要求を適切に検証したり、処理したりすることはできません。さらに、受信者が承認され、そのような要求を処理するために必要なコンテキストがあることを確認します。応答時間の制限は、要求がアクティブなままの期間を定義します。この期間が経過すると、要求は期限切れになり、応答が受信されない場合、コンピューター操作の実行は停止します。詳細については、人間による監督を参照してください。

格納された資格情報

コンピューターが Web サイトやアプリケーションへのサインインに使用する資格情報を定義します。実行中にサインインプロンプトが表示された場合、コンピューターは、このセクションで定義した資格情報をそのサイトまたはアプリケーションに安全に使用します。これらの資格情報のパスワード値は、Power Platform の内部ストレージ (構成不要) または指定したAzure Key Vaultに格納されます。 Azure Key Vault を作成する方法については、Azure portal を使用したキーコンテナーの作成に関するページを参照してください。

内部ストレージオプション: このオプションを使用すると、事前構成なしでツールで資格情報を構成できます。秘密は暗号化され、Power Platform内部に保存されます。各資格証明書について、以下の詳細を記載してください:
- タイプ:使用するサーフェスに応じてウェブサイトとデスクトップアプリのどちらかを選択してください
- ユーザー名:ターゲットのウェブサイトやアプリケーションにサインインするために使うユーザー名。
- パスワード:ターゲットのウェブサイトやアプリケーションにサインインするために使われるパスワードの数値。
Note

パスワードフィールドは、すべての Web サイトとほとんどの Windows アプリケーション (WinForms、WPF、UWP、WinUI、Win32) でサポートされており、ほとんどのお客様のシナリオに対応しています。 Electron、Java、Unity、ゲーム、コマンドラインインターフェイス、Citrix、その他の仮想化環境など、一部のアプリの種類はサポートされない場合があります。
- ログインドメイン (Web サイト) または デスクトップアプリ名 (デスクトップアプリケーション):
  - [Web サイト]: メイン Web サイトのアドレス (たとえば、example.com) を入力します。その Web サイトのすべてのページが自動的に含まれます。サブドメインにはワイルドカード (*) を使用することもできます。例: www.contoso.com、 *.contoso.com、 contoso.com
  - デスクトップアプリケーション: アプリケーションの製品名またはプロセス名を入力します。これを見つけるには、Ctrl + Shift + Esc キーを押してタスクマネージャーを開きます。次に、[ プロセス ] タブを確認します。例: Microsoft Edge、 msedge、 Notepad。
Azure Key Vault オプション: このオプションでは、最初にサブスクリプション ID、リソースグループ名、およびKey Vault名を入力して、ツールで資格情報を構成できます。この情報はすべて、Key Vault の [概要 ] ページで確認できます。
- Power Platform で Azure Key Vault シークレットを使用するには:
  - コンテナーを持つAzure サブスクリプションには、PowerPlatform リソースプロバイダーが登録されている必要があります。
  - 環境変数を作成するユーザーは、Azure Key Vault リソースに対する適切なアクセス許可を持っている必要があります。
- まだ行っていない場合は、「 Azure Key Vault の構成」の手順に従って、次の詳細を指定します。
  - ユーザー名:ターゲットのウェブサイトやアプリケーションにサインインするために使うユーザー名。
  - Azure シークレット名: Web サイトまたはアプリケーションのパスワードを格納するキーコンテナー内のシークレットの名前
  - ログインドメイン (Web サイト) または デスクトップアプリ名 (デスクトップアプリケーション):
    - [Web サイト]: メイン Web サイトのアドレス (たとえば、example.com) を入力します。その Web サイトのすべてのページが自動的に含まれます。サブドメインにはワイルドカード (*) を使用することもできます。例: www.contoso.com、 *.contoso.com、 contoso.com
    - デスクトップアプリケーション: アプリケーションの製品名またはプロセス名を入力します。これを見つけるには、Ctrl + Shift + Esc キーを押してタスクマネージャーを開きます。次に、[ プロセス ] タブを確認します。例: Microsoft Edge、 msedge、 Notepad。

アクセス制御

既定では、コンピューターの使用は任意の Web サイトまたはアプリケーションで動作できます。アクセスを制限したい場合は、アクセス制御を有効化して、コンピュータの使用を特定のURLとデスクトップアプリケーションに限定してください。 Web サイトとアプリケーションの両方を構成できます。

[Web サイト]: メイン Web サイトのアドレス (たとえば、example.com) を入力します。その Web サイトのすべてのページが自動的に含まれます。サブドメインにはワイルドカード (*) を使用することもできます。例: www.contoso.com、 *.contoso.com、 contoso.com
デスクトップアプリケーション: アプリケーションの製品名またはプロセス名を入力します。これを見つけるには、Ctrl + Shift + Esc キーを押してタスクマネージャーを開きます。次に、[ プロセス ] タブを確認します。例: Microsoft Edge、 msedge、 Notepad。

Note

アクセス制御は、許可リストに含まれていないウェブサイトやアプリケーションに対してのみモデルがアクションを取ることを防ぎます。これがモデルがそれらを開くのを妨げるものではありません。たとえば、microsoft.com とMicrosoft Edgeのみが許可リストに含まれている場合でも、モデルは Edge 検索バーを使用してBingを開くことができます。しかし、一度Bingを開くと、許可リストに含まれていないため、やり取りしようとしても失敗します。

コンピューターの使用をテストする

コンピューター操作のテストは、作成の過程で重要な手順です。名前、説明、および手順を入力し、ツールを保存したら、[ テスト ] を選択してテストエクスペリエンスを開始します。

短い読み込み期間の後、テストエクスペリエンスが表示されます。

左側のパネルには、あなたの指示と、ツールの推論や動作のステップバイステップログが表示されます。
右側のパネルには、コンピューターを使用するために設定したマシンのアクションのプレビューが表示されます。

タスクが完了すると、 テストが完了した というメッセージが表示されます。テストの進行中は、[ テストの停止 ] を選択すると、コンピューター上のすべてのアクションをすぐに停止できます。

結果が期待どおりでない場合は、構成ページに移動して手順を調整してください。精度を向上させるために、さらに詳細を追加します。ガイダンスについては、効果的な手順を記述するためのベストプラクティスを参照してください。

コンピューターを使用してエージェントを発行する

コンピュータの利用を設定し、その後エージェントを公開してください。エージェントの実行方法は、シナリオによって異なります。自律型または会話型にすることができます。

自律エージェントは自動的に実行され、バックグラウンドでタスクを実行します。
会話エージェントを使用すると、ユーザーはMicrosoft Teamsなどのチャネルを介して対話できます。

コンピューターの使用は、ユーザーとの対話なしにバックグラウンドでタスクを実行する自律型エージェントに最適です。

会話エクスペリエンスでコンピューターの使用を適用することもできますが、次の考慮事項に留意してください。

認証設定として [ユーザー認証 ] を選択した場合、会話でエージェントを操作する各ユーザーには、コンピューターで使用されるコンピューターの有効な資格情報が必要です。
ツールが実行されると、推論メッセージとコンピューターの活動のスクリーンショットがチャットで共有されます。

ベストプラクティス

今日のデジタル環境において生産性と安全性を維持するためには、コンピューターを使用する際のベストプラクティス、特に明確な指示書の作成とマシンの安全確保に従ってください。

コンピューターをセキュリティで保護するためのベストプラクティス

AI が自然言語を使用してタスクを実行できるコンピューター用のマシンを設定する場合は、次のセキュリティに関する推奨事項を検討してください。

セキュリティ推奨事項	追加情報
コンピューター用の専用マシンを使用する	コンピューターの使用に関連するタスク専用に、特定の分離されたマシンを割り当てます。このアプローチにより、関連のないソフトウェア、マルウェア、または未承認のアクセスによるクロスコンタミネーションのリスクが軽減されます。これにより、構成、更新、監視をより効果的に制御できます。
コンピューターで使用するために使用しているユーザーアカウントにアクセス許可を制限する	最小特権の原則 (必要なツールの実行に必要なアクセス許可のみを付与する) に従って、コンピューターで使用するユーザーアカウントを設定します。
ウェブアクセスは信頼できる特定のウェブサイトの許可リストに限定してください	Webアクセスは、吟味された信頼できるドメインの事前定義されたリストにのみ許可します。たとえば、コンピューターで使用するマシンを対象とするMicrosoft Intuneを使用してMicrosoft Edgeポリシー設定を構成できます。
特定のデスクトップアプリの利用を制限する	目的の AI ワークフローに不可欠なアプリケーションのみをインストールし、実行を許可します。不要なソフトウェアへのアクセスを削除または無効にします。たとえば、アプリケーション制御を構成して、マシンでの実行を許可するアプリケーションを制限できます。

コンピューターの使用手順に関するベストプラクティス

記述する指示によって、コンピューターの使用がどの程度うまく機能するかが決まります。具体的で詳細な手順は、コンピューターが完全なタスクを正確に使用するのに役立ちます。これは、仕事仲間にタスクを説明していると考えてください。明確でステップバイステップのガイダンスは、成功を確実にするのに役立ちます。

効果的な命令を記述するためのヒント:

Web サイトとアプリケーションについて具体的に説明します。 Web サイトの完全な URL と、ツールが使用するアプリケーションの正確な名前を常に含めてください。例:https://www.microsoft.comを開き、「会社ニュース」へ行きます。
関連するアクションを明確に記述します。何かを行いたい場合は、フォームの送信や電子メールの送信などのアクションについて、必ず明示的に伝えます。例: フォームに記入したら「送信」を選択します。許可を求める必要はありません。
複雑な相互作用を分解します。 UI の操作が複雑になる可能性がある領域については、各手順を詳細に説明します。例: 右上の 「More 」アイコンを選択します。ドロップダウンが表示されます。開いたらリストの最後の項目を選択します。
長いタスクには、ステップバイステップの書式設定を使用します。長い指示は、リストとして書式設定すると従いやすくなります。

指示のサンプル

コンピュータの使い方を試したり、自分の使い方を書いたりする際の参考にしてください。

Scenario	Name	Description	インストラクション
請求処理	請求書の詳細を転送して送信する	PDF から請求書データを転送し、別のフォームに送信します。	1. https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.htmlに移動し、[日付] フィルターを [過去 24 時間] に設定して、請求書 PDF を開きます。 2. 新しいタブで、 https://computerusedemos.blob.core.windows.net/web/Contoso/index.html 開き、その PDF のデータをフォームに入力します。請求書フォームを送信します。確認は必要ありません。
データ入力	在庫アイテムを送信する	在庫システムに製品を追加します。	1. https://computerusedemos.blob.core.windows.net/web/Adventure/index.htmlに移動します。 2. 次の各項目について、新しいエントリを送信します。リアディレイラー、RD-4821、50、42.75、Tailspin Toys ペダルセット、PD-1738、80、19.99、ノースウィンドトレーダーブレーキレバー、BL-2975、35、14.50、Trey Research チェーンリングボルトセット、CB-6640、100、5.25、VanArsdel、Ltd. ボトムブラケット、BB-9320、60、24.90、Tailwind Traders
データ抽出	ポートフォリオマネージャーと価値を検索する	ポートフォリオのマネージャー名と値を取得します。	1. https://computerusedemos.blob.core.windows.net/web/Portfolio/index.htmlに移動します。 2. Fourth Coffee の行を探し、ポートフォリオマネージャーの名前と現在のポートフォリオの価値を表示されているとおりに正確に記録します。 3. これら 2 つの値を最終的な出力として返します。

データを抽出するためのベストプラクティス

コンピューターを使用して Web サイトまたはアプリケーションからデータを抽出し、そのデータをエージェントまたはエージェント内の他のツールに渡すことができます。これを行うには、 コンピューターで使用する手順で、抽出する情報を直接説明します。

抽出したデータを別のツール (電子メールで送信するなど) で使用する場合は、 エージェントの指示 でその必要性を指定し、両方のツールをエージェントに追加してください。例: コンピューターの使用を使用して、財務ポートフォリオダッシュボードのクライアント情報を抽出し、抽出されたデータを電子メールで送信します。この場合、エージェントには 、コンピューター使用 ツールと 電子メール ツールの両方を含める必要があります。

値をテキストとして抽出する

特定の値を抽出し、プレーンテキストとして返すようにコンピューターに指示できます。例えば、以下のプロンプトはクライアントであるFourth Coffeeのポートフォリオマネージャーとポートフォリオ価値を抽出します。

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

エージェントは、要求された 2 つの値のみをテキストとして返します。

JSON として値を抽出する

また、抽出された情報を JSON 形式で返すためにコンピューターの使用を要求することもできます。この形式は、構造化データを別のツールに渡す場合に便利です。次の例では、Contoso に関連するすべてのポートフォリオ行を抽出し、適切な形式の JSON として返します。

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

この方法により、出力が確実に構造化されます。

ライセンス

コンピューターの使用量は、エージェントアクション機能を通じて課金され、課金レートは 5 Copilot クレジットになります。詳細については、 Microsoft Copilot Studio の請求率と管理に関するページを参照してください。

各コンピュータ利用の実行は、一連のステップを実行するAIモデルに依存しています。ステップには、クリック、入力、ナビゲーションなど、1 つ以上の低レベルのアクションが含まれる場合があります。 各ステップでは、5 Copilot クレジットを使用します。

たとえば、Web ベースのタイムシートフォームに入力するようにコンピューターの使用を構成した場合、実行で次の手順が実行されることがあります。

ブラウザを起動し、タイムシートのポータルにアクセスしてください。
[ 新しいタイムシートの作成] を選択します。
[開始時刻]、[終了時刻]、および [プロジェクトコード] フィールドに入力します。
[送信] ボタンを選択します。

この例では、コンピューターの使用実行で 4 つのステップが実行され、合計 20 の Copilot クレジットが消費されます。

コンピューターの使用に関するフィードバックはありますか? computeruse-feedback@microsoft.comでお知らせください。

コンピューター操作ツールに関する FAQ

フィードバック

このページはお役に立ちましたか?

Last updated on 2026-05-07