私は、ユーザーがデスクトップ上で実行する[アプリケーション起動、データ入力、入力タイプなど]アクティビティをキャプチャする必要がある自動化プロジェクトに取り組んでいます。私は、これまでMicrosoft Office、.NETアプリケーションなどのネイティブウィンドウベースのアプリケーションではうまくいきましたが、他のWebブラウザから情報をキャプチャするための有用な情報やサンプルは見つかりませんでした[Chromeは必須です] 、Pythonアプリケーション、Javaアプリケーションなどです。誰かがMS UI Automation Frameworkがそのようなアプリケーションをサポートしているかどうかを確認できますか？これらのアプリからユーザーのアクティビティを抽出するための実用的な例は非常に高く評価されます。ありがとう。Microsoft UI Automation FrameworkはChrome、Python、およびJava Appsで動作しますか？
Chromeは、ツールバー、タブ、メニュー、ボタンのUIオートメーションのみをサポートしています。ウェブページ。 Webページとしてレンダリングされたものは、UIAでは認識されません。
Webページのコンテンツについては、最も簡単な方法は、ブラウザの事実上の標準の一種であり、UIAとは関係ないSelenium（ChromeDriverによって駆動）を使用することです。
アプリがUIAをサポートしているかどうかをテストするには、UIAのInspect toolを実行し、そのアプリケーションでUIツリーを確認するだけです。サイモンの答えに
いくつかの追加...あなたはchrome --force-renderer-accessibilityを実行する場合
クロームページのコンテンツは、UIAで見ることができます。既存のChromeプロセスでのみ動作しません。ユーザーは新しいタブchrome://accessibilityを手動で作成し、選択したすべてのページまたは一部のページでUIAを有効にできます。この方法は、Linux上のAT-SPIアクセシビリティ技術でも機能します。もちろん、Selenium WebDriverは業界標準です。しかし別の方法が存在する。 MozillaとIEは、デフォルトでUIAをサポートしています。
Inspect.exeは、単にthis GitHub repoからダウンロードできます。
Javaアプリに関しては、アプリの種類によって異なります。あなたのチャンスは約50/50です。
WxPythonまたはPyQt5はUIAに適しています。 TkInterまたはKivyアプリはそうではありません。
P.S. Pythonライブラリpywinautoを使用しているhow to drag a file from explorer.exe and drop to Google Drive in Chromeの例があります。