Pythonでカーソルを物理的にWeb要素に移動

Question

カーソルをWeb要素（シミュレートしない）に物理的に移動し、シフトキーを押しながらオフセットで別の要素をクリックしたいとします。私はpyautoguiを使用して、保留シフトキーと第二の要素をクリックするを持っている

：

import pyautogui 

pyautogui.keyDown('shift') 
pyautogui.moveRel(0, 62) 
pyautogui.click() 
pyautogui.keyUp('shift') 

私の問題は、上記のコードを実行し、そのオリジナルのウェブ要素に物理的にマウスを動かしています。 Pyautoguiは、絶対x、yコーディネータに移動するオプションを提供しますが、Web要素の絶対位置が変更されるため、私の場合は機能しません。

どうすればいいですか？好ましくはpython（pyautogui、selenium、etc）？

ブラウザはクロームで、OSはOS Xの

Answer 1

あなたは、このためのセレンアクションを使用することができます

（私は残念ながら、この1とセレンのために話すことができる）、すなわち

（サンプルは、C＃である）であります

new Actions(driver) 
    .MoveToElement(element1) 
    .KeyDown(Keys.Shift) 
    .MoveByOffset(offset) 
    .Click(element2) 
    .KeyUp(Keys.Shift) 
    .Perform(); 

は、Javaを使用している場合は、物事のこれらの種類のロボットのいくつかのコンセプトは（私が読んだから）もあり、つまり、このスレッドを参照してくださいhttps://stackoverflow.com/a/12978079/3110529

Answer 2

ImageHorizonLibraryからEficodeまではあなたに役立つかもしれません。ライブラリはLinuxとWindowsで動作し、マウスを動かします。

以下は、2ステップのマウス移動のスクリプト例です。ライブラリには、次の論理的な手順のように、多くのクリックオプションKeywordsもあります。

*** Settings *** 
Library ImageHorizonLibrary 

*** Test Cases *** 

Mouse Test 
    Sleep 2Sec 
    Move To 345  345 
    Sleep 2Sec 
    Move To 1800 720 

Answer 3

PyAutoGUIを引き続き使用したい場合は、画像認識機能の使用をお勧めします。 Webページの要素のスクリーンショットを撮り、スクリーンショットを要素だけにトリミングします（MSペイントまたはオンラインクロップツールを使用して）。

次に実行します。

>>> x, y = pyautogui.locateCenterOnScreen('croppedscreenshot.png') 
>>> pyautogui.moveTo(x, y) 
>>> pyautogui.keyDown('shift') 
>>> pyautogui.click(x, y) 
>>> pyautogui.keyUp('shift') 

これは、もちろん、脆弱でエラーが発生しやすいです。これは、画面上に表示されている要素に依存しており、スクリーンショットとは異なるブラウザを使用している場合は機能しない可能性があります。

セレンなどのツールを使用する方がはるかに良いアイデアです。