sikuliを使用して複数回使用される特定のドロップダウンアイテムをクリックしてください

Question

sikuliを使用している問題に直面しています。

添付のツールバーの画像では、同じドロップダウンメニューが3回異なる目的で使用されています。 sikuliを使用して、2番目のドロップダウンメニューをクリックします。

私は以下のコードを使用していますが、問題はコードを実行中に、最初のドロップダウンをクリックするだけです。

私のコードは次のとおりです。

Screen screen = new Screen(); 

    // Create object of Pattern class and specify the images path 

    Pattern image = new Pattern(AppConstant.IMAGE_DIR+"toolbar.png"); 
    Pattern image2 = new Pattern(AppConstant.IMAGE_DIR+"import-button.png"); 
    Pattern image3 = new Pattern(AppConstant.IMAGE_DIR+"dropdown.png"); 
    //screen.wait(image.exact(), 10000); 
    screen.find(image); 
    screen.find(image2); 
    screen.find(image3); 

任意の提案がどのようにこれを行うには？

ありがとうございました

Answer 1

、ベストプラクティスは、ピボットとして、周囲の要素を使用することです。あなたの場合、あなたがクリックしたい要素の同じ領域に別の一意の要素を持っていることが分かっているならば、その一意の要素を見つけてから、その固有の要素の周りで実際に必要な要素を検索することができます。

たとえば、あなたの場合、必要なドロップダウンメニューボタンのすぐ隣に青い下向き矢印があります。

ここ

ImagePath.setBundlePath("C:\\someDir\\sikulipatterns"); //This is to avoid supplying directory for each pattern 
Screen screen = new Screen(); 

Pattern bigBlueArrowPattern = new Pattern("bigBlueArrow.png"); 
Pattern dropDownPattern = new Pattern("dropDownArrow.png"); 

Region bigBlueArrowPatternRegion = screen.find(bigBlueArrowPattern); 
bigBlueArrowPatternRegion.grow(50).find(dropDownPattern).highlight(1); 

、50はとても基本的に青い矢印の周囲の領域を拡張し、領域の周りに追加する余裕がある。だから、このような何かを行うことができます。私はhighlight(1)を含めるだけで、正しい要素が実際に配置されていることを強調していますが、それを削除して、見つかった要素で何でもしてください。

Answer 2

まず、その要素のアクセシビリティIDが必要です。その要素にAI（アクセシビリティID）がある場合その後、要素を繰り返し処理して、目的のインデックスにアクセスできます。

WindowsでAIを取得するには、Inspect（miscrosoftのAiツール）を使用できます.In Macでは、Appiumを使用してAIを取得できます。

開発者のソースコードにアクセスできる場合は、そこにApiもあります。

ELSE：以下のコードを使用できます。これがあなたを助けることを願っています。

 Iterator <Match> matches = screen.findAll("dropdown.png"); // s is screen 
     Pattern pButton = new Pattern("dropdown.png"); 


     while (matches.hasNext()) { 

     Match m = matches.next(); 
     i++; 
     if(i==3) { 

      screen.click(m); // click on drop-down 
      Thread.sleep(1000); 
      break; 
     } 
    } 

Answer 3

あなたは作り付けのfindAllとgetlastMatchesメソッドを使用して、あなたがしたいものをクリックすることができます。複数の同様のパターンを有するシナリオで

icons = findAll(image3) mm = list(getLastMatches()) click(mm[2])