アイトラッキングでウィンドウフォーカスに従いますか？ （ウィンドウマネージャ）

Question

私のマルチディスプレイのデスクトップセットアップの前に座って、簡単なウェブカメラとアイトラッキングソフトウェアをウィンドウマネージャに接続して、私が探しているウィンドウに現在のウィンドウのフォーカスを設定するという考えになったで。フォーカスはカーソルに追従せず、私の目の動きに直接追従するので、ウィンドウをシームレスに切り替えることができ、いつでも正確に入力することができます。

これは難しいことではないと思います。このようなことについて考えるのは初めてではありません - これはx11/waylandの既存の実装か、kwinの拡張機能ですまたはこれを実装しようとする必要がありますか？もしそうなら、誰でも私に加わることに関心があるのですか？これは誰も実際に使用しないばかげた考えですか？

Answer 1

私は少しこのアイデアで遊んだ。私は目の追跡があまりにも敏感かもしれないと思うが、 "焦点は頭に従う"私のための最初のPOCのために非常にうまくいきました。私は単純な訓練dlibネットワークは、顔の特徴点を行う - > 2dの座標マッピングがでも良いツールかもしれません。もう1つのアイデアは、ヘッドフォンに2〜3のARマーカーを付けることです。この方法で、この「ヘッドフォンをオンにしています=私はウィンドウのフォーカスを制御しています」モードに自動的に切り替わります。