OCRと各文字の画像の関連付け

Question

私は視覚障害のある友人を助けるプロジェクトに取り組んでいます。パイソンスクリプトはまず1秒ごとにスクリーンショットを撮り、画像にあるものはテキストに変換され、 curserの座標に最も近い文字が出力になります。

ユーザーはスクリーン上の任意の場所にカーソルを移動することができ、カーソルの最も近いアルファベットがプログラムの出力になります。

出力の形式について心配する必要はありませんが、フォームのオーディオになります。しかし、質問の簡潔さのために、それが単一の文字テキストの形であると仮定することができます。

すべてのチュートリアルOCRの依存関係を使用してすべてのテキストを連続したテキストファイルに変換する方法を説明したチュートリアルがあります。

私の特定のアプリケーションでは、各アルファベットは特定の座標に関連付けられます。しかし、私はちょうど画像上の変換された文字の位置を特定する方法を学ぶための単一のリソースを見つけることができませんでした。

画像から文字の座標を抽出する方法を教えてください。

Answer 1

画像から文字の座標を抽出する方法を教えてください。

ローカルソリューションでなければなりませんか？そうでない場合は、無料のOCR.space APIを使用するとよいでしょう。 OCRされた各単語の座標を返します。

座標を返す他のオンラインOCRエンジンは、Google cloud visionとAzureです。彼らはテストのための小さなフリー層を持っています。このフォームでcompare their OCR resultsを入力することができます。

Answer 2

これは良いプロジェクトです。しかし、私はそれが鶏と卵の問題だと思う。有能なOCRエンジンによってOCRを実行する必要があります（大部分は座標を提供しません）。結果にはテキストと関連する座標が含まれます。あなたの質問「画像から文字の座標を抽出する方法」は、OCRを実行して座標を取得することを意味します。ゾーン全体のOCR、つまり画面全体ではない場合は、OCRのどのゾーンを知る必要があります。また、このゾーンを設定して、そのゾーンのマウスの周囲に必要なテキストがすべて含まれているかどうかを確認する必要があります。 www.wisetrend.comの私の会社は、ケースごとにそのようなOCR特化プロジェクトを構築しています。共同で仕事をしたい場合は、この非営利プロジェクトで喜んで支援します。