テンソルを直接生成するテンソルフロー用の独自のデータリーダの作成

Question

テンソルフロー用の新しいデータリーダを作成して、文字列のデータを直接デコードすることなく複数のテクスチャ/ラベルテンソルを生成したい。私はnew_data_formatsチュートリアルを見て、まだ私は私が直接テンソルを生産していますので、私自身のリーダー・クラスがインタフェース

Status ReadLocked(string* key, string* value, bool* produced, bool* at_end) 

を介して相互作用する必要はありません。読者はfilename queueからファイル名を取り、複数のテンソル（ファイルサイズに応じて）を生成し、random batch queueにエンキューする必要があります。私の質問は：私の読者はどのクラスからテンソルを作り出すべきか？スレッドの安全性のためにこれを単にnew opとして実装するだけでは不十分だと思います。私は、resource_op_kernel classが適切な出発点かもしれないことに気づいた。

これはテンソルフローの中でかなり深いので、どこから始めるべきなのか、何かのヒントが役立つのでしょうか（特に、リソース管理、テンソルフロー内のカスタム操作ops &スレッドセーフ）。

Answer 1

tf.data.FixedLengthRecordDatasetの実装は、（C++ op implementation here）を開始するのに適しているようです。これはすでにファイル名を取得してTensorsを直接返すので、複数のTensorsを出力するのと同じように思えます。

キューではなくtf.dataを使用していることを許可しました。おそらく良いアイデアだろう。