TensorFlow XLAはスパーステンソルを扱うのでしょうか？

Question

私はここでXLAプレリリース資料を読んだ。

https://www.tensorflow.org/versions/master/resources/xla_prerelease#xla_accelerated_linear_algebra

これは、要素のデータ型について説明したが、テンソル自身のデータ編成についての多くの詳細には触れません。 XLAが利用可能になったら、SparseTensorオブジェクトの操作はどのように処理されますか？

Answer 1

いいえ、XLAは高密度テンソルに焦点を当て、効率的な方法で疎テンソルを扱いません今日。

ユーザーはlayouts（例：内部パディング）を使用していくつかの希薄さを表現できるように簡単に拡張できます。

Answer 2

レイアウトは入力と出力のテンソルのデータ編成を制限し、スパースレイアウトは含まれませんが、Jingyueの示唆しているように、将来拡張することができます。 ASTのテンソルの内部表現は原則としてバックエンドが望むものであればどんなものでもよく、異なるバックエンドによって実装される異なる演算子の便宜のためにコンパイラが異なるレイアウトにデータを再編成することが期待されます。

私は誰もこれを疎なテンソルのために効率的に行う方法を考えていることは知らない。原則として、コンパイラ・パスとして実行して、希少性を推測し、それを伝播し、関連するすべての演算子のための疎な実装を行うことができます。今日はそれが存在するようなものはありません。

Answer 3

スパースデータは、私たちが働きたいものですが、いくつかの課題があります。例えば。現在のXLAは、すべてのバッファの正確なサイズを静的に知ることに依存しています。確かにそれに対処する方法を見つけることができましたが、それまでの密なデータに焦点を当てていました。