0
spark avroデータソースはFileFormatインターフェイスに基づいて実装されています。 FileFormatに基づいてsparkカスタムデータソースを書き込む方法に関するドキュメントはありますか？今まで私は見つけることができません（spark avroのソースコードを除く）。FileFormatに基づいてsparkカスタムデータソースを書き込む方法
ありがとうございました！ここで
A
答えて
0
は、単純なファイルベースのスパークデータソースの例です：https://hackernoon.com/extending-our-spark-sql-query-engine-5f4a088de986
はここだけでなく、データソースのAPIを実装するカップルの例です：* https://github.com/databricks/spark-csv * https://github.com/databricks/spark-avro
関連する問題
- 1. SparkでDataFrameの複数の値に基づいて条件を書き込む方法
- 2. Pythonでの位置に基づいてファイルにデータを書き込む方法
- 3. 番号に基づいて複数の配列に書き込む方法は？
- 4. CSVセルPythonに基づいてXMLファイル名を書き込む
- 5. プロジェクトの場所に基づいてファイルに書き込む
- 6. WMI情報に基づいてレジストリに書き込むPowershellスクリプト
- 7. EditTextの内容に基づいてファイルに書き込む
- 8. Spark Datasetを使用してPostgreSQL hstoreに書き込む方法
- 9. Apache SparkでPostgresデータベースにロードして書き込む方法
- 10. Sparkカスタムデータソース
- 11. spark DataFramesをPostgres DBに書き込む方法
- 12. カスタムプロパティに基づいてBeanを読み込む方法
- 13. 'onclickイベント'に基づいてイメージを読み込む方法
- 14. Kstreamsメッセージの特定のキーに基づいて分割された方法でkafkaに書き込む方法
- 15. if条件に基づいてcsvファイルに新しい列を書き込む
- 16. Sparkワーカープロセス内にファイルを書き込む
- 17. SparkでMongoDBにデータを書き込む
- 18. SparkストリーミングスクリプトからHDFSに書き込む方法
- 19. 類似アイテムのリストに基づいてファイルを作成して書き込む
- 20. SSIS Foreachループを使用して変数に基づいて特定のテーブルに書き込む方法
- 21. Pythonの変数に基づいてディレクトリにファイルを書き込む
- 22. awkを使用して列の値に基づいてヘッダ名を書き込む方法
- 23. Apache Sparkでファイルに書き込む
- 24. Spark 2.1でコレクションのエンコーダを書き込む方法は？
- 25. チェックボックスリストで選択された値に基づいてSQL文を書き込む
- 26. Googleのデータフロー入力に基づいて複数のテーブルに書き込む
- 27. Spark＆Scalaを使用してCouchBaseにデータを書き込む方法は？
- 28. tclの ""に基づいてファイル内のstrinsを分割する正規表現を書き込む方法は？
- 29. 長さに基づいてセルを見つけるマクロを書き込む方法は？
- 30. Wixバンドル内の文字列比較に基づいてMsiPackage/InstallConditionを書き込む方法は？