私は、ランダムセンサーからのデータを数分間で記録したCSVファイルを持っています。 今私はCSVファイルから私のpyhtonコードにそのデータをセンサー自体から直接データを受信していたかのようにストリームしたいと思います。 (コードは2つの異なるセンサー/ csvファイルから読み込み、平均化するためのコードです) 誰かがApache Sparkを使用してデータをストリーミングすることを提案しましたが、私にとってはそれほど複雑すぎると感じています。簡単な解決策があるかもしれませんか?CSVファイルからのPythonへのリアルタイムデータストリーム
1
A
答えて
0
これを実現するには、Pythonでtail -f
のようなものを使用できます。これはあなたが望むことをするはずです。 http://lethain.com/tailing-in-python/
+0
私は仮想シリアルデバイスを作成し、それを介してデータを送信することは可能ですか?私は最終的にそれはどうしたらどうやってセンサーにインターフェースするのかということを意味します。 –
+0
アイデアは、おそらく?あなたはそれをひっくり返して、センサーと直接的にPythonインターフェイスを持ち、PythonプロセスにCSVデータを保存させたくなければ、csvファイルを読み込むよりも複雑に思えます。 – acushner
2
あなたはまた、小さなチャンクに大きなcsvファイルを読むためにパンダのread_csv()関数を使用することができ
、基本的なコードは下に書かれている:このリンクは、これがどのように機能するかを説明し
import pandas as pd
chunksize = 100
for chunk in pd.read_csv('myfile.csv', chunksize=chunksize):
print(chunk)
: http://pandas.pydata.org/pandas-docs/stable/io.html#io-chunking
関連する問題
- 1. PythonのJSONからCSVへ
- 2. JSONファイルからCSVファイルへ
- 3. Pythonのxmlからcsvへの変換
- 4. csvからjsonへのpythonの変換
- 5. JSONからCSVファイルへRuby
- 6. インデックスCSVからPythonへのElasticSearch
- 7. Python 3.5からcsvへのエクスポート
- 8. Python - XMLからCSVへの変換
- 9. Pythonデータフレームからcsvへのインデックスエラー
- 10. .dataファイルから.csv Pythonへのデータ解析。
- 11. クラウドストレージからビッグクエリへのCSVファイルのロード
- 12. csvファイルへのパイピングデータのPython書込み
- 13. Get-ChildItemから.csvファイルへのパイプファイル名
- 14. SSISパッケージからCSVファイルへの出力 -
- 15. RからCSVファイルへのエクスポートchainladder
- 16. AWS S3からMarkLogic 8へのCSVファイル
- 17. PythonでCSVからCSVへの列のコピー
- 18. Python JSONからCSVへ変数フィールド
- 19. Python辞書からCSV行と列へ
- 20. CSVファイルからC++へのMAPへのデータの保存
- 21. 1つのCSVファイルから別のCSVファイルへの書き込みと再コード
- 22. SkFlowへのCSVファイル
- 23. dictへのCSVファイル
- 24. Python 3 1つのcsvファイルから別のcsvファイルに特定の列をコピー
- 25. csv pythonへのデータのエクスポート
- 26. メインのcsvファイルからPythonで多くのcsvファイルを作成する
- 27. DataFrameからCSVへのRDDへのストリーム
- 28. CSVファイルからPythonを読む
- 29. URLからPythonで.csvファイルを取得
- 30. csvからjsonへのデータ
あなたは行ごとにそれを読むことができませんか? (オプションで、1行の読み込みの間に少しの遅延を加えます) – Olian04
センサーインターフェイスをモックしたいのですか、それともデータだけを気にしますか?読み込み間に遅延が必要ですか?必要な場合に遅延を計算できるように、データにタイムスタンプが付きますか? –
@ Olian04おそらく私はそれを行うことができます。私はプログラミングにはかなり新しいですし、これらすべてのことについて全く考えていません。私は愚かなことを謝る。しかし、私はそれを実際の効果を与えるためにラインを読むことの間にいくつかの時間の遅延を与えなければならないでしょうか? –