pyspark

0熱

1答えて

pySparkローカルモード - テキストファイルをfile：///と相対パスでロードする

私はスパークを開始していますが、ローカルモードで例を試しています... RDDを作成する際のいくつかの例では、ファイルへの相対パスが使用され、その他のパスでは「file：///」で始まります。 2番目のオプションは私にとってはまったく機能しませんでした - 「入力パスは存在しません」誰もファイルパスを使用してファイルパスを使用し、その前に 'file：///'私はローカルモードで from py

1熱

1答えて

PySparkのRDDで正規表現と一致するすべてのパターンをフィルタリングします

レコードが別々の行ではなく1行で記述された.csvファイルがあります。正規表現(?:"([a-zA-Z0-9 /\-\:\.\,]+)",|\\N,|"",|""){26}を使用して各行のパターンを一致させることができました。私は、.csvファイルを読み取って、reを使用してパターンを指定する次のコードを持っています。 textFile = sc.textFile("/home/Stores.c

0熱

3答えて

PySparkは名前に基づいて複数の列にリストを分解します

こんにちは私はいくつかの将来の処理のためにきれいにしようとしているやや難しいファイル形式を扱っています。私はPysparkを使ってデータをデータフレームに処理しています。ファイルはこのようになります。その中に符号化さ AA 1234 ZXYW BB A 890 CC B 321 AA 1234 LMNO BB D 123 CC E 321 AA 1234 ZXYW CC E 456

0熱

1答えて

PySpark/HIVE：私は既存のテーブルに追加するにはどうすればよい</p> <p>：既存のテーブルに

本当に基本的な質問pyspark /ハイブ質問を追加？私の試行は以下です from pyspark import SparkContext, SparkConf from pyspark.sql import HiveContext conf_init = SparkConf().setAppName('pyspark2') sc = SparkContext(conf = conf_ini

1熱

1答えて

PySpark DFを特殊フォーマットのファイルに書き込む

私はPySpark 2.1を使用しています。特殊なフォーマットの.txtファイルにデータフレームを書き込む方法を考え出す必要があります。典型的なjsonやcsvではなく、CTF形式（CNTKの場合）です。ファイルには、それがフォームを次のなどの余分な括弧やカンマを持つことはできません。 |label val |features val val val ... val |label val |f

-3熱

1答えて

とValueError：Pyspark

に浮いているように私の火花RDDこの totalDistance=flightsParsed.map(lambda x:x.distance) totalDistance.take(5) [1979.0, 640.0, 1947.0, 1590.0, 874.0] のようになりますが、私はそれを減らす実行すると totalDistance=flightsParsed.map(lambd

2熱

1答えて

spark 2.2 cache（）が原因でドライバOutOfMemoryerrorが発生する

私はAWS EMR（Zeppling/spark-shell）でScala 2.2を実行しています。私は非常に簡単な計算を計算しようとしています：大きなデータセットの読み込み、フィルタリング、キャッシング、およびカウント。私のデータには51,317,951,565（510億）行の4,500 GB（4.8 TB）のORCフォーマットが含まれています。最初私は、次のクラスタとプロセスにそれを試して

4熱

3答えて

値が存在するかどうかのフラグを計算するためにデータフレームを転置する方法は？

が、私はこの Sno|UserID|TypeExp 1|JAS123|MOVIE 2|ASP123|GAMES 3|JAS123|CLOTHING 4|DPS123|MOVIE 5|DPS123|CLOTHING 6|ASP123|MEDICAL 7|JAS123|OTH 8|POQ133|MEDICAL ....... 10000|DPS123|OTH ユーザーIDは、ユ

0熱

1答えて

CPUが100％で動作しているワーカーでスパークジョブがハングアップ

時々私のスパークジョブがCPUが100％であると思われるワーカーに無期限にハングアップしているようです。 Tasks: 288 total, 1 running, 287 sleeping, 0 stopped, 0 zombie %Cpu(s): 3.1 us, 0.0 sy, 0.0 ni, 96.9 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st KiB Mem :

0熱

1答えて

大きなRDDをHiveに書き込む - アンロードメモリをストレージメモリに転送できませんでした

PySparkでいくつかの結合を行い、結果をHiveに保存しようとしています。スニペットは、小さなデータセットで動作しますが、データサイズが大きくなるが、私はエラーの下に取得する場合は、以下は、ソフトウェアバージョン HDFS 2.7.3 ハイブ1000年2月1日 YARN 2.7.3です MapReduce2 2.7.3 Spark2 2.1.1 のPython 3.5.2 Hortonwor