pyspark-sql

0熱

1答えて

pyspark SQLデータフレームのスパースベクトルの行を掛ける

SQLデータフレームの列の要素を乗算するのが難しいです。 sv1 = Vectors.sparse(3, [0, 2], [1.0, 3.0]) sv2 = Vectors.sparse(3, [0, 1], [2.0, 4.0]) def xByY(x,y): return np.multiply(x,y) print(xByY(sv1, sv2)) 上記は機能します。

python apache-spark pyspark pyspark-sql 2017-05-19

---

0熱

2答えて

特定のステータス（列の値）を持つ行に対する期間の分布

ログを含むPysparkデータフレームがあり、各行はログに記録された時点のシステムの状態に対応しています。私は各グループが不健康な状態にある期間の長さを見たいと思います。例えば これが私のテーブルだった場合、： TIMESTAMP | STATUS_CODE | GROUP_NUMBER -------------------------------------- 02:03:11 | hea

apache-spark pyspark apache-spark-sql spark-dataframe pyspark-sql 2017-05-23

---

0熱

1答えて

pySparkでcreateOrReplaceTempViewを実行した後に列のデータ型を維持する方法は？

私はデータの種類 orders.printSchema() root |-- order_id: long (nullable = true) |-- user_id: long (nullable = true) |-- eval_set: string (nullable = true) |-- order_number: short (nullable = true) |-- o

pyspark spark-dataframe pyspark-sql 2017-05-23

---

0熱

1答えて

なぜpysparkは分散の値が間違っていますか？

私はpysparkに登録されたテーブルを持っています。 +--------+-------+--------+------------+---------+-----------------+----------------------+ |order_id|user_id|eval_set|order_number|order_dow|order_hour_of_day|days_since_

pyspark pyspark-sql 2017-05-23

---

1熱

1答えて

PySparkの毎週発生の計算

単語の毎週の出現を計算しようとしています。つまり、今週は各週が前週よりも頻繁に出るかどうかです。それのために、私は固執しています。私は、次のことをやった： m = sc.parallelize(["oded,12-12-2018", "oded,12-03-2018", "oded,12-12-2018", "oded,12-06-2018", "oded2,12-02-2018", "oded2

pyspark pyspark-sql 2017-06-04

---

0熱

1答えて

Spark DataframeはDBに対する変換をサポートしていますか？

私はPySpark df1 = session.read.jdbc(url=self.url, table=self.table, properties={"driver": self.driver, "user": self.user, "password": self.password}) または

apache-spark pyspark pyspark-sql 2017-06-06

---

0熱

1答えて

pysparkのクラスパスにsql server jarを追加した後にハイブを照会できません

ハイブが正しく設定されているため、pysparkを使用してreplを入力した後にspark.sqlを使用して照会できます。私はSQL Serverからテーブルを読み込み、ハイブに保存したい。 pyspark --driver-class-path sqljdbc4.jar --jars sqljdbc4.jarのようなjdbc jarでレプリケーションを開始すると、SQL Serverから読み込む

sql-server jar pyspark hiveql pyspark-sql 2017-06-08

---

1熱

2答えて

pysparkのループエラーのため

私は次の問題に直面しています： 私はデータフレーム（acc_name）の列の要素と比較する必要があるリストを持っています。私は、次のループ機能を使用していますが、それはbs_list要素がacc_name列のサブセットであるPyspark bs_list = ['AC_E11','AC_E12','AC_E13','AC_E135','AC_E14','AC_E15','AC_E155','AC

python python-2.7 pyspark ipython pyspark-sql 2017-05-02

---

0熱

2答えて

DataFrameでカウントクエリをクエリする際に整数値を取得する方法はありますか？

私が指定したテーブル内の数の整数値を取得するには、このコードを書いています： sc = SparkContext("local", "spar") hive_context = HiveContext(sc) hive_context.sql("use zs_trainings_trainings_db") df = hive_context.sql("select count(*) fro

python hive pyspark pyspark-sql hivecontext 2017-05-04

---

1熱

3答えて

（spark、python、pyspark、jupyter）を使ってHDFSに複数のアイテムを保存する

私はPythonでプログラミングするのに慣れています。私の会社はJupyterをインストールしたHadoop Clusterを取得しました。今まで私はSpark/Pysparkを何も使用していませんでした。 text_file = sc.textFile("/user/myname/student_grades.txt") そして、このような出力を書き込むことができ - 私：私はこれと同じよう

python apache-spark hdfs pyspark-sql 2017-05-11

---