cloudera

0熱

1答えて

sqouop listデータベースコマンドを実行中にclouderaリンクエラーが発生しました

clouderaで以下のコマンドを実行しようとしていて、リンクエラーが発生しました。私はmysqldサービスを再起動しようとしましたが、使用はありません。親切にも、ある人が友人を助ける。 コードとエラー：$ sqoopリストのデータベース [〜Clouderaのの@クイックスタート] --connect "JDBCます。mysql：//quickstart.cloudera：3306" --use

mysql cloudera sqoop 2017-09-22

---

0熱

1答えて

HDFS再発のエラー：複製されていないブロック

毎日、Hadoopクラスタは、「複製禁止ブロック」があると報告しています。これはCloudera Managerによって管理されます。私は問題を修正するコマンドが実行されている ! Under-Replicated Blocks Concerning: 767 under replicated blocks in the cluster. 3,115 total blocks in the clu

hadoop hdfs cloudera cloudera-manager 2017-09-25

---

0熱

1答えて

ウォレット付きSqoopインポート

Cloudera CDH 5.8.5のSqoop v1.4.6でのウォレットの使用に関するいくつかの問題に直面しています。私たちのシナリオ： ユーザーフォルダ：/ホーム/ myuserの 財布フォルダ：/ホーム/ myuserの/財布（のcwallet.sso、cwallet.sso.lck、ewallet.p12と、ewallet。財布はよく、私は sqlplus /@MY_TNS_NAME

oracle hadoop cloudera sqoop wallet 2017-09-26

---

0熱

1答えて

すべてのエグゼキュータで均等にpyspark分割ロード

私は5ノードクラスタを持っています.pysparkを使用してデータフレームに100k csvファイルをロードし、いくつかのetl操作を実行し、出力を寄木細工ファイルに書き込みます。 データフレームをロードすると、各エグゼキュータが20kレコードを処理するすべてのエグゼキュータ間でデータセットを均等に分割できます。

apache-spark pyspark cloudera hortonworks-data-platform mapr 2017-10-06

---

-1熱

1答えて

Hadoopエコシステム用のJava環境変数の再設定

JDK 1.7、Spark 1.6バージョンで事前設定されたCloudera VM 5.10にScala IDE 4.7をインストールしようとしています。 したがって、Clouderaによって与えられた/usr/java/jdk1.7にあるデフォルトのJDKをアンインストールすることによって、/ opt/locationにjdkバージョン1.8をインストールしました。私は.bash_profile

hadoop cloudera scala-ide 2017-10-11

---

0熱

2答えて

Pyspark MLエラーオブジェクトが

以下は私のデータフレームとコードで何の属性マップを持っていない私は一時=行を実行していたとき、私はエラーの下に取得する以下 df= a b c d 1 3 10 110 2 5 12 112 3 6 17 112 4 8 110 442 は私のコード spark =SparkSession.builder.appName('dev_member_validate_spark

hadoop machine-learning pyspark analytics cloudera 2017-10-14

---

0熱

1答えて

スパーク送信失敗 -/opt/cloudera/parcels/CDH/bin/spark-class：そのようなファイルやディレクトリがありません

私はClouderaチュートリアルを実行し、 "4. spark-submitを使用してアプリケーションを送信しています。チュートリアルの実行に失敗するように私は何をしていますか？私はspark-shellとspark-submitを見つけましたが、/ binフォルダからSpark-slassを探しました。 https://www.cloudera.com/documentation/enterp

apache-spark cloudera 2017-10-16

---

2熱

1答えて

Pyspark sc.textFile（）がファイルを完全にロードしない

ClouderaクイックスタートドッカーコンテナでPython Spark（v 1.6.0）から始まります。 静的 .txtファイル（500 mb）を、succesを含む/user/root/access_log.txtのhdfsに入れます。 pysparkで 私はPythonコードのTE次の行を含むファイルをロードしよう： lines = sc.textFile("hdfs://quicksta

python hadoop apache-spark pyspark cloudera 2017-10-17

---

1熱

1答えて

spark-hbaseコネクタが切れたチケットのケルベロス

私はCDH 5.8.4のクラスタを持っています。私は、cloudera spark-hbaseコネクタ、すなわちHBaseContextを使用してHBaseから/にデータを読み書きするスパークストリーミングアプリケーションを起動しています。 私はアプリケーションを起動すると、プリンシパルとkinitをspark-submitスクリプトに与えます。 7日後、HBaseコンテキストに関連するチケットの

apache-spark hbase spark-streaming cloudera 2017-10-26

---

0熱

1答えて

スパーク送信は正常に実行されますが、oozieから送信された場合、ハイブへの接続に失敗します

私はCDH 5.9.0、Spark 1.6、Scala 2.10.0を使用しています。私はテーブルを作成し、ファイルからハイブにデータをロードするためのスカラとスパークプログラムを作成しました。 spark submitを使用して実行すると、完了します。しかし、同じプログラムがoozieを通して提出されたとき、それは以下の例外を投げます。 以下は例外です。 Log Type: stdout Lo

scala hadoop apache-spark cloudera oozie-workflow 2017-10-27

---