bigdata

0熱

1答えて

Hive/Sparkでbigdataテーブルの関連するすべてのサブ範囲を効率的に見つける

this質問に続いて質問したいと思います。 - MajorRange row | From | To | Group .... -----|--------|---------|--------- 1 | 1200 | 1500 | A 2 | 2200 | 2700 | B 3 | 1700 | 1900 | C 4 | 2100 | 2150 | D ... 第二のテーブル

0熱

1答えて

TableauでのJSONデータの処理（1GB）

大規模なTwitterデータセットをJSONファイルの形式で使用しています。 Tableauにインポートしようとすると、エラーが発生し、128 MBのデータアップロード制限のアカウントでアップロードが失敗します。データセットを縮小して128MBにする必要があるため、分析の有効性が低下します。大きなJSONデータをテーブルにアップロードして処理するには、どのような方法が最適ですか？外部ツールを

0熱

1答えて

ビッグデータアプリケーションのCI/CDの業界標準としてはどのようなものがありますか？

HadoopやSparkや従来のアプリケーションでBig Dataアプリケーションについて話したとき、CI/CDのアプローチに違いはありますか？

0熱

1答えて

SparkContextコンストラクタを2回呼び出すことはできますか？

私は以下のようなことをする必要があります。 val conf = new SparkConf().setAppName("MyApp") val master = new SparkContext(conf).master if (master == "local[*]") // running locally { conf.set(...) conf.set(...)

0熱

1答えて

sqoopはハイブを使った動的パーティショニングをサポートしていますか？

sqoopはハイブで動的パーティショニングをサポートしていますか？私は、下記のオプションを使用してみました： --hiveパーティション・キーと--hive =パーティションvlaueのみ静的なパーティショニングのためなどのためです： sqoopインポート --connect「JDBCます。mysql：/ /quickstart.cloudera:3306/prac " --username

0熱

1答えて

Log4j in spark2-shell

spark2-shell -iオプションでスパークスクリプトを実行しています。 log4jフレームワークを使用して、生成されたログをファイルにリダイレクトします。私は実行するために使用コマンド： spark2-shell --master yarn --deploy-mode client -i audit.scala --conf spark.driver.args="PROD sample.

0熱

1答えて

はlocalhost：ERROR：私はこれを取得していますなぜデータノードのプロセスの優先順位32156

を設定することはできません、私はUbuntuの16.04でのHadoopをインストールしようとしていますが、Hadoopのを起動中にエラー localhost: ERROR: Cannot set priority of datanode process 32156. Starting secondary namenodes [it-OptiPlex-3020] 2017-09-18 21:1

1熱

1答えて

GoogleタグマネージャのクリックストリームをAmazonに送信

質問は、効率的なパフォーマンスを得るためにどのサービスを使用する必要がありますか。コンテキストと目標：各ユニバーサルアナリティクスタグ（イベントやページビュー）が類似して自分のEC2サーバにHTTPリクエストを送信した後ようそれでは、私は正確にやろうとすると、使用タグマネージャのカスタムHTMLですペイロードからGoogleアナリティクスに送信されるものまで私は、考えて計画され、これまでの研究