私はthis Apache Flink trainingを使って作業しています。単純なアプリケーションを作成してファイルからデータを読み込み、フィルタリングします。私はFLINKアプリケーションを作成するための言語としてのScalaを使用していて、最終的なコードは次のようになります。インポートされたMavenパッケージのgroupIDの名前を変更してハイフンを削除するにはどうすればよいですか?
package com.dataartisans.flinktraining.exercises.datastream_scala.basics
import com.dataartisans.flinktraining.exercises.datastream_java.sources.TaxiRideSource
import com.dataartisans.flinktraining.exercises.datastream_java.utils.GeoUtils
import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.scala._
object RideCleansing {
def main(args: Array[String]) {
val params = ParameterTool.fromArgs(args)
val input = params.getRequired("input")
val maxDelay = 60
val speed = 600
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
val rides = env.addSource(new TaxiRideSource(input, maxDelay, speed))
val filteredRides = rides
.filter(r => GeoUtils.isInNYC(r.startLon, r.startLat) && GeoUtils.isInNYC(r.endLon, r.endLat))
filteredRides.print()
env.execute("Taxi Ride Cleansing")
}
}
としてはhereをお勧めします、私は私のPOMファイルに以下を追加しました:
<dependency>
<groupId>com.data-artisans</groupId>
<artifactId>flink-training-exercises</artifactId>
<version>0.10.0</version>
</dependency>
私はmaven clean package
を入力すると、しかし、私は次のエラーを取得:
error: object dataartisans is not a member of package com
import com.dataartisans.flinktraining.exercises.datastream_java.sources.TaxiRideSource
をそれはパッケージcom.dataartisans
を探しているようだが、それはイムでしたcom.data-artisans
としてハイフンで移植されているため、見つからないことがあります。メインのIDEがIntelliJの場合、どうすればこの問題を解決できますか?ここ
がpackage
コマンドからの出力である:論理的アーチファクト(jar
)の両方を識別するために不可欠であるMaven coordinatesある
[INFO] Scanning for projects...
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Building Flink Quickstart Job 0.1
[INFO] ------------------------------------------------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ flink-scala-project ---
[INFO] Deleting /da-flink/target
[INFO]
[INFO] --- build-helper-maven-plugin:1.7:add-source (add-source) @ flink-scala-project ---
[INFO] Source directory: /da-flink/src/main/scala added.
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ flink-scala-project ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 6 resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ flink-scala-project ---
[INFO] Nothing to compile - all classes are up to date
[INFO]
[INFO] --- scala-maven-plugin:3.2.2:compile (default) @ flink-scala-project ---
[WARNING] Expected all dependencies to require Scala version: 2.10.4
[WARNING] org.scala-lang:scala-reflect:2.10.4 requires scala version: 2.10.4
[WARNING] org.apache.flink:flink-scala_2.10:1.3.0 requires scala version: 2.10.4
[WARNING] org.apache.flink:flink-scala_2.10:1.3.0 requires scala version: 2.10.4
[WARNING] org.scala-lang:scala-compiler:2.10.4 requires scala version: 2.10.4
[WARNING] org.scalamacros:quasiquotes_2.10:2.0.1 requires scala version: 2.10.4
[WARNING] org.apache.flink:flink-streaming-scala_2.10:1.3.0 requires scala version: 2.10.4
[WARNING] org.apache.flink:flink-streaming-scala_2.10:1.3.0 requires scala version: 2.10.4
[WARNING] org.apache.flink:flink-runtime_2.10:1.3.0 requires scala version: 2.10.4
[WARNING] com.data-artisans:flakka-actor_2.10:2.3-custom requires scala version: 2.10.4
[WARNING] com.data-artisans:flakka-remote_2.10:2.3-custom requires scala version: 2.10.4
[WARNING] com.data-artisans:flakka-slf4j_2.10:2.3-custom requires scala version: 2.10.4
[WARNING] org.clapper:grizzled-slf4j_2.10:1.0.2 requires scala version: 2.10.3
[WARNING] Multiple versions of scala libraries detected!
[INFO] /da-flink/src/main/scala:-1: info: compiling
[INFO] Compiling 5 source files to /da-flink/target/classes at 1498877506263
[ERROR] /da-flink/src/main/scala/org/apache/flink/quickstart/RideCleansing.scala:21: error: object dataartisans is not a member of package com
[ERROR] import com.dataartisans.flinktraining.exercises.datastream_java.sources.TaxiRideSource
[ERROR] ^
[ERROR] /da-flink/src/main/scala/org/apache/flink/quickstart/RideCleansing.scala:22: error: object dataartisans is not a member of package com
[ERROR] import com.dataartisans.flinktraining.exercises.datastream_java.utils.GeoUtils
[ERROR] ^
[ERROR] /da-flink/src/main/scala/org/apache/flink/quickstart/RideCleansing.scala:61: error: not found: type TaxiRideSource
[ERROR] val rides = env.addSource(new TaxiRideSource(input, maxDelay, servingSpeed))
[ERROR] ^
[ERROR] three errors found
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 4.077 s
[INFO] Finished at: 2017-06-30T22:51:48-04:00
[INFO] Final Memory: 15M/309M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on project flink-scala-project: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
私は上記の出力を追加しました。 0.10.0はガイド自体からのものですが、それはおそらく間違っていますか? https://dataartisans.github.io/flink-training/devEnvSetup.html – Brideau
セットアップの一環として、GitHubから直接プロジェクトをダウンロードしてインストールしました。そのバージョンは0.10.0です:https:// github.com/dataArtisans/flink-training-exercises/blob/master/pom.xml – Brideau
@Brideau私が '/ https://oss.sonatype.org/service/local/staging/deploy/maven2/にアクセスすると'そこから私のブラウザには、「_Access Denied - さらなるリクエストを試みる前にログインしてください._」というメッセージが表示されます。 –