2016-08-19 27 views
1

似たようなエラーの人が多数見つかりましたが、Sqoopインポートエラー:アクセス権が拒否された場合でも、ユーザー 'root' @ 'localhost'のアクセスが拒否されました

私のコマンドライン:マップが、このエラーが原因後に開始および停止することも可能である方法

sqoop import --connect jdbc:mysql://localhost/databaseY --username=root -P --table tableX --target-dir /user/ec2-user/databaseY/tableX --as-textfile --fields-terminated-by "\t" 

エラー

16/08/19 11:25:51 INFO mapreduce.Job: Job job_1471608424445_0028 running in uber mode : false 
16/08/19 11:25:51 INFO mapreduce.Job: map 0% reduce 0% 
16/08/19 11:25:58 INFO mapreduce.Job: map 25% reduce 0% 
16/08/19 11:26:04 INFO mapreduce.Job: map 50% reduce 0% 
16/08/19 11:26:06 INFO mapreduce.Job: Task Id :  attempt_1471608424445_0028_m_000000_0, Status : FAILED 
Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES) 

私は、この2つのコマンドラインとして必要なすべての権利が作業している持っているように見えます:rootアカウントを使用してMySQLに

sqoop list-databases --connect jdbc:mysql://localhost --username root -P 

そして

を私は

select * from databaseY.tableX 

を行うことができます - -EDIT ---

このコマンドラインは動作しています:

sqoop import --connect jdbc:mysql://localhost/databaseY --username root --password PASSWORD --query "select * from databaseY.tableX where number = 1474 AND \$CONDITIONS" --target-dir /tmp/ok --as-textfile --direct --split-by number 

が、この1いいえ:次に

sqoop import --connect jdbc:mysql://localhost/databaseY --username root --password PASSWORD --query "select * from databaseY.tableX where 1 = 1 AND \$CONDITIONS" --target-dir /tmp/ok --as-textfile --direct --split-by number 

、私は-m 1を使用している場合、私のsqoopのインポートが機能していることに気づきました。 -m1

これは、クラスタ構成が正しくないということですか?なぜ私の仕事は1つのマップタスクでしか動かないのですか?

----- ----- SOLUTION

これは単に、IPアドレスの問題でした。 IPアドレスでlocalhostを変更しましたが、今は正常に動作しています。

+0

'--username = root'ではなく' --username root'で最初のコマンドを試してみることができますか? –

+0

はい、試してみましたが、変更はありません。両方とも動かない – Selverine

答えて

2

これがSqoopの動作です。 official docを参照してください。

If a table does not have a primary key defined and the --split-by is not provided, then import will fail unless the number of mappers is explicitly set to one with the --num-mappers 1 option or the --autoreset-to-one-mapper option is used. The option --autoreset-to-one-mapper is typically used with the import-all-tables tool to automatically handle tables without a primary key in a schema.

0

ユーザー名とパスワードは、接続しようとしているデータベースのユーザーとパスワードを指定します。ここのユーザ名とパスワードは、mysqlログインユーザのものではありません。したがって、接続しようとしているデータベースに指定されたユーザのユーザ名とパスワードを使用してください。

0

は後期ではなく、少なくとも、私は、私はバーチャルボックスのゲストUbuntuのOSにホストWindowsマシンからテーブルデータをインポートするには同様の問題私はsqoopに直面していた

このスレッドで、ここでの回答の一部を提供するつもりだと思います私のWindowsホストマシンがインストールされているため、mysqlサーバのユーザ名には、リモートリクエストよりも接続とスキーマを許可するための十分な権限がありません。

は今、私は私が直面した問題を説明しています問題についてあまり話していないので、 -

[email protected]:~/Installations/sqoop-1.4.4$ bin/sqoop import --connect jdbc:mysql://192.168.56.1/india --table india_most_populated_cities --target-dir /user/vm4learning/remotedir/ --username root --password password -m 1 
no main manifest attribute, in /home/vm4learning/Installations/hbase-0.94.14/lib/coprocessor.jar 
find: paths must precede expression: sqoop-test-1.4.4.jar 
Usage: find [-H] [-L] [-P] [-Olevel] [-D help|tree|search|stat|rates|opt|exec] [path...] [expression] 
Warning: $HADOOP_HOME is deprecated. 

17/12/06 11:01:10 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 
17/12/06 11:01:11 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 
17/12/06 11:01:11 INFO tool.CodeGenTool: Beginning code generation 
17/12/06 11:01:13 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'Administrator' (using password: YES) 
java.sql.SQLException: Access denied for user 'root'@'Administrator' (using password: YES) 

その後、私はCMDからでipconfigを実行し、私の窓のホストマシンに来て、最初のホストのIPアドレスを取得しますマシンとLinuxで(Ubuntuの)それは「ifconfigコマンド」:だからここ

Ethernet adapter VirtualBox Host-Only Network: 

    Connection-specific DNS Suffix . : 
    Link-local IPv6 Address . . . . . : fe80::54d4:4f16:4bdb:885%18 
    IPv4 Address. . . . . . . . . . . : 192.168.56.1 
    Subnet Mask . . . . . . . . . . . : 255.255.255.0 
    Default Gateway . . . . . . . . . : 

私のIPアドレスは、Windowsホストマシンに192.168.56.1であると、私はWindowsホストでコマンドを使用してのmysqlにログインし、用のスクリプトを以下の実行と特権を付与する -

-p

のmysql -u rootがパスワードを入力します:ALL ON > GRANTを

MySQLを********。 TO [email protected]'192.168.56.1 'IDENTIFIED BY'パスワード '; クエリOK、0行に影響、1警告(0.00秒)

mysql>フラッシュ特権; クエリOK、0行影響を受けた(0.00秒)

MySQLの>終了これだけです、そして、私は(無線LANインターネットに接続されていたこの私の窓を行うことによって)仮想ボックス内のゲストのUbuntuマシンを行く

と再-runは上記のsqoopコマンドと同じもので、目的のテーブルデータをクラスタにインポートします。

私は私が成功した後、スクリプトの実行を得たラインを共有したいと思います -

[email protected]:~/Installations/sqoop-1.4.4$ bin/sqoop import --connect jdbc:mysql://192.168.56.1/india --table india_most_populated_cities --target-dir /user/vm4learning/remotedir/ --username root --password password -m 1 
no main manifest attribute, in /home/vm4learning/Installations/hbase-0.94.14/lib/coprocessor.jar 
find: paths must precede expression: sqoop-test-1.4.4.jar 
Usage: find [-H] [-L] [-P] [-Olevel] [-D help|tree|search|stat|rates|opt|exec] [path...] [expression] 
Warning: $HADOOP_HOME is deprecated. 

17/12/06 17:00:55 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 
17/12/06 17:00:55 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. 
17/12/06 17:00:55 INFO tool.CodeGenTool: Beginning code generation 
17/12/06 17:00:58 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `india_most_populated_cities` AS t LIMIT 1 
17/12/06 17:00:58 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `india_most_populated_cities` AS t LIMIT 1 
17/12/06 17:00:58 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /home/vm4learning/Installations/hadoop-1.2.1 
Note: /tmp/sqoop-vm4learning/compile/fc8e526de8f7a74171941455a22f573f/india_most_populated_cities.java uses or overrides a deprecated API. 
Note: Recompile with -Xlint:deprecation for details. 
17/12/06 17:01:02 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-vm4learning/compile/fc8e526de8f7a74171941455a22f573f/india_most_populated_cities.jar 
17/12/06 17:01:02 WARN manager.MySQLManager: It looks like you are importing from mysql. 
17/12/06 17:01:02 WARN manager.MySQLManager: This transfer can be faster! Use the --direct 
17/12/06 17:01:02 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path. 
17/12/06 17:01:02 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql) 
17/12/06 17:01:02 INFO mapreduce.ImportJobBase: Beginning import of india_most_populated_cities 
17/12/06 17:01:06 INFO mapred.JobClient: Running job: job_201712061003_0002 
17/12/06 17:01:07 INFO mapred.JobClient: map 0% reduce 0% 
17/12/06 17:01:29 INFO mapred.JobClient: map 100% reduce 0% 
17/12/06 17:01:36 INFO mapred.JobClient: Job complete: job_201712061003_0002 
17/12/06 17:01:37 INFO mapred.JobClient: Counters: 18 
17/12/06 17:01:37 INFO mapred.JobClient: Job Counters 
17/12/06 17:01:37 INFO mapred.JobClient:  SLOTS_MILLIS_MAPS=24525 
17/12/06 17:01:37 INFO mapred.JobClient:  Total time spent by all reduces waiting after reserving slots (ms)=0 
17/12/06 17:01:37 INFO mapred.JobClient:  Total time spent by all maps waiting after reserving slots (ms)=0 
17/12/06 17:01:37 INFO mapred.JobClient:  Launched map tasks=1 
17/12/06 17:01:37 INFO mapred.JobClient:  SLOTS_MILLIS_REDUCES=0 
17/12/06 17:01:37 INFO mapred.JobClient: File Output Format Counters 
17/12/06 17:01:37 INFO mapred.JobClient:  Bytes Written=10406 
17/12/06 17:01:37 INFO mapred.JobClient: FileSystemCounters 
17/12/06 17:01:37 INFO mapred.JobClient:  HDFS_BYTES_READ=87 
17/12/06 17:01:37 INFO mapred.JobClient:  FILE_BYTES_WRITTEN=80423 
17/12/06 17:01:37 INFO mapred.JobClient:  HDFS_BYTES_WRITTEN=10406 
17/12/06 17:01:37 INFO mapred.JobClient: File Input Format Counters 
17/12/06 17:01:37 INFO mapred.JobClient:  Bytes Read=0 
17/12/06 17:01:37 INFO mapred.JobClient: Map-Reduce Framework 
17/12/06 17:01:37 INFO mapred.JobClient:  Map input records=271 
17/12/06 17:01:37 INFO mapred.JobClient:  Physical memory (bytes) snapshot=81043456 
17/12/06 17:01:37 INFO mapred.JobClient:  Spilled Records=0 
17/12/06 17:01:37 INFO mapred.JobClient:  CPU time spent (ms)=2530 
17/12/06 17:01:37 INFO mapred.JobClient:  Total committed heap usage (bytes)=49807360 
17/12/06 17:01:37 INFO mapred.JobClient:  Virtual memory (bytes) snapshot=973082624 
17/12/06 17:01:37 INFO mapred.JobClient:  Map output records=271 
17/12/06 17:01:37 INFO mapred.JobClient:  SPLIT_RAW_BYTES=87 
17/12/06 17:01:37 INFO mapreduce.ImportJobBase: Transferred 10.1621 KB in 33.9572 seconds (306.4444 bytes/sec) 
17/12/06 17:01:37 INFO mapreduce.ImportJobBase: Retrieved 271 records. 

は、それはあなたを助け、また、このスレッドの答えを私のポストを持って、感謝を願っています。

関連する問題