2017-05-17 17 views
0

WindowsラップトップでUbuntu 14 VMを実行するためにVirualBoxを使用しています。私は単一ノードのApache配布HDFSとYARNを設定しました。私がdfsとYARNを実行すると、必要なすべての悪魔が実行されています。 YARNを設定してDFSを実行しないと、MapReduceジョブを正常に実行できませんが、YARNを実行してジョブがACCEPTED状態でスタックすると、ノードのメモリ設定を変更することについて多くの設定を試しました。私は、単一のノードにの https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.htmlYARNが実行されているときに送信されたhadoopジョブがAccepted状態になった

コア-site.xmlの

` 
    <configuration> 
     <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://localhost:9000</value> 
     </property> 
    </configuration>` 

HDFS-site.xmの設定

<configuration> 
    <property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
    <property> 
    <name>dfs.name.dir</name> 
    <value>/home/shaileshraj/hadoop/name/data</value> 
    </property> 
</configuration>` 

L 'の設定を設定し、続い 次のリンクmapred-site.xml

ここでは、糸-site.xmlのの210の
`<configuration> 
    <property> 
     <name>mapreduce.framework.name</name> 
     <value>yarn</value> 
    </property> 
</configuration>` 

設定 `

<property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.resource.memory-mb</name> 
     <value>2200</value> 
     <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
    </property> 

    <property> 
     <name>yarn.scheduler.minimum-allocation-mb</name> 
     <value>500</value> 
    </property> 

RMのWeb UI

RMのWeb UIのアプリケーションマスター画面です。 AMコンテナが割り当てられていないことがわかります。問題がある可能性があります。AM Web UI

答えて

0

ジョブが十分な数のリソースを取得していない場合は、ACCEPTEDの状態になります。リソースを取得するたびにRUNNING状態に変わります。

Resource Manager WebUIを開いて、ジョブを実行するために利用できるリソースの量を確認してください。

+0

私は明確な洞察のために非常に@ブルースウェインをありがとう。これは、セーフモードがオンになっていることを意味するdfs自体を開始する際のパズルであり、利用可能なメモリが少なくなります。私が使用しているHDFS入力ファイルでは〜1 KBですが、tmpフォルダのサイズは〜230 MBですが、これまでプログラムを実行していないためにリソースが消費された場所を特定できませんでした。私はアプリケーションを実行できるようにリソースを増やす方法は?エラーはブロックについて言いますが、セーフモードがオンになっています。報告されたブロック0は、合計ブロック9のしきい値0.9990に達するために追加の8ブロックが必要です。 ' – Shailesh

+0

あなたはあなたの投稿をRM webUIで更新できますか? 'SAFEMODE(SM)ON'になると、NameNodeのセーフモードは本質的にHDFSクラスタの読み取り専用モードであり、ファイルシステムやブロックを変更することはできません。ですから、NNがジョブをサブミットするためにSMを出るまで待たなければなりません。 – BruceWayne

+0

RMで見られるように、ジョブを実行するためのリソースはありません。 VMに割り当てられているRAMとコアの量を教えてください。 – BruceWayne

関連する問題