WindowsラップトップでUbuntu 14 VMを実行するためにVirualBoxを使用しています。私は単一ノードのApache配布HDFSとYARNを設定しました。私がdfsとYARNを実行すると、必要なすべての悪魔が実行されています。 YARNを設定してDFSを実行しないと、MapReduceジョブを正常に実行できませんが、YARNを実行してジョブがACCEPTED状態でスタックすると、ノードのメモリ設定を変更することについて多くの設定を試しました。私は、単一のノードにの https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.htmlYARNが実行されているときに送信されたhadoopジョブがAccepted状態になった
コア-site.xmlの
`
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>`
HDFS-site.xmの設定
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/shaileshraj/hadoop/name/data</value>
</property>
</configuration>`
L 'の設定を設定し、続い 次のリンクmapred-site.xml ここでは、糸-site.xmlのの210の
`<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>`
設定 `
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2200</value>
<description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>500</value>
</property>
RMのWeb UI
RMのWeb UIのアプリケーションマスター画面です。 AMコンテナが割り当てられていないことがわかります。問題がある可能性があります。
私は明確な洞察のために非常に@ブルースウェインをありがとう。これは、セーフモードがオンになっていることを意味するdfs自体を開始する際のパズルであり、利用可能なメモリが少なくなります。私が使用しているHDFS入力ファイルでは〜1 KBですが、tmpフォルダのサイズは〜230 MBですが、これまでプログラムを実行していないためにリソースが消費された場所を特定できませんでした。私はアプリケーションを実行できるようにリソースを増やす方法は?エラーはブロックについて言いますが、セーフモードがオンになっています。報告されたブロック0は、合計ブロック9のしきい値0.9990に達するために追加の8ブロックが必要です。 ' – Shailesh
あなたはあなたの投稿をRM webUIで更新できますか? 'SAFEMODE(SM)ON'になると、NameNodeのセーフモードは本質的にHDFSクラスタの読み取り専用モードであり、ファイルシステムやブロックを変更することはできません。ですから、NNがジョブをサブミットするためにSMを出るまで待たなければなりません。 – BruceWayne
RMで見られるように、ジョブを実行するためのリソースはありません。 VMに割り当てられているRAMとコアの量を教えてください。 – BruceWayne