spark 1.6とhadoop 2.3どこにs3のsocketTimeOutを設定するのですか？

Question

s3からの読み取り中にソケットタイムアウトが発生しています。 socketTimeOutの増加に関する文書は明白ではありません。これについて助けていただければ幸いです。

java.net.SocketTimeoutException: Read timed out 
at java.net.SocketInputStream.socketRead0(Native Method) 
at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) 
at java.net.SocketInputStream.read(SocketInputStream.java:170) 
at java.net.SocketInputStream.read(SocketInputStream.java:141) 
at sun.security.ssl.InputRecord.readFully(InputRecord.java:465) 
at sun.security.ssl.InputRecord.read(InputRecord.java:503) 
at sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:973) 
at sun.security.ssl.SSLSocketImpl.readDataRecord(SSLSocketImpl.java:930) 
at sun.security.ssl.AppInputStream.read(AppInputStream.java:105) 
at org.apache.http.impl.io.AbstractSessionInputBuffer.read(AbstractSessionInputBuffer.java:198) 
at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:178) 
at org.apache.http.impl.io.ContentLengthInputStream.read(ContentLengthInputStream.java:200) 
at org.apache.http.impl.io.ContentLengthInputStream.close(ContentLengthInputStream.java:103) 
at org.apache.http.conn.BasicManagedEntity.streamClosed(BasicManagedEntity.java:164) 
at org.apache.http.conn.EofSensorInputStream.checkClose(EofSensorInputStream.java:227) 
at org.apache.http.conn.EofSensorInputStream.close(EofSensorInputStream.java:174) 
at org.apache.http.util.EntityUtils.consume(EntityUtils.java:88) 
at org.jets3t.service.impl.rest.httpclient.HttpMethodReleaseInputStream.releaseConnection(HttpMethodReleaseInputStream.java:102) 
at org.jets3t.service.impl.rest.httpclient.HttpMethodReleaseInputStream.close(HttpMethodReleaseInputStream.java:194) 
at org.apache.hadoop.fs.s3native.NativeS3FileSystem$NativeS3FsInputStream.seek(NativeS3FileSystem.java:152) 

Answer 1

S3nにソケットタイムアウトを設定するオプションはありません。また、スタックトレースは、クライアントが別の場所でストリームを再オープンする前にストリームをクローズしようとしているときに、クライアントがファイルの最後まで読み込もうとしていることを示しています。もう一度、いくつかのjets3tバージョンの既知の制限、したがってs3n。これは、AWSライブラリに基づいてS3aですべての開発が行われているため、Hadoopでは修正されません。

最新バージョンのHadoop JAR（2.7.x）にアップデートし、s3aを使用してください。