2016-05-19 5 views
1

カスタムspark-submit.shスクリプト:bluemix sparkをサービスとして - cygwinでspark-submit.shを実行する方法? bluemix状態に、次の制限を提供

制限

:spark-submit.shスクリプトを実行しているが、LinuxおよびMac OS X上でサポートされてい

出典https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4

はおそらくスクリプトも限り正しいバイナリが利用でき、例えばあるとしてcygwinので動作しますbash,sed,grep,curl,hash

答えて

2

Cygwinでは動作しない理由がわかりませんが、さまざまなシナリオをテストするときにわかるように失敗することがあります。

私はこれをcygwinとsparkcontextバージョンを出力する非常に簡単なプログラムhellopy.pyでテストしました。これはうまく動作します。

すべてのファイルstdout、sterr、spark-submit_xxx.logが表示されます。だからカールが働く。

Cygwin(bash、sed、grep、curl、ハッシュ、OPENSSL、libdev)をインストールすると、ここに私がインストールしたものがあります。すべての上位バージョンを取得します。(カール7.471。libcurlを7.48、OpenSSLの1.0.2 libssh)を

にこの私はカール-Vを行うときに私は何を参照してください $であるカール-Vを カール7.47.1(i686の-PC-cygwinの)libcurl/7.48.0 OpenSSL/1.0.2h zlib/1.2.8 libidl/1.29 libpsl/0.13.0(+ libidn/1.29)libssh2/1.7.0 nghttp2/1.7.1 プロトコル:dictファイルftp ftps gopher http https IMAP IMAPS LDAP、LDAPSのpop3 POP3SのRTSP SCP、SFTPのSMB中小企業のSMTPは、telnet TFTPに 機能をSMTPS:デバッグIDNのIPv6については、largefile GSS-APIにKerberos SPNEGO NTLM NTLM_WB SSLは、TLS-SRP HTTP2 UnixSockets MetalinkのPSL

注libzを: - あなたがを検索しますCygwinのインストールページの上記のライブラリより、他のサポートライブラリを確認するだけですperlやその他のもの(何が示唆されていても)。

私はそれが役に立ちそうです。 上記が正式にテストされるまで、一時的な解決策として検討してください。

ありがとう、 チャールズ。

関連する問題