ua-parser

0熱

2答えて

SparkのUDFは非常に遅いです

spap（EMRで実行中）のUDFは、uaparserライブラリ（uap-scala）を使用してユーザエージェントからデバイスを解析するscalaで書かれています。小さなセットで作業する場合、それはうまく動作します（5000行）が、大きなセット（2M）で動作すると非常に遅くなります。私は労働者 がどのように私はこれを確立することができUDFドライバで実行されていることを信じていない作るもの、 は私

scala apache-spark emr ua-parser 2017-11-13

---

0熱

1答えて

Hive ua parser UDFはIOExceptionを返します

私はユーザエージェント文字列をString形式で保存しました。 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.143 Safari/537.36 ユーザーエージェント文字列からブラウザを抽出します。だから私はua-parser-javaライブラリを使用してい

java hadoop hive hive-udf ua-parser 2016-04-15

---