Spark APIを初めて使用しています。私はストリングで平日(整数)として別の列を追加するcol_date(datetimeのスタンプ、例えば '13AUG15:09:40:15')というカラムから平日の数字を抽出しようとしています。私はうまくやることができません。spark apiの文字列(datetime stamp)から週の日数を抽出します。
答えて
これはかなり簡単です。
この単純な関数は、数値(月曜日= 1)として、すべてのジョブとリターン平日を行います
from time import time
from datetime import datetime
# get weekdays and daily hours from timestamp
def toWeekDay(x):
# v = datetime.strptime(datetime.fromtimestamp(int(x)).strftime("%Y %m %d %H"), "%Y %m %d %H").strftime('%w') - from unix timestamp
v = datetime.strptime(x, '%d%b%y:%H:%M:%S').strftime('%w')
return v
days = ['13AUG15:09:40:15','27APR16:20:04:35'] # create example dates
days = sc.parallelize(days) # for example purposes - transform python list to RDD so we can do it in a 'Spark [parallel] way'
days.take(2) # to see whats in RDD
> ['13AUG15:09:40:15', '27APR16:20:04:35']
result = v.map(lambda x: (toWeekDay(x))) # apply functon toWeekDay on each element of RDD
result.take(2) # lets see results
> ['4', '3']
日時処理の詳細についてPython documentationを参照してください。
_.strftime( '%w')_は重要な部分を忘れました。 – cimox
私はattributeerrorを取得しています。 'str'には属性 'map'がありません。しかし、私はv = datetime.strptime( '13AUG15:09:40:15'、 '%d%b%y:%H:%M:%S')を実行することができますstrftime( '%w')、あなたのお時間をありがとう! – user6200992
解決済みとしてマークする:)。 – cimox
- 1. Pythonの文字列から日付を抽出します
- 2. ファイルパス文字列から日付部分を抽出します
- 3. DateTimeの日付から月、日、年を抽出します
- 4. データフレームの列からの週の抽出日と別の列に
- 5. 文から日付関連の文字列を抽出する
- 6. 英数字の文字列から数字を抽出する
- 7. 文字列から文字列とintを抽出します。
- 8. 文字列から部分文字列を抽出します。
- 9. SparkのDateTimeに複数の文字列の日付形式を含むキャスト列
- 10. 文字列から数字と文字を抽出するR
- 11. 文字列のPythonから日付を抽出する方法
- 12. 日付からDateTimeを抽出してDateTimeを取得する
- 13. JavaScriptのdatetimeから日付を抽出しています
- 14. 文字列からの整数と文字の抽出
- 15. PowerShellは文字列から文字を抽出します。
- 16. 文字列ベクトルから数字のベクトルを抽出する
- 17. テキストの文字列から数字を抽出する - Excel
- 18. Cの文字列から数字を抽出する
- 19. Objective-Cの文字列から文字列を抽出する
- 20. Bashの文字列から文字列を抽出する
- 21. 文字列からのみ数値を抽出する関数
- 22. 文字列から日付を抽出するR
- 23. データフレームからの文字列の抽出
- 24. テーブル内の文字列から値を抽出しますか?
- 25. Pythonの文字列から情報を抽出しますか?
- 26. Javaの文字列[]からdoubleを抽出しますか?
- 27. 列sqlから文字列を抽出しますか?
- 28. Java RegEx:文字列から複数の部分文字列を抽出する
- 29. 複数の同じ文字列を文字列から抽出する
- 30. C#の文字列からDateTimeまでの日付解析。
[SparkSQLの曜日を取得する方法](http://stackoverflow.com/questions/25006607/how-to-get-day-of-week-in-sparksql) –
あなたは使用していますかRDDまたはDataFrames? –
@nightingalen:私はデータフレームを使用しています – user6200992