2

AWVデータパイプラインを使用してCSV & TSVファイルを作成しています。ファイルは正常に作成されていますが、列ヘッダーを使用してファイルを作成する方法を理解できません。AWS Data Pipelineを使用してCSV/TSVファイルに列ヘッダーを作成しますか?

最初は、エクスポートを実行するために実行しているSQLクエリに基づいてヘッダを自動的に生成することを期待していました。それはうまくいかなかったが、大丈夫だった。

次に、DefaultDataFormat3フィーチャー/ノードの「列」属性に列定義のリストを追加しました。

{ 
    "escapeChar": "\\", 
    "name": "DefaultDataFormat3", 
    "column": [ 
    "id INT", 
    "field1 STRING", 
    "field2 STRING" 
    ], 
    "columnSeparator": "|", 
    "id": "DataFormatId_jEXqL", 
    "type": "TSV", 
    "recordSeparator": "\\n" 
} 

私はまだエクスポートでヘッダー行のないCSVとTSVを取得します。

+1

AWS Datapipelineの文書化は非常によく行われていません。ほとんどの場所では、フィールドが何をすべきかを理解することは困難です。 – Anshul

+0

同じ問題を抱えています...ソリューションを手に入れましたか? – joeB1

+0

私は、@ joeB1:( –

答えて

1

私はblog postにつきまして、この解決策を説明しました。データのクエリを使用している場合は、最初の結果として列名を追加できます。

SELECT 'firstName', 'lastName', 'email' 
UNION ALL 
SELECT firstName, lastName, email 
FROM users 
+1

これは最も優れた解決策ですが、AWSもそれを修正する必要があります!): –

+0

合意。このソリューションの欠点の1つは、すべての文字列をSQLに変換しなければならないか、またはSQLが不一致の列型について不平を言うことです。 – MrHen

関連する問題