data-cleansing

-1熱

2答えて

約18の列がある.csvファイルからインポートされたpandasデータフレームで作業しています。各列には、列ヘッダーとしてHTML形式の項目名とイメージの説明があります。これは次のようなものです。 A <img width="300" alt="A" height="300".jpg">` ` B <img width="400" alt="B" height="600".jpg"`......

1熱

1答えて

Pysparkでdropnaでデータを消去

まだPysparkには比較的新しいです。私はバージョン2.1.0を使用します。はるかに大きなデータセットでいくつかのデータを消去しようとしています。私は、 "dropDuplicates"やサブセットやSQL関数（distinct、countなど）などのいくつかのテクニックをうまく使いました。私は事を単純化するかもしれないと思ったdropnaに来ました。しかし、なぜ私は行3と6がまだdrop

1熱

2答えて

複雑なパターンを削除するためにgsubを使用する方法

csv形式のテキストデータセットを消去するためにgsub（）を使用しようとしています。今、私のデータのサンプル行は次のようである： "5.0\t/gp/customer-reviews/R3M62HO4M6LXE6?ASIN=0439023521\tEngaging. Brutal but engaging!\t\"Wow. I was barely able to put this book d

0熱

1答えて

rddの代わりにpysparkのSQL関数

私は、特定の列のデータセットの文字列を置き換えようとしています。 1または0の場合は1、それ以外の場合は「Y」、それ以外の場合は0です。ラムダでデータフレームからrddへの変換を使用して、対象とする列を特定できましたが、処理に時間がかかります。各列ごとにrddへの切り替えが実行され、次にdistinctが実行されますが、これはしばらく時間がかかります！異なる結果セットに 'Y'が存在する場合

-1熱

1答えて

電話番号の書式設定：Excel to DB

私は電話番号を入力するためのすべてのバリエーションのデータベースを持っています。また、特殊文字やユーザーが入力したさまざまな形式も含まれます。データはExcelにあり、すべての電話番号を単一の形式（国番号 - 電話番号：+1 - 1234567899）にしようとしています。データの国によって電話番号が異なります。皆さん、Pythonでこれを行う方法をお勧めしますか？

0熱

1答えて

MS-Access：ユニークIDのないデータを消去するためのテキスト列変換

私は約10のデータソースを持っています。私はAccess DBで集計して、Tableauダッシュボードのセットを供給しようとしています。ファイルにはすべて従業員データが含まれていますが、問題はEmployee_Nameがファイル全体で一貫性がなく、一意のIDを持つファイルが1つしかないため、必要な結合を実行できません。すべてのファイルに共通のEmployee_IDでソースデータを取得するのが最善

0熱

1答えて

Pysparkでdf変換後に行にアクセス

私は以下のデータを持っています.1行のデータフレームをRDDに変換しました。私はPySpark 2.1.0を使用しています。 [Row((1 - (count(YEAR_MTH)/count(1)))=0.0, (1 - (count(REPORTED_BY)/count(1)))=0.0, (1 - (count(FALLS_WITHIN)/count(1)))=0.0, (1 - (c

0熱

1答えて

空のテストプランまたは空のテストスイートを特定するためのTFSクエリまたはSQLクエリ

私たちはTFSをかなり新しくしており、一部の領域をクリーンアップしようとしています。シンプルなTFSクエリで、 "New suite"という名前の180以上のテストスイートがあることがわかります...それぞれを開き、それに割り当てられているテストケースがあるかどうかを見たいと思っていません。 Empty Test Suitesのレポートを入手する方法はありますか？Empty Test Plans？

0熱

2答えて

他の列の単語の同様の順列を見つける

与えられた単語と一致する順列を探し、列の位置に基づいてデータを整列したい。 IE - 私はそれがこのようなものになります、私はいくつかのwebsites.Sayから廃棄データをCSVを作成しました。その後、私は（1）Name2はで名1から各単語の順列を見つけたい Name1 OtherVars Name2 More Vars Stanford 23451 Mamford No MIT