webdevqa.jp.net

大きなCSVファイルから単一列のデータをエクスポートしようとしています

問題:サイズが7ギガ(全体を開くことができないほど大きい)の.CSVファイルの単一の列をエクスポートしようとしていますExcelのファイル...またはそのことについてはほとんどのテキストエディタ)を小さなファイルに変換し、不要な情報をすべて使用せずに使用したり、データベースに入れたりすることができます。

Power Query:ファイルに「接続」してから、目的の列のみを選択しましたが、方法があるかどうかわかりませんそれをエクスポートします。

代替?:あるいは、Powershellを使用すると、 この質問 に基づいて私が見たものからの方法がある可能性が高いですが、私はどこから始めればよいかわかりません。

これに適した他のリソースがあれば、私を正しい方向に向けるのに役立つものは何でも素晴らしいでしょう。

どんな助けでも大歓迎です!

1
OtterJesus

PowerShellメソッドを使用する

Import-csv -Path $LargeFileName | Select-Object -Property $ColumnName | Export-Csv -Path $OutFileName -NoTypeInformation

変数LargeFileName.csv、Header ColumnName、およびOutFileName.csvを要件に合わせて調整します

GcとConvertFrom-Csvを使用してより高速な結果を提供する次のPowerShellメソッド。

$CSV = Get-Content $LargeFileName | ConvertFrom-Csv | Select $ColumnHeading | Export-Csv -Path $OutFileName -NoTypeInformation

より多くの見出しを取得するには、カンマ区切りを使用します

$CSV = Get-Content $LargeFileName | ConvertFrom-Csv | Select $ColumnHeading1, $ColumnHeading2  | Export-Csv -Path $OutFileName -NoTypeInformation
0
Antony