テストファイル

文字コード別 CSV

同じ内容の CSV を、複数の文字コードで用意しました。 「Shift_JIS の CSV を UTF-8 環境で開くと化ける」——その再現と、パーサの文字コード判定テストに。

CSVUTF-8（BOMなし）現代の標準。迷ったらこれ。CSVUTF-8（BOM付き）Excel が UTF-8 と認識するための BOM 付き。CSVShift_JIS（CP932）古い Windows 環境の定番。UTF-8 環境で開くと化ける。CSVEUC-JPレガシーな Unix / Linux 環境。CSVUTF-16 LE（BOM付き）Windows のワイド文字。ヌルバイトを含む。CSVUTF-16 BE（BOM付き）ビッグエンディアンの UTF-16。CSV混在（UTF-8 + SJIS + EUC-JP）1 ファイル内で行ごとに文字コードが違う地獄。パーサ泣かせ。

これは何に使うか

CSV には自分が何の文字コードなのかを書く場所がありません。だから読む側は推測するしかなく、 推測を外すと文字化けします。この一連のファイルは、わざと違う文字コードで同じ内容を用意したもの。 自作のインポート処理が Shift_JIS を正しく判定できるか、UTF-16 の BOM を認識できるか、といった検証に使えます。

化けてしまったテキストは、文字化け修復ツールで元に戻せることがあります。 全角・半角が混ざったデータは 全角・半角変換で正規化できます。