Excelデータ移行で失敗しないためのデータクレンジング入門

「このExcel台帳、そのままSaaSに取り込めますか」。SaaS導入の打ち合わせでベンダーにそう聞かれた瞬間、答えに詰まった経験はないでしょうか。10年以上かけて積み上がった顧客台帳や在庫表を開くと、同じ会社名が「株式会社」「(株)」「カブシキガイシャ」と3通りの表記で並び、担当者ごとに列の使い方が違い、いつの間にか空欄だらけの行が紛れ込んでいる。誰かが独自に追加した列には、本来の項目とは関係のないメモが書き込まれている。そんな状態のExcelファイルを前に、「これを移行していいのか、それとも先に何とかしなければならないのか」と手が止まってしまう担当者は少なくありません。

この記事は、長年運用してきたExcel台帳をSaaSや業務データベースに移行しようとしていて、データの中身が荒れていることに気づいてしまった担当者に向けて書きました。情報システム部門の専門教育を受けておらず、総務や経理と兼任でシステム管理を担っている方を想定しています。専門用語は初出時に言い換え、判断の順番と具体的な進め方を中心に整理します。

この記事で分かること

結論を先に言うと、Excelデータ移行で失敗する最大の原因は「移行先のシステムが悪い」ことではなく、「移行元のデータが汚れたまま移された」ことです。移行してから慌てて直そうとすると、新システムの入力ルールと矛盾したり、他のデータと紐付けられなくなったりして、余計に手間がかかります。だからこそ、移行の「前」にデータを整える工程が必要になります。この工程をデータクレンジング(データクレンジング)と呼びます。

この記事では、次の流れで解説します。

• データクレンジングとは何か、なぜ移行前にやる必要があるのか
• Excel移行でよくある「汚れ」の具体的なパターン(表記ゆれ・重複・欠損・不正な形式)
• 汚れを見つけるための点検手順(全件を目視しない現実的な方法)
• 表記ゆれ・重複・欠損それぞれへの対処法
• Excel関数だけで対応する場合と、専用ツールを使う場合の判断基準
• 移行スケジュールの中にクレンジング工程をどう組み込むか
• クレンジングをやり切れない場合の現実的な妥協ライン

一つひとつのデータを完璧にする必要はありません。目指すのは「移行先のシステムで、検索・集計・重複防止が正しく機能する状態」です。この基準を軸に、どこまでやるべきかを一緒に見極めていきましょう。

なぜ移行前にデータクレンジングが必要なのか

結論から言うと、Excelは「多少データが汚れていても、人間が目で見て脳内補正しながら使える」ソフトですが、SaaSやデータベースは「入力されたデータをそのまま機械的に処理する」仕組みだからです。この性質の違いが、移行時にトラブルを生みます。

Excelで長年台帳を運用していると、次のようなことが自然に起こります。

「株式会社山田商事」と入力されているセルもあれば、「(株)山田商事」「ヤマダ商事」と表記されているセルもある。人間が見れば同じ取引先だと分かるが、担当者によって表記が揺れている。

人間がExcelを見るときは、こうした表記ゆれがあっても「たぶん同じ会社だろう」と脳内で補正しながら読み進めます。関数で集計するときも、担当者が手で調整したり、目視で確認したりしてカバーしてきたはずです。

ところがSaaSやデータベースに同じデータを移すと、この「人間による補正」がなくなります。システムは「株式会社山田商事」と「(株)山田商事」を文字列として完全に別物として扱うため、次のような問題が起きます。

• 同じ取引先のはずなのに、検索しても片方の表記でしか出てこない
• 売上や在庫を会社ごとに集計すると、本来1件のはずの取引先が2件・3件に分裂して表示される
• 重複防止の仕組みがある場合、表記が違うだけで「別の新規データ」として二重登録されてしまう

つまり、Excel時代には見えていなかった「データの粗さ」が、システム化した瞬間に業務上の実害として表面化するのです。移行してから直そうとすると、すでに新システム上で日々の入力・更新が始まっているため、データを触るタイミングを見計らうだけでも一苦労になります。だからこそ、移行前の「まだ止めても誰も困らないタイミング」でクレンジングを済ませておくことが重要になります。

Excel移行でよくある「汚れ」のパターン

一口に「データが汚れている」と言っても、実際に点検すると出てくる問題はいくつかのパターンに分類できます。自社のExcel台帳がどのパターンに当てはまるかを確認しながら読み進めてください。

表記ゆれ

同じ意味のはずのデータが、複数の異なる文字列で入力されている状態です。代表的な例を挙げます。

表記ゆれは目視では気づきにくいものが多く、特に全角・半角の違いや、見た目がほぼ同じ異体字(髙橋/高橋など)は印刷して見比べてもすぐには分かりません。

重複データ

同じ対象について、複数の行にわたって重複した記録が存在している状態です。原因として多いのは次のようなケースです。

• 過去に部署異動や担当者交代があり、それぞれが別々に台帳へ追加した
• 一度登録した後、検索してもヒットしなかったため「ないもの」と判断して再度登録した(実際は表記ゆれで見つからなかっただけ)
• Excelファイルをコピーして作業した際に、統合し忘れた行が残った

重複は表記ゆれと絡み合っていることが多く、「完全に同じ文字列の重複」だけでなく「表記は違うが実体は同じ重複」まで含めて洗い出す必要があります。

欠損値

本来入力されているべき項目が、空欄のまま残っている状態です。

• 新しい列を追加した際、過去のデータには反映されず空欄のままになっている
• 必須ではない項目として運用していたため、担当者によって入力したりしなかったりする
• 一時的に「後で入力する」つもりで空欄にしたまま、忘れられている

欠損値は、移行先のシステムで「必須項目」として設定されている場合に特に問題になります。空欄のままではインポートに失敗したり、システム側でエラー扱いになったりします。

不正な形式・型の混在

本来は数値や日付として扱いたい列に、文字列や記号が混入している状態です。

• 数値の列に「未定」「TBD」「-」といった文字が入力されている
• 日付の列に「未確認」というテキストが入っている
• 電話番号の列にハイフンありとなしが混在し、システム側で電話番号として認識されない

Excelでは列の型が緩やかで、数値の列に文字を入力してもエラーにならず、見た目上は特に問題なく表示されてしまいます。この緩さが、長期運用の中で型の混在を見逃す原因になります。

汚れを見つけるための点検手順

数百行程度ならまだしも、数千行・数万行のExcel台帳を1行ずつ目視で確認するのは現実的ではありません。ここでは、全件を目で見なくても汚れの見当をつけられる、現実的な点検手順を紹介します。

ステップ1: 対象範囲と項目を決める

まず、移行対象となるシートと列を確定させます。この段階で、「移行先のシステムで使う予定がない列」は点検対象から外して構いません。長年運用したExcelには、すでに使われていない列や、別の用途に転用された列が混ざっていることが多いためです。

ステップ2: 関数でざっくり傾向をつかむ

Excelの標準機能だけで、次のような点検が可能です。

• 重複の検出: 「条件付き書式」の「重複する値」機能を使うと、同じ値を含むセルに自動で色がつきます。会社名・電話番号・メールアドレスなど、一意であるべき列に適用すると重複候補が視覚化されます
• 空欄の検出: COUNTBLANK関数で、各列の空欄数を一括カウントできます。想定より空欄が多い列は、欠損が多い項目として要注意です
• 表記パターンの把握: フィルター機能で列の値を一覧表示すると、「株式会社」「(株)」のような表記の種類がどれだけ存在するか、ひと目で分かります
• 文字数のばらつき確認: LEN関数で電話番号や郵便番号などの列の文字数を確認すると、桁数が不揃いなデータ(ハイフンの有無など)を見つけやすくなります

ステップ3: サンプル抽出で実態を確認する

全件確認が難しい場合は、ランダムに50〜100行程度を抽出して詳細に目視確認する方法が現実的です。ここで見つかった問題のパターンを踏まえて、ステップ2の関数チェックを該当パターンに絞って全件に広げる、という流れにすると効率的です。

点検作業でありがちな失敗は、「気になった箇所を場当たり的に直しながら見て回る」進め方です。この進め方だと、どこまで確認し終えたか分からなくなり、直したはずの箇所を数えられません。点検専用のシートを別に用意し、「列名・問題の種類・件数・対応要否」を記録しながら進めることをおすすめします。

表記ゆれへの対処法

表記ゆれを解消する基本方針は、「正規化ルールを1つ決めて、そのルールにすべて揃える」ことです。

Excel関数でできる範囲

• 全角・半角の統一: ASC関数(全角→半角)、JIS関数(半角→全角)を使うと、文字種を一括変換できます
• 不要なスペースの除去: TRIM関数で前後・連続する余分なスペースを除去できます
• 表記の一括置換: 「検索と置換」機能で「(株)」→「株式会社」のように、パターンが少数であれば手動で置換ルールを適用できます

判断に迷うケース

表記ゆれの中には、機械的に統一しきれないものもあります。たとえば「株式会社山田商事」と「有限会社山田商事」が、実際には別の法人なのか、組織変更で法人格が変わった同一の取引先なのかは、データだけでは判断できません。このようなケースは、一覧化した上で担当者や経理部門に確認を仰ぐ工程を挟む必要があります。「自動化できる部分」と「人による確認が必要な部分」を最初に切り分けておくと、作業の見通しが立てやすくなります。

重複データへの対処法

重複への対処は、次の順番で進めると整理しやすくなります。

1. 重複候補を洗い出す: 表記ゆれを解消した後の状態で、完全一致または類似度の高いデータを重複候補としてリストアップする
2. どちらを正としてマージするかを決める: 重複した行のうち、より新しい情報・より詳細な情報が入っている行を「正」として残す。もう一方の情報で正にない項目があれば、正の行に統合する
3. 削除ではなく統合を基本にする: 単純に片方を削除すると、その行にしかなかった情報(取引履歴や担当者名など)が失われる場合があります。削除前に、両方の行の内容を見比べる工程を挟んでください

重複の統合は、後戻りしにくい作業です。統合前の元データは、別ファイルとして必ず保存してから作業に着手してください。

欠損値への対処法

欠損値への対処法は、その項目が移行先システムで必須かどうかによって分かれます。

• 必須項目の欠損: 埋められる情報であれば、他の資料(契約書・請求書・メール履歴など)を突き合わせて埋めます。どうしても分からない場合は、「不明」であることが分かる形で記録し、後日の追跡調査対象として台帳に残す運用が現実的です
• 任意項目の欠損: 移行先のシステムで空欄のまま許容される項目であれば、無理に埋める必要はありません。空欄のまま移行してよい項目と、埋めるべき項目を事前に切り分けておくと、作業量を絞り込めます

すべての欠損を埋めようとすると作業が膨大になりがちです。「移行先のシステムの機能に支障が出る欠損」と「支障が出ない欠損」を最初に線引きすることが、現実的な進め方です。

Excel関数だけで対応するか、専用ツールを使うか

ここまで紹介した内容はExcelの標準機能だけで対応可能な範囲です。ただし、データの量が多い場合や、複数のシート・ファイルにまたがるデータを突き合わせる必要がある場合は、Excel関数だけでは手間がかかりすぎることがあります。

判断の目安を整理すると、次のようになります。

自動化ツールやスクリプトの導入を検討する場合は、「クレンジングのためだけに新しい仕組みを覚える」コストと、「手作業で乗り切る」コストを比較して判断してください。数千行程度であれば、Excel関数と目視確認の組み合わせで十分に完結するケースも多くあります。

移行元がAccessや古いシステムの場合の注意点

Excel台帳だけでなく、Access（データベースソフト）や自社開発の古いシステムからデータを移行するケースもあります。この場合、Excel以上に注意すべき点があります。

Accessや古いシステムでは、データの入力チェック(バリデーション)が緩く設定されていることが多く、長年の運用の中でExcelよりもさらに複雑な汚れが蓄積している場合があります。また、テーブルが複数に分かれて関連付けられている(リレーショナルな構造になっている)ケースでは、テーブル間の整合性(片方のテーブルにしか存在しないIDなど)も点検対象に加える必要があります。

古いシステムからのデータ抽出では、CSV形式でエクスポートしてから作業するのが一般的です。CSVはカンマ区切りのテキスト形式のため、システム間でのデータの受け渡しに広く使われますが、文字コードの違い(Shift-JISとUTF-8など)によって文字化けが起きたり、住所や備考欄に含まれるカンマが列区切りと誤認識されたりする問題が起きやすい点にも注意してください。

誰が作業するか。1人で抱え込まないための体制の作り方

ひとり情シスや総務兼任の担当者にとって、クレンジング作業は「気づいた自分がすべて背負う」羽目になりがちな仕事です。しかし、数千行を超えるデータのクレンジングを1人で完結させるのは、時間的にも判断の正確さの面にも限界があります。

現実的な体制の作り方として、次のような役割分担が考えられます。

• システム担当者: 点検の実施、汚れのパターン整理、統一ルールの案作成、進捗管理
• 各データを日常的に使う部署の担当者: 表記統一ルールの妥当性確認、重複候補が本当に同一かどうかの実務判断、欠損項目の情報補完
• 経営層・上長: クレンジング作業に充てる工数の承認、部署間で判断が割れた際の最終決定

特に重要なのが、表記ゆれや重複の「これは同じものと見なしてよいか」という判断です。この判断はデータを機械的に処理するだけでは決められず、業務の背景を知っている現場の人でなければ正しく答えられないことが少なくありません。システム担当者が独断で統一ルールを決めてしまうと、後になって「実はその2社は別の取引先だった」といった誤りが発覚し、統合したデータを再度分離するという二度手間が発生します。

作業を依頼する際は、「全件を確認してください」ではなく、「重複候補としてリストアップした◯件について、同一かどうかだけ教えてください」のように、確認範囲を絞った依頼の仕方をすると、依頼された側の負担も減り、回答の精度も上がります。

外部への部分委託を検討する場合の目安

社内のリソースだけでは点検・クレンジングが終わらないと判断した場合、外部の開発会社やデータ入力業者に部分的に委託する選択肢もあります。委託を検討する際の目安を整理すると、次のようになります。

• 数万行規模で、かつ複数のExcelファイル・システムにまたがるデータを突き合わせる必要がある場合は、社内のExcel作業だけで完結させるより、外部の力を借りたほうが結果的に早く進むことがあります
• 委託する場合も、「どのデータを、どの基準で統一するか」というルールの決定そのものは、業務内容を知る自社側が主導すべきです。ルール決定まで丸投げすると、業務の実態と合わない統一がされてしまうリスクがあります
• 費用感は依頼するデータ量・汚れの複雑さによって大きく変動するため、この記事内で具体的な金額を示すことは避けます。複数の業者やベンダーから見積もりを取り、作業範囲(点検のみか、クレンジングの実作業まで含むか)を明確にした上で比較検討してください

移行スケジュールにクレンジング工程をどう組み込むか

クレンジング作業を移行スケジュールに組み込む際は、次の3つの工程として明確に区切っておくことをおすすめします。

• 点検フェーズ: 汚れの種類と規模を洗い出す。この記事の「点検手順」で紹介した内容
• クレンジングフェーズ: 実際にデータを直す。表記統一・重複解消・欠損対応
• 検証フェーズ: クレンジング後のデータを、移行先システムの入力ルールと照らし合わせて再確認する

これらの工程は、移行本番の作業とは別に、時間の余裕を持って着手する必要があります。移行直前になって初めてデータの汚れに気づくと、クレンジングのための時間が確保できず、「汚れたまま移行し、後で困る」という最初に説明したパターンに逆戻りしてしまいます。

もし外部の開発会社やSaaSベンダーに移行作業を依頼する場合は、要件定義の段階で「クレンジング済みのデータを渡す前提なのか、ベンダー側でもクレンジングを支援してもらえるのか」を明確にしておくことが重要です。この役割分担があいまいなまま進めると、「クレンジングは発注側の作業だと思っていた」という認識のズレがプロジェクトの後半で表面化し、スケジュール遅延の原因になります。

移行後にデータを再び汚さないための入力ルール

せっかく時間をかけてクレンジングしても、移行後の運用で再び表記ゆれや重複が発生してしまっては、同じ作業を数年後にもう一度やる羽目になります。移行を機に、データが再び汚れにくい入力ルールを整えておくことをおすすめします。

• 入力規則(バリデーション)を設定する: 移行先のシステムが対応していれば、電話番号や日付など形式が決まっている項目には、入力時に自動でチェックがかかるよう設定します。Excelでも「データの入力規則」機能を使えば、選択肢をプルダウンに限定するなど、一定の統一を保つ工夫が可能です
• 法人格や単位の表記ルールを明文化する: 「法人格は正式名称で統一する」「電話番号はハイフンありで統一する」といったルールを、簡単な入力マニュアルとして残しておきます。口頭での申し送りだけでは、担当者が代わった際に再び表記が割れます
• 新規登録前に検索する習慣をつける: 重複データの多くは、「検索してもヒットしなかったので新規登録した」というケースから生まれます。表記ゆれを吸収した検索(部分一致検索など)ができる環境を整えるか、少なくとも登録前に複数のキーワードで検索する習慣を周知してください
• 定期的な点検日を設ける: 半年に1回など、軽い点検のタイミングをあらかじめ決めておくと、汚れが蓄積してから慌てて大掛かりなクレンジングをするより、はるかに少ない労力で済みます

システム管理台帳を整備している場合は、この入力ルールもあわせてシステム管理台帳に記録しておくと、担当者が交代した際の引き継ぎがスムーズになります。

完璧を目指さない。現実的な妥協ラインの決め方

ここまで丁寧な進め方を紹介してきましたが、実務上、すべてのデータを完璧にクレンジングすることは難しい場合が多くあります。特に長期間運用されたExcel台帳では、汚れの範囲が広すぎて、完全に直し切る前に移行期限が来てしまうこともあります。

そうした場合の現実的な考え方は、「業務上の実害が出る箇所を優先し、実害が出にくい箇所は許容する」という優先順位づけです。

• 最優先: 検索・集計・重複防止など、業務の根幹に関わる項目(取引先名、商品コード、金額など)の表記ゆれ・重複
• 次点: 必須項目として設定されている欄の欠損値
• 後回しにしてよい場合が多い: 備考欄などの自由記述、参照頻度の低い過去データ

すべてを一度に完璧にしようとせず、まず業務に直結する範囲を優先的に片づけ、残りは移行後の運用の中で少しずつ手直ししていく、という段階的なアプローチも十分に現実的な選択肢です。移行を担当する側だけで抱え込まず、実際にそのデータを日常的に使っている部署に「このデータの中で、今すぐ困る箇所はどこか」を確認しながら優先順位を一緒に決めていくと、限られた時間の中でも効果の高い箇所から手をつけられます。

まとめ

Excelデータ移行の失敗の多くは、移行先のシステム選定ミスではなく、移行元データの汚れをそのまま持ち込んでしまうことに起因します。表記ゆれ・重複・欠損・型の混在という4つの汚れのパターンを頭に入れた上で、Excel関数を使った点検手順で規模を把握し、業務への影響が大きい箇所から優先的にクレンジングを進めてください。完璧を目指さず、「移行先のシステムで検索・集計・重複防止が正しく機能する状態」を基準に、現実的な着地点を見つけることが、この作業を最後までやり切るコツです。

次の記事では、脱Excelの判断基準そのもの、つまり「どこまでExcelで粘り、どこからシステム化に踏み切るべきか」を扱う予定です。今回のクレンジング作業を通じてデータの実態が見えてくると、移行の判断もより具体的に検討しやすくなります。