貼り付けたデータの重複行を自動検出。重複のみの抽出、ユニーク行のみの抽出、 出現回数順の集計まで、目的に合わせてワンクリックで切り替えられます。
データを貼り付け
区切り文字
判定オプション
データを貼り付けると、重複行の検出・集計結果がここに表示されます。
重複行の抽出・集計ツールとは？CSV・リストの重複データをまとめてチェック
名簿・メール配信リスト・アンケート回答・ログデータなど、行が積み重なっていくデータには気づかないうちに同じ内容が重複して混入していることがよくあります。Excelの目視チェックや関数だけでは見落としが発生しやすく、件数が多いほどミスのリスクも高まります。
本ツールは、CSV・TSV・単純なリストを貼り付けるだけで重複行の検出・出現回数の集計・ユニーク化をブラウザ内で自動処理するオンラインツールです。行全体の完全一致だけでなく、メールアドレス列など特定の列だけを対象にした重複判定にも対応しています。
「重複のみ」「ユニークのみ」「集計（出現回数順）」の3つの結果をワンクリックで切り替えて確認でき、そのままコピーして表計算ソフトに貼り戻すこともできます。
こんなシーンで便利です
顧客リスト・名簿の重複登録チェック
Excelやスプレッドシートで管理している顧客リストや会員名簿に、同じ人物・同じメールアドレスが重複して登録されていないかをまとめて確認したい場合に。
メール配信リストの重複アドレス除去
複数のリストを結合して作成したメルマガ配信リストから、同じメールアドレス宛てに二重配信してしまわないよう、重複を取り除いたユニークなリストを作成したい場合に。
アンケート回答・フォーム送信の重複回答検出
同一人物による二重回答や、システムの不具合による重複送信がないかを、回答IDやメールアドレス列を指定してチェックしたい場合に。
アクセスログ・注文データの出現回数集計
URLや商品コードなど、同じ値が何回出現しているかをランキング形式で把握したい場合に。「集計」タブを使えば、出現回数が多い順に並べ替えた一覧をすぐに確認できます。
使い方は簡単 4ステップ
- CSV・TSV・スプレッドシートからコピーしたデータ、または1行ずつのリストをテキストエリアに貼り付けます。
- 区切り文字（自動判定・カンマ・タブなど）と「先頭行はヘッダーか」を必要に応じて設定します。
- 複数列のデータの場合、重複判定に使いたい列（例：メールアドレス列のみ）を選択します。省略すると行全体で判定します。
- 「重複のみ」「ユニークのみ」「集計」のタブを切り替えて結果を確認し、必要な一覧をコピーします。
※貼り付けたデータはブラウザ内でのみ処理され、外部のサーバーへ送信されることは一切ありません。
ご利用時の注意点
- 初期設定では大文字・小文字、全角・半角、前後の空白の違いはそれぞれ別の値として扱われます。表記ゆれもまとめて検出したい場合は、オプションの「大文字・小文字を区別しない」「前後の空白を無視する」を有効にしてください。
- 先頭行が列名（ヘッダー）の場合は「先頭行はヘッダー」を必ずオンにしてください。オフのままだとヘッダー行がデータの1件として集計に含まれてしまいます。
- 行全体ではなく特定の列だけで重複を判定したい場合は、列選択チップで対象の列を選んでください。
- 完全無料・安全：貼り付けたデータは一切送信されない、通信が発生しないブラウザ完結型の設計です。
3つの表示モードと主な使いどころ
目的に応じて、以下の3つの表示モードを切り替えて利用できます。
| 表示モード | 内容 | 主な用途 |
|---|---|---|
| 重複のみ | 2回以上出現する行を出現回数とともに一覧表示 | 重複データの発見・削除対象の確認 |
| ユニークのみ | 各行を最初の1回だけ残した一覧 | 重複を取り除いたクリーンなリストの作成 |
| 集計（出現回数順） | 全行をユニーク化し、出現回数が多い順に並べた一覧 | 頻出データのランキング化・傾向分析 |
※いずれのモードも、右上のコピー機能でそのままテキストとして貼り出せます。列選択と組み合わせることで「メールアドレスだけで重複判定した結果」なども作成できます。
重複データが起こる原因と、正しくチェックするためのポイント
重複行のチェックで見落としが起きやすいポイントと、判定精度を上げる考え方を解説します。
結論：重複は「表記ゆれ」と「判定範囲」の2点を押さえればほぼ検出できる
重複データの見落としの多くは、全角・半角、大文字・小文字、前後の空白といった表記ゆれと、行全体で見るか特定の列だけで見るかという判定範囲の設定ミスの2つが原因です。
本ツールのオプションと列選択を組み合わせることで、この2点を明示的にコントロールしながら重複を検出できます。
複数のリストを結合した際に重複が発生しやすい理由
展示会の名刺リストとWebフォームからの問い合わせリストなど、出所の異なる複数のリストを1つに結合する場面では、同一人物・同一データが異なる表記（全角スペースの有無、姓名の順序違いなど）で重複登録されやすくなります。
結合直後に本ツールでメールアドレスなど一意になりやすい列を指定してチェックする習慣をつけると、重複の混入を早期に発見できます。
行全体一致と列単位の一致、どちらで判定すべきか
電話番号やメモ欄など一部の列だけが異なる「実質的に同じデータ」は、行全体の完全一致では重複として検出できません。
このような場合は、メールアドレスや会員IDなど一意性の高い列だけを選択して判定することで、表記の違いに影響されずに本来の重複を洗い出せます。
Excelの関数（COUNTIF等）との使い分け
ExcelのCOUNTIF関数でも重複の件数確認は可能ですが、列を指定した判定や、大文字・小文字を無視した判定を毎回数式で組むのは手間がかかります。
本ツールはオプションを切り替えるだけで同様の判定をワンクリックで行えるため、都度データを貼り付けて素早く確認したい場面に向いています。最終的な集計をExcel上で行いたい場合は、集計タブの結果をそのままコピーして貼り戻すことができます。
よくある失敗と対策
全角・半角や大文字・小文字の違いを重複として検出できず見落とす
「Tokyo」と「ｔｏｋｙｏ」、「ABC」と「abc」のような表記ゆれのあるデータを、初期設定のまま完全一致でチェックしてしまい、実質的に同じデータを別物として見逃してしまう失敗です。
💡 対策・解決策を見る▼
ヘッダー行を含めたまま処理し、見出しが1件のデータとして扱われる
CSVの1行目にある「氏名,メールアドレス,電話番号」のような列名を「先頭行はヘッダー」に設定せずそのまま処理してしまい、統計や集計結果にノイズとして含まれてしまう失敗です。
💡 対策・解決策を見る▼
行全体で判定してしまい、本来検出すべき重複を見逃す
メールアドレスは同じでも、備考欄や登録日時が異なるために行全体では一致せず、重複として検出されないまま見過ごしてしまう失敗です。
💡 対策・解決策を見る▼
非常に大量のデータを一度に貼り付け、ブラウザの動作が重くなる
数万行を超えるような大規模データを一度に貼り付けてしまい、ブラウザでの表示や集計処理に時間がかかってしまう失敗です。
💡 対策・解決策を見る▼
処理結果をコピーせずページを離れ、集計結果が失われる
せっかく重複チェックや集計を行ったのに、結果をコピーせずページを閉じてしまい、同じ作業をやり直すことになってしまう失敗です。
💡 対策・解決策を見る▼
よくある質問（FAQ）
Q.どのような形式のデータを貼り付けられますか
A. CSV（カンマ区切り）、TSV（タブ区切り、Excel・スプレッドシートからのコピー貼り付けに対応）、スペース区切り、あるいはメールアドレスやキーワードを1行ずつ並べただけの単純なリストにも対応しています。区切り文字は自動判定されますが、手動で指定することもできます。
Q.「重複のみ」「ユニークのみ」「集計」の違いは何ですか
A. 「重複のみ」は2回以上出現する行だけを出現回数とともに一覧表示します。「ユニークのみ」は各行を最初の1回だけ残した、重複を取り除いたリストです。「集計」はすべての行をユニーク化したうえで、出現回数が多い順に並べ替えて表示します。用途に応じてタブを切り替えて利用できます。
Q.行全体ではなく、特定の列だけで重複を判定できますか
A. はい、可能です。CSV・TSVなど複数列のデータを貼り付けると列選択チップが表示され、例えば「メールアドレス列」だけにチェックを入れると、他の列の値が違っていてもその列の値が一致する行を重複として検出できます。列を選択しない場合は行全体の完全一致で判定します。
Q.大文字・小文字や前後の空白の違いは重複判定に影響しますか
A. 初期設定では大文字・小文字と空白の違いも別の値として扱われます。「大文字・小文字を区別しない」「前後の空白を無視する」のオプションをオンにすると、"ABC"と"abc"、"東京都 "と"東京都"のような表記ゆれのある重複もまとめて検出できます。
Q.1行目が見出し（ヘッダー）の場合はどうすればよいですか
A. 「先頭行はヘッダー」のスイッチをオンにしてください。1行目は列名として扱われ、重複判定や集計の対象からは除外されます。オフのまま処理すると、ヘッダー行がデータの1件として扱われてしまうため、CSV・TSVを貼り付ける際は必ずご確認ください。
Q.貼り付けたデータが外部に送信されることはありませんか
A. ありません。本ツールはすべての処理をお使いのブラウザ内だけで実行する完全ローカル処理型です。顧客リストやメールアドレスなどの機密性の高いデータであっても、サーバーへ送信されることなく安全にご利用いただけます。
Q.どれくらいの量のデータまで処理できますか
A. 明確な上限はありませんが、ブラウザ内でのリアルタイム処理となるため、数千行程度までは快適に動作します。数万行を超える非常に大きなデータの場合、お使いの端末の性能によっては表示や集計に時間がかかることがあります。
あなたの声で、
このツールをより鋭く。
「こんな機能が欲しい」「ここを直してほしい」といったご意見や、新しいツールのリクエストを募集しています。エンジニアが直接目を通し、開発の参考にさせていただきます。