この記事でわかること
- アンケート自由記述をAIで分析する5ステップ（データ整形・基準づくり・分類・抜き取り検証・集計）
- 分類の基準を人が先に作る理由と、AIへの指示文の例
- 抜き取り検証で一致率を出す方法（仮置きの計算例つき）
- 入力してよい情報の線引きと、個人情報保護委員会の注意喚起
- ずれやすい回答のパターンと、再現できる管理表の作り方
自由記述は「読まれないまま溜まる」。AIで変わるのは一次整理だけ
顧客アンケートや従業員アンケートの自由記述欄は、選択式の設問より本音が出やすい一方、件数が増えるほど読み切れなくなります。数百件が溜まった時点で、担当者が「ざっと目を通して印象で報告」して終わる、という運用は珍しくありません。
生成AIを使うと、この一次整理（分類・要約・要望の抜き出し）にかかる時間は大きく減らせます。ただし、AIが得意なのは「決めた基準に沿って振り分けること」であって、「どの基準で振り分けるか」「結果をどう判断するか」ではありません。基準づくりと最終判断を人が持ち、分類の作業をAIに任せる。この分担が、うまく回るときの共通点です。
この記事では、中小企業が自由記述を分析するときの手順を、始める前に決める3点、分類の基準づくり、AIへの指示、抜き取り検証、入力してよい情報の線引きの順に整理します。ツールの選び方や操作画面の説明ではなく、どのツールでも共通する「進め方」に絞っています。他の解説記事ではデータ整形やプロンプトの例が中心になりがちな部分に加え、本記事では分類の基準を先に人が作る理由と抜き取りで一致率を測る方法を具体的に扱います。
始める前に決める3点
データをAIに入れる前に、次の3点を紙1枚で決めておくと、後の手戻りが減ります。
分析を始める前の3点
- この分析で決めたいこと：「サービス改善の優先順位を決める」「解約理由の上位を知る」など、結果で何を判断するのか。
- どの設問を対象にするか：自由記述が複数ある場合は、判断に使う設問から1つずつ。設問ごとに分類の基準が変わるため、混ぜない。
- 誰が結果を確認するか：AIの分類を抜き取りで確認する担当を、あらかじめ1人決める。
目的が曖昧なまま「全部まとめて分析して」と頼むと、AIは当たり障りのない要約を返します。判断に使う設問を絞るだけで、結果の使い道がはっきりします。
手順：データ整形から集計まで5ステップ
データを整える（1行1回答・ID付き・個人情報を外す）
表計算ソフトで、1行に1回答、列は「回答ID」と「自由記述」だけに絞ります。名前、メールアドレス、電話番号、会社名などは別の列に分けるか、削除します。回答IDは、後で原文と照らし合わせるために必ず付けてください。
全角・半角や余計な空白、同じ回答の重複も、この段階で直しておきます。空欄や「特になし」の回答は、分析の対象から外して件数だけ記録します。
人が先にサンプルを読み、分類の基準を作る
ここがいちばん大切な工程です。全件の1〜2割、少なくとも30〜50件ほどを、人が先に読みます。そのうえで「価格」「サポート対応」「使いやすさ」のように、判断に使える粒度でカテゴリを5〜8個決め、それぞれに「どんな回答を入れるか」を一文で定義します。
AIに「自由に分類して」と頼むこともできますが、実行のたびにカテゴリの名前や数が変わり、前回の結果と比べられなくなります。人が作った基準を渡せば、毎回同じ物差しで分類できます。
基準と出力形式を指定してAIに分類させる
手順2の基準を、そのままAIへの指示に入れます。出力は「回答ID、カテゴリ、判断の理由を一文」という形に固定し、表にして返させると、そのまま表計算ソフトに貼れます。指示の具体例は次の章に載せています。
一度に大量の件数を渡すと、途中で出力が崩れることがあります。50〜100件ずつに分けて渡し、毎回同じ指示文を使います。
抜き取りで確認し、一致率を測る
分類が終わったら、全件の1割ほどを無作為に選び、人が原文を読んで正しいカテゴリを付け直し、AIの結果と一致した割合を出します。一致率が低いカテゴリは、定義が曖昧なことが多いので、定義を書き直して再度分類させます。
集計して、原文を添えて判断に使う
カテゴリごとの件数を出し、各カテゴリの代表的な原文を2〜3件ずつ添えます。数字だけを報告すると「なぜそう言えるのか」が伝わらず、原文だけだと全体像が見えません。両方を並べたものを、判断に使う人へ渡します。
AIへの指示文の例：分類・要望の抜き出し
指示文は、「役割」「基準」「出力形式」「迷ったときの扱い」の4つを入れると、結果が安定しやすくなります。次は分類の例です。【】の部分は自社の内容に置き換えてください。
分類の指示文（例）
あなたは【サービス名】のアンケート分析担当です。次の自由記述を、下のカテゴリのうち最も近い1つに分類してください。
カテゴリと定義：①価格＝料金や費用への意見 ②サポート＝問い合わせ対応や担当者への意見 ③使いやすさ＝操作や分かりやすさへの意見 ④その他＝上記に当てはまらないもの
出力は「回答ID／カテゴリ／判断の理由（30字以内）」の表形式にしてください。複数の論点を含む場合は、最も強く書かれているものを選び、理由に「複数論点あり」と書いてください。判断できない場合は「判断不能」としてください。
「判断不能」の選択肢と「複数論点あり」の注記を入れておくと、AIが無理に当てはめることを減らせ、後で人が見るべき回答を絞り込めます。要望の抜き出しは、同じ形式で「改善の要望や提案が書かれている回答だけを、要望の要点を一文にして抜き出す」と指示します。
抜き取り検証の進め方：一致率の見方（計算例）
抜き取り検証を、数字の例で確認します。以下は説明のための仮置きの数字で、実際の調査結果ではありません。
| 項目 | 仮置きの数字 | 考え方 |
|---|---|---|
| 回答件数 | 200件 | 空欄・「特になし」を除いた件数 |
| 抜き取り件数 | 20件（1割） | カテゴリに偏りが出ないよう無作為に選ぶ |
| AIと人の一致 | 17件 | 人が原文を読んで付け直したカテゴリと比べる |
| 一致率 | 17 ÷ 20 ＝ 85% | 目安は目的次第。判断に使うカテゴリは高めの水準を求める |
| ずれた3件の内訳 | 「サポート」と「使いやすさ」の境目が2件、複数論点が1件 | 境目の定義を書き直し、複数論点の扱いを決める |
一致率に「何%以上なら合格」という決まった基準はありません。社内の意思決定に使う分析なら高い水準を、傾向をつかむ程度なら緩やかな水準を、目的に応じて先に決めておきます。大切なのは、ずれた回答を見て「定義の曖昧さ」「複数論点」「皮肉や遠回しな表現」のどれが原因かを分けることです。原因が定義にあるなら、基準を直せば次回から改善します。
少ない件数のときの注意。回答が数十件しかない場合、1件の違いで割合が大きく動きます。「サポートへの不満が全体の30%」と言い切らず、「サポートに触れた回答が○件あり、内容は次のとおり」と、件数と原文で示すほうが誤解を生みません。
入力してよい情報の線引き
アンケートの自由記述には、書き手の名前、勤務先、病歴、取引先の情報などが、設問と関係なく書かれていることがあります。AIの外部サービスに入力する前に、入力してよい情報の基準を決めておきます。
個人情報保護委員会は、生成AIサービスの利用に関する注意喚起の中で、個人情報取扱事業者が個人データを入力する場合について、特定した利用目的の達成に必要な範囲内かを確認すること、本人の同意なく目的外で扱われる場合は個人情報保護法に違反する可能性があること、サービス提供事業者が入力した個人データを機械学習に利用しないことなどを事前に確認することを示しています（出典：生成AIサービスの利用に関する注意喚起等について（令和5年6月2日）｜個人情報保護委員会）。
入力前に確認する4点
- 氏名・連絡先・会社名など、個人を特定できる情報を外してあるか（ID化または削除）。
- 自由記述の本文に、個人名や固有の取引先名が含まれていないか。含まれる場合は伏せ字にする。
- 利用するサービスで、入力内容が学習に使われない設定になっているか。契約や設定画面で確認する。
- アンケート取得時に示した利用目的に、AIを用いた分析が含まれると説明できるか。
設定の確認方法や社内ルールの作り方は、生成AIの情報漏洩リスクはどこにある？シャドーAI・学習利用設定・取引先との合意で詳しく扱っています。個人情報の取扱いや利用目的の判断は、個別の事情によって変わります。判断に迷う場合は、弁護士等の専門家にご確認ください。
AIの分類がずれやすい回答のパターン
抜き取りで見つかるずれには、ある程度決まった型があります。先に知っておくと、基準づくりや確認の観点が絞れます。
- 複数の論点が1つの回答に入っている：「価格は妥当だが、サポートの返信が遅い」のような回答は、どちらを選ぶかで結果が変わります。1回答に複数のカテゴリを付けてよいルールにするか、主たる論点を1つ選ぶかを先に決めます。
- 皮肉や遠回しな表現：「さすがの対応の早さでした」のように、文字面と意図が逆の回答は、肯定に分類されやすい傾向があります。感情を判定させる場合は特に、人の確認を厚くします。
- 数が少ないが重要な意見：件数の上位だけを見ると、1〜2件しかない重大な指摘（安全性、法令に関わる内容など）が埋もれます。「件数に関わらず別途確認するカテゴリ」を作っておきます。
- 業界用語や社内の略称：AIが意味を取り違えることがあります。基準の定義に、用語の説明を一文添えます。
毎回同じ手順で回すための管理表
アンケートは、一度きりより定期的に取ることのほうが多いはずです。前回と比べられるように、次の項目を管理表に残しておきます。
| 残す項目 | 記録する内容 | 残す理由 |
|---|---|---|
| 分類の基準 | カテゴリ名と定義、改訂した日付 | 次回も同じ物差しで分類できる |
| AIへの指示文 | 実際に使った文面とバージョン | 担当が代わっても同じ結果を再現できる |
| 検証の結果 | 抜き取り件数、一致率、ずれた原因 | 基準の改善点が蓄積する |
| 除外した回答 | 空欄・判断不能の件数と、個人情報を伏せた箇所 | 件数の整合性を後から説明できる |
| 結果の使い道 | どの判断に使い、誰が何を決めたか | 分析が施策につながったかを確認できる |
管理表があれば、次回は基準と指示文を使い回し、変えた部分だけを見直せばよくなります。作業時間が短くなるのは、AIそのものより、この「型」ができたあとです。
LnXの見解
自由記述のAI分析で、最初に失敗しやすいのは「全件をAIに渡して、出てきた要約をそのまま報告に使う」ことです。見た目はそれらしくまとまりますが、基準が人から見えず、どの程度正確かを誰も確かめていません。基準を人が先に作り、抜き取りで確かめ、原文を添えて報告する。この3つを守るだけで、AIの結果は「参考」から「判断に使える材料」に変わると考えています。
もうひとつ強調したいのは、分析のあとの工程です。分類の結果を見て「サポートへの不満が多い」と分かっても、誰が、いつまでに、何を変えるのかが決まらなければ、アンケートは取りっぱなしになります。AIで短縮できた時間を、この「決める」工程に回すのが、中小企業にとっていちばん効果的な使い方です。
今回のテーマに合致する当社の支援実績は、現時点で公開しているものの中にありません。そのため、実績の数字は載せていません。自社のアンケートにどの手順が合うか、入力してよい情報の線引きをどう決めるかといったご相談は、お問い合わせ項目の「AIに関するお問い合わせ」からお受けしています。
よくある質問
Q アンケートの回答が数十件でも、AIで分析する意味はありますか？
あります。ただし、少ない件数では割合の差が大きくぶれるため、件数と原文を並べて示すほうが安全です。数十件なら、AIで分類した結果を人が全件確認することもできます。手間の削減というより、見落としを防ぐ目的で使うと効果的です。
Q 無料のAIツールに、アンケートの回答をそのまま入れてもよいですか？
個人を特定できる情報が含まれる場合は、そのまま入力しないでください。名前や連絡先を外したうえで、利用するサービスの設定で入力内容が学習に使われないかを確認します。個人情報保護委員会も、利用目的の範囲内か、提供事業者が機械学習に利用しないかを事前に確認するよう注意喚起しています。
Q AIの分類は、どのくらい信用してよいですか？
信用の度合いは、抜き取り検証の一致率で判断します。全件の1割ほどを人が付け直し、AIとの一致率を出してください。一致率が低いカテゴリは、定義を書き直して再分類します。精度は設問や基準の作り方で大きく変わるため、一般的な数字は当てになりません。
Q カテゴリはAIに自動で作らせたほうが速くないですか？
最初の案出しにAIを使うのは有効です。ただし、そのまま採用せず、人がサンプルを読んで確認し、基準として固定してください。実行のたびにカテゴリが変わると、前回との比較ができなくなります。
Q 分析結果は、どのように報告すればよいですか？
カテゴリごとの件数に、代表的な原文を2〜3件ずつ添える形がおすすめです。数字だけでは根拠が伝わらず、原文だけでは全体像が見えません。件数が少ないカテゴリに重要な指摘がある場合は、件数に関わらず別枠で示してください。
Q 社内でAI分析を定着させるには、何から始めればよいですか？
まず、過去のアンケートの一部で試し、人が付けた分類とAIの結果を比べるところから始めます。基準と指示文、一致率を管理表に残しておくと、担当が代わっても同じ手順で続けられます。外部の支援が必要な場合は、入力データの扱いと成果物の定義を契約で確認してください。