海外の失敗例に学ぶガブテックの導入原則　―行政の誤りを市民が証明するのか

行政手続きの迅速化や職員の負担軽減が期待されるガブテック。しかし、オーストラリアでは、不正確な自動判定によって多数の市民が存在しない債務を負わされた。オランダでは、偏ったデータ利用が差別的な不正受給判定を招いた。効率化を優先し、判断過程の透明性や救済手段を軽視すれば、テクノロジーは市民の権利を脅かしかねない。両国の失敗から、日本が導入時に備えるべき原則を考える。

オーストラリアの失敗―自動判定の危険

行政による自動判定の代表的な失敗が、オーストラリア政府の「ロボット債務スキーム」の事例である。政府は2016年に、社会保障給付の過払い回収を自動化する「福祉金不正受給摘発システム（Robodebt）」を導入した。Robodebtは、税務当局が保有する受給者の年間所得を各期間に平均配分し、給付時に申告された所得と照合することで、過払いの可能性がある人を抽出した。

しかし、年間所得を単純に平均化しても、各期間の実際の収入を正確に把握できるとは限らない。短期雇用や不規則な勤務をしていた人は、収入のない期間にも、平均額の所得があったかのように扱われる可能性があった。それにもかかわらず、システムが算出した債務額を基に返還請求が行われた。対象者が何年も前の給与明細などを提出し、債務が存在しないことを証明しなければならないケースも生じた。これにより、約52万6000人に対して計79万4000件の根拠を欠く違法な債務が算定され、その総額は約17億5100万オーストラリアドルに上ったとされる。

この事例の問題は、行政が請求の正しさを立証するのではなく、市民側に行政の誤りを証明させたことにある。システムが示した「疑い」を、本人への確認や個別事情の把握を経ずに「債務」や「不正」として扱えば、効率化は権利侵害に変わる。日本の中央官庁でも、スコアの意味や限界を理解した上で、人が証拠と個別事情を確認する必要がある。

オランダの失敗―差別的なリスク判定

一方、オランダでは2021年、約3万5000人の親が保育手当の不正受給を疑われ、受け取った手当の返還を求められていたことが明らかになった。不正受給のリスクを予測する仕組みでは、「国籍」などの属性がリスク指標として使われていた。それによって、多くの受給者が不正受給の疑いがある者として誤って判定され厳しい処分につながり、異議を申し立てても容易には救済されなかった。さらに、二重国籍などの属性がリスク判定に使われ、差別的な運用につながったことも問題となった。

ここから得られる教訓は、AIやデータ分析が必ずしも中立ではないということだ。過去の審査結果に偏りがあれば、AIやアルゴリズムがそれを引き継ぐ可能性がある。例えば、特定の属性を持つ人が重点的に調査されてきた場合、システムも同じ人々を高リスクと判定しやすくなる。調査の集中によって得られた結果が次の学習データになれば、偏りはさらに強化される。氏名や国籍をデータから削除すれば、問題が解決するわけでもない。居住地域、家族構成、使用言語などが、人種や社会階層を間接的に推測する代理変数として機能することがあるからだ。

こうした問題への対策として、「最終判断は人が行う」と説明されることも多い。しかし、職員が単に承認ボタンを押すだけでは意味をなさない。担当者が判定根拠を理解できず、「システムが高リスクと判定したから」と追認する恐れがある。大量の案件を処理するよう求められたり、システムと異なる判断をした場合にだけ詳細な理由の記入が必要だったりすれば、職員はシステムの判定に従いやすくなる。

「間違えないAI」ではなく「間違えても正せる行政」へ

オーストラリアとオランダの事例が日本に突き付けるのは、ガブテックによる問題は、技術の精度を高めるだけでは防げないという現実である。誤ったデータや偏った運用方針が組み込まれれば、誤った行政判断が高速かつ大規模に広がり、市民の生活に深刻な影響を与える。だからこそ、日本では「間違えないAI」を目指すだけでなく、「間違いを早期に発見し、正せる行政」を構築する必要がある。

まず、自動判定システムやAIの利用目的と範囲を明確にしなければならない。リスクの抽出と行政処分の決定を区別し、システムの判定だけで給付停止や返還請求、不利益処分を行わないことを原則とする。処分の正当性を立証する責任は行政が負い、市民に「自分に不正がないこと」の証明を押し付けてはならない。また、国籍や性別などを入力項目から外すだけでは、差別を防げない。居住地域、家族構成、使用言語などが特定の属性を推測する代理変数となる可能性があるため、導入前後に集団ごとの誤判定率を検証し、第三者による監査結果を公表すべきだ。

「人が最終判断を行う」という原則も、実質化する必要がある。職員には、AIやアルゴリズムの判定根拠と限界を理解するための研修を行い、システムとは異なる判断を下す権限と、そのための時間を保障する。システムの判定に従う方が簡単になる業務設計では、人の関与は形骸化してしまう。さらに、市民が使用されたデータや判断理由を確認でき、容易に異議を申し立てられる窓口を整えることが重要だ。導入は小規模な実証から始め、誤判定や偏りが見つかった場合には、運用を停止・修正する条件も事前に定めておく。効率やコストだけでなく、公平性、説明可能性、救済の速さも成果指標とする。それが、信頼されるガブテックの前提となる。