HOME / 研究展示 / みんなにとって公平な決め方、教えます
研究展示
データと学習の科学
02

みんなにとって公平な決め方、教えます

因果関係に基づく一人一人にとって公平な分類器の学習

みんなにとって公平な決め方、教えます
どんな研究

融資承認や人材採用、囚人の累犯予測など、人間に対する重大な意思決定を機械学習予測によって行うための研究です。この実現に向け、性別・人種・宗教・性的指向など、人間が持つセンシティブな特徴に関して公平で、かつ高精度な予測を行うための技術を考案しました。

どこが凄い

例えば「体力を要する職種なので体力が理由の不採用は差別的でない」といった要請に基づき、不要な制約なしに学習することで予測精度を高めます。従来法ではデータが特定のモデルから生じている場合のみ公平性を保証可能でしたが、提案法では様々なデータで公平性を保証できます

めざす未来

「何が公平か」は人や社会の価値観とともに移り変わるものです。社会的な要請と技術的な限界に向き合いながら、より柔軟に社会的要請に応じられる機械学習技術を実現し、一人一人が不利益を被ることなく、同時に、効率的な意思決定を行える社会に貢献できればと考えています。

みんなにとって公平な決め方、教えます
関連文献

[1] Y. Chikahara, S. Sakaue, A. Fujino, H. Kashima, “Learning Individually Fair Classifier with Path-Specific Causal-Effect Constraint,” in Proc. the 24-th International Conference on Artificial Intelligence and Statistics (AISTATS), 2021.

展示説明ムービー
Q&A
Q.質問/コメント A.回答
Q.質問/コメント

問題設定は素晴らしいと思います。

(1) 結果変数Yの採用可否、犯罪など現実に差別による影響があるものについて得られる訓練データはすでに「センシティブなデータ」によってバイアスしたものであると思いますが、そのときも「センシティブなデータ」の影響が取り除かれるのでしょうか?

(2) Q&Aにおいて性別や学歴のデータを取り除くと予測精度が下がるとのことでしたが、これは雑多なプロフィールデータをAIで学習するよりも「体力」「論理的思考能力」など結果を左右する要素を特定し、より精密に計測する方法を開発した方が公平になる可能性を示しているようにも思います(もちろんこの研究は予測モデルの研究であることは承知しております。これは実際に社会問題を解決する手段としての話です)

(3) [A] 変数Mの因果的生成機序が差別の影響よるものであるとき(例えば、女性はブロックおもちゃを与えられないので空間把握能力が低い、男性は感情抑制を強いられるのでコミュニケーション能力が低い、など)は、このモデルによるなんらかの判断が行われる前に、すでに社会における公平性がない状況です。あるいは、[B] 考慮する因果モデルとして見落とされた差別的意思決定モデルがあるかもしれません(完全な因果モデルをデータから生成することは不可能です)。
このときに、「このモデルで公平な判断をした結果このような〇〇と他とで差が出るという判断が行われたのだから、やはり〇〇は能力において劣っている」と主張されるようなことがないよう、慎重に運用されることを期待します。

A.回答

ていねいなご議論ありがとうございます。
(1) その通りです。したがって、公平性制約を全く課さずに学習した場合に比べると予測精度は下がることになります。
(2) 論理的思考力であれば計測しやすいと思うのですが、「採否において有用なその他の特徴」の中には数値化しにくいものもあると考えていて、それらを全て精密に計測してデータとして得るということに難しさがあると考えております;観測が容易な特徴(ここでは出身専攻D)からセンシティブなバイアスを除くことで観測が困難な特徴の情報をうまく抽出できるかもしれないと考えています(完全にデータ依存で出身専攻Dにそのような情報が含まれているとは限らないですが)
(3) [A]については少し複雑な問題ですが、下のQAで述べました通り、体力Mの値で採否を決定することは、体力が業務上不可欠とされる職種の場合は法的には(基本的に)妥当と判断されると思います;これを前提としておりますので、採否の予測において体力Mの値が決定するうえでの社会的背景(例えば野球に適性があったが女性で野球選手にはなりづらかった)は現状特に考慮していないですが、実は法律の分野では特別に考慮されているということであれば、それに合わせた技術的な拡張が必要かもしれません
[B]についてですが、これはまさにその通りで、提案技術に限らず因果関係に基づく公平な機械学習技術はそのほとんどが、入力として与えた因果グラフの矢印の有無・方向が正しいという前提での学習技術ですので、因果グラフが正しくない場合に公平性を保証することはできません。またご指摘の通り因果グラフ中の矢印の有無・方向をデータから推定することは一般に難しいです。こうした問題を緩和するために、近年の研究[1]で因果グラフ・モデルの候補を複数与えることができる技術が提案されていて、これに似たような形での本技術の拡張も現在検討中なのですが、ご指摘の問題を完全に解決できるものではないと思っています。 [1] Chris Russell, Matt J. Kusner, Joshua Loftus, Ricardo Silva; When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness, Advances in Neural Information Processing Systems 30 (NeurIPS 2017)
ご質問ありがとうございました(こちらに誤解があり、回答になっていない場合などがありましたら遠慮なくご指摘ください。)



Q.質問/コメント

公平な判断をすることは自分も素晴らしい研究だと思いますし、この例で体力を要する職種を採用の要素として体力以外が公平になるような差別結果をゼロに近づけるのは理想的なAIの用途だと考えます。しかし採用の要素が多くあったり、不確定であった場合は公平ではありますが、その際は採用基準となるものが学歴などに偏ってしまうのではないかと疑問が残りました。

A.回答

興味深いご指摘ありがとうございます。
ご指摘のとおり、性別と関連がなく差別と無関係な特徴(たとえば学歴・資格・受賞歴など)をどのように予測に用いるかについては特に制約を課しておりませんので、学習に用いる訓練データにおいて学歴と採否の間に強い相関がある場合(=人間による過去の採否決定結果が学歴と強く相関している場合)は、予測結果が学歴に強く影響されることも考えられます。
対策としては、学歴の属性値の変化に対して予測結果がそれほど変化しないようにする制約を、公平性制約とは別に新たに課しながら学習することになると思います。技術的には(既存の制約つき機械学習技術で)対応可能であるように思いましたが、そうした追加の制約をさらに課した際に十分な予測精度が出せるかは未検証です。
ご質問ありがとうございました。

Q.質問/コメント

動画を拝見して、よりよくわかりました。ありがとうございました。
社会的意義のある素晴らしい研究だとあらためて思いました。
このような技術を実用化している企業はあるのでしょうか?

A.回答

動画のご視聴とご質問、ありがとうございます。
まず機械学習と公平性に関する研究は発展途上の領域で、安心・安全であると100%言い切れるような技術は(私の理解では)未だ存在していないと思います。
という前提でお話をしますと、これまでに提案された技術のソースコードライブラリがいくらかの米国IT企業によって整備されています(IBM社のAI fairness 360、Microsoft社のfairlearnなど)。また2021年4月から日本IBM社から「IBM ML品質診断サービス」という予測の公平性を診断するサービスが提供されているようです(私も詳細は把握していないですが...)。
ご質問ありがとうございました。

Q.質問/コメント

「性別Aによって採否Yを決定するのは差別的」、「専攻Dによって採否Yを決定して採用率に性差が生じるのは差別的」というのであれば、性別Aも専攻Dも使わずに予測すれば公平な予測になるのではないでしょうか?

A.回答

ご指摘の通り、性別Aも専攻Dも使わずに予測すれば、予測は公平だと言えますが、一方で提案手法を使う場合に比べると予測精度が下がってしまい、適切な人材を採用できなくなることを実験的に確認しました。これは専攻Dは必ずしも性別Aだけで決まるものではなく、採否において有用なその他の特徴(論理的思考力など)にも影響されるからです。性別Aに影響される特徴が多数あるような、より複雑な場合を考えますと、それら全ての特徴を使わずに予測してしまうと、予測精度が低くなってしまいますが、提案手法では採用に有用な情報を捨てることなく予測ができますので、高い精度が期待できます。

Q.質問/コメント

「体力が必要な職種だから、体力の無さを理由に不採用にするのは公平である」というのは理解はできるのですが、性差別にならないか、少し心配です。

A.回答

直接にセンシティブな特徴(性別など)に条件を課していないものの、それと相関する特徴(体力など)に条件を課すことで格差が生じることを間接差別と言いますが、その妥当性を判断するのは法律の問題になります。現行の男女雇用機会均等法では間接差別について、「当該業務の遂行上特に必要である場合、...その他の合理的な理由がある場合でなければ、これを講じてはならない」とされていますので、体力が本当に必要な職種であるか、必要以上に体力を要求していないか、などが論点になりそうです。

Q.質問/コメント

AIを使って人材採用や融資承認を行うというのは遠い未来の話に感じます。どれくらい現実的な話なのでしょうか?

A.回答

海外の事例ですと、米国Amazon社において開発途上であった人材採用支援システムが、女性に対して不当なスコアリングを行うことが明らかになり、2018年にその開発を断念しています。また実際にアメリカで利用されていた囚人の累犯の可能性を提示するAIシステム(COMPAS)が、黒人に対して差別的な予測をしていたことが2016年のProPublica紙において報じられています。国内でも、いくらかの金融系ベンチャーにおいて、AIによる借入申込者のスコアリングサービスが提供されています。

ポスター
連絡先

近原 鷹一 (Yoichi Chikahara) 協創情報研究部 知能創発環境研究グループ
Email: cs-openhouse-ml@hco.ntt.co.jp

他の研究展示はこちら