ニューラルネットを用いた法則発見

概要:

科学／産業分野で得られる数値データに潜む法則を、実数指数の多項式型法則として、ニューラルネットを用いて効率良く発見する方法 RF5[1,2,3,4]を開発した。

RF5アルゴリズム

従来、単項式型や指数が整数の多項式型法則については、最小自乗法や組合せ探索等によって、法則発見が可能であった。しかし、実数指数を持つ多項式型のように複雑な法則に対しては、これらの手法の適用はほとんど不可能であった。

法則の発見問題はニューラルネットの学習問題として定式化できる。しかし、このニューラルネットの学習は一般に容易でなく、標準的なBP法等では良い結果が得られないことが知られている。我々は、常に効率良く望ましい結果を得るため、準ニュートン法に基づき、少記憶BFGS法で探索方向を計算し、最適探索幅を２次近似の最小点として求める学習法 BPQ[5]を開発した。そのため、問題規模が大きくても効率の良い学習が期待できる。また、ニューラルネット学習においては、最適な中間ユニット数を予め知ることはできず、単に誤差を最小にする法則候補がベストとは限らない。そこで、最小記述長(MDL)基準を採用して最良と思われる法則を選択可能とした。なお、変数に不要属性が含まれる場合でも適用可能である。

計算機実験を行ったところ、ある程度のノイズが含まれるデータからでも、実数指数の多項式型法則(ハーゲン-ルーベンスの法則やケプラーの法則など) を効率良く発見できた(表1)。

**表 1:** 発見例
法則	元の法則	発見した法則	データ数
ハーゲン-ルーベンスの法則	$R = 1-2({\nu}/{\sigma})^{1/2}$	$R = 1.00-2.08\nu^{0.57}\sigma^{-0.57}$	9
ケプラーの法則	T = 0.41r^3/2	T = 0.19+0.41r^1.50	5
ボイルの法則	V = 29.30/p	V = -0.61+29.05p^-1.08	19
人工問題1*(整数指数)	y = 2+3x₁x₂+4x₃x₄x₅	y = 2.0+3.0x₁^1.0x₂^1.0+4.0x₃^1.0x₄^1.0x₅^1.0	200
人工問題2*(実数指数)	y = 2+3x₁^-1x₂³+4x₃x₄^1/2x₅^-1/3	y = 2.0+3.0x₁^-1.0x₂^3.0+4.0x₃^1.0x₄^0.5x₅^-0.3	200
(*) このデータには不要変数 ( $x_6 \sim x_9$ ) が含まれる.

今後の予定

力学系のシステム同定や経済の需要予測などへの適用可能性を検証中である。なお、データさえ提供されれば、コミュニケーション科学研究所で法則を発見して提示することが可能である。

連絡先：斉藤和己 saito@cslab.kecl.ntt.co.jp

参考文献

1

斉藤和巳, 中野良平:
コネクショニストアプローチによる数法則の発見,
情報処理学会論文誌, Vol. 37, No. 9, pp. 1708-1716 (1996).

2

斉藤和巳, 中野良平:
数値データに潜む法則を発見,
NTT技術ジャーナル, Vol. 9, No. 5, pp. 104-107 (1997).

3

斉藤和巳, 中野良平:
ニューラルネットを用いた法則発見,
NTT R&D, Vol. 46, No. 6, pp. 547-552 (1997).

4

Saito, K. and Nakano, R.:
Law Discovery using Neural Networks,
Proc. of the 15th International Joint Conference on Artificial Intelligence (IJCAI '97), pp. 1078-1083 (1997).

5

Saito, K. and Nakano, R.: Partial BFGS Update and Calculating Optimal Step-length for Three-layer Neural Networks, Neural Computation, Vol. 9, No. 1, pp. 123-141 (1997).

This page is assembled by Takeshi Yamada

Last modified on: Sat Jan 23 19:57:23 1999