アンサンブル分類学習法

概要:

分類問題に対し、同一タスク、同一学習データを用いて 予め独立に学習させた複数のニューラルネットワーク(NN)識別器の 最適線形統合法を考案し、実験によりその有効性を明らかにした。

はじめに

汎化能力(未学習データに対する予測能力)の向上を目的として、複数予測器 を統合するアンサンブル学習法が提案されている。 アンサンブル学習では、予測器の出力の分散が減少し、それに伴い 汎化能力が高まることが理論的に明らかにされて いる[1][2]。即ち、 アンサンブル学習は``分散減少法''として認識されている。しかしながら、理 想的には、統合予測器は個々の予測器の長所を活かし、短所を補い、個々の予 測器の性能を上回るものでなければならない。分類問題の場合、全クラスに 対しては最良ではないが、部分クラスには最良な識別器が存在し得る。この ような場合、それらを統合して、全クラスに最良な識別器を上回る統合識別器 の実現が期待される。本研究では、NN識別器を対象にこの理想的な統合 識別器を構成するための手法を考案した。

最小分類誤り基準による定式化

提案法では、個々のNN識別器の長所を活かす統合識別器を構成するために、 正則化パラメータを変えながら部分クラス毎に最良なNN識別器を選択し、 それらNN識別器の線形統合により統合識別器を構成する。線形統合法は 数多く提案されているものの、最適線形統合法に関する研究は若干し かなく、かつそれらは全て最小自乗誤差(MSE)基準に基づいて 回帰問題の枠組みで定式化されていたため分類問題には適切で はない。提案法では、線形統合における線形重みの推定が、 識別関数空間における線形識別関数の設計問題と等価であることに着目し、 最小分類誤り(MCE)基準に基づき期待分類誤り率最小化の枠組みで定式化 を行った[3]。

実験結果

真の分類誤り率(Bayes error)が算出可能 な人工データ(4クラス問題)に対する、各クラス毎に最良な正則化パラメータ 値($\lambda^*$)とそれに対応するNN識別器の平均分類誤り率(初期値を変えて 10回学習した時の平均分類誤り率)と標準偏差を表1に示す。表2に既存の統合法と 提案法(MCE)の平均分類誤り率と標準偏差を示す。提案法によるテスト誤り率 が表1の単一のNN識別器のどのテスト誤り率よりも小さく、また、表2の既存 統合手法の中で最小(22.2%)で、かつ、Bayes error(22.1%)に 極めて近い値という良好な結果が得られている。高次元実データでも同様な結果が 得られており、提案統合法によれば従来の様な分散減少ではなく、各識別器の 長所を活かす理想的な統合識別器設計が実現可能であることを確認した。

 

 

表 1: 各クラス毎に最良な単一NN識別器の平均分類誤り率 % と(標準偏差 %)

$\lambda^*$	0.7	0.0282	0.343	0.0576
学習	28.7	19.5	24.3	19.2
	(1.53)	(0.68)	(0.63)	(0.34)
テスト	27.0	25.0	24.1	23.3
	(0.55)	(0.27)	(0.24)	(0.29)

 

 

表 2: NN識別器の統合による平均分類誤り率 % と(標準偏差 %)

	多数決	単純平均	線形統合
			MSE	MCE
学習	19.4	19.2	20.0	20.4
	(0.36)	(0.27)	(0.42)	(0.36)
テスト	23.4	23.4	23.0	22.2
	(0.26)	(0.21)	(0.35)	(0.33)

 

連絡先：上田 修功, Email: ueda@cslab.kecl.ntt.co.jp

参考文献

1

Ueda, N. and Nakano, R.: Generalization error of ensemble estiamtors, Proc. of International Conference on Neural Networks (ICNN'96), pp. 90-95 (1996).

2

上田修功，中野良平: アンサンブル学習における汎化誤差解析，電子情報通信 学会論文誌, Vol. J80D-II, No. 9, pp. 2512-2521 (1997).

3

Ueda, N. and Nakano, R.: Combining discriminant-based classifiers using the minimum classification error discriminant, Proc. of Neural Networks for Signal Processing (NNSP'97), pp. 365-374 (1997).