リカレントネットを用いた力学系の学習

概要:

フィードバック結合をもつ ニューラルネットワークである、 リカレントネット(RNN)を用いて、 力学系を学習する仕組みを研究している。 RNNが引き起こしうる重要な力学系のクラスである、 アフィン神経力学系(A-NDS)に対して、 その一意的なパラメータ表現を構成した。

はじめに

RNNのユニットは、可視ユニットと隠れユニットに分類される。 隠れユニットを持たないRNNは、常に、 可視状態空間上に力学系を引き起こす[1]。 しかしながら、 隠れユニットを持つRNNは、 それらを持たないRNNよりも 広範囲の力学系を表現できる可能性を持っているのだが、 可視状態空間から隠れ状態空間への写像をうまく指定しない限り、 可視状態空間上に力学系を引き起こさない (図 1参照)。 したがって、 学習目標の力学系を近似するために、 RNNが引き起こす力学系について調べる必要がある。

アフィン神経力学系

我々は、 隠れユニットを持つRNNが可視状態空間上に引き起こしうる力学系として、 神経力学系(NDS)を提案し、 その具体例としてA-NDSを構成した [2]。 ユークリッド空間上の任意の力学系は、 有限の範囲においては、 あるA-NDSにより、 任意の精度で近似されることが証明できる [3]。 したがって、 学習目標の力学系を近似するために、 隠れユニットをもつRNNが可視状態空間上に引き起こす力学系として、 A-NDSを用いることを考える。

アフィン神経力学系の一意表現

n次元A-NDSは、 n個の可視ユニットと r個の隠れユニットを持つRNNと、 n次元空間からr次元空間へのアフィン写像との、 適当なペアによってパラメータ表現される。 しかしながら、このパラメータ表現には冗長性がある。 A-NDSを利用したRNNの力学系学習に関して、 効率的な学習アルゴリズムの構築を目指して、 我々は、 A-NDSの一意的なパラメータ表現を構成した [3]。

  

図 1: 力学系を引き起こさない例

連絡先：木村 昌弘, Email: kimura@cslab.kecl.ntt.co.jp

参考文献

1

Kimura, M. and Nakano, R.: Learning dynamical systems from trajectories by continuous time recurrent neural networks, Proc. of IEEE International Conference on Neural Networks (ICNN'95), pp. 2992-2997 (1995).

2

Kimura, M. and Nakano, R.: Learning dynamical systems produced by recurrent neural networks, Proc. of the 6th International Conference on Artificial Neural Networks (ICANN'96), pp. 133-138 (1996).

3

Kimura, M. and Nakano, R.: Unique representations of dynamical systems produced by recurrent neural networks, Proc. of the 7th International Conference on Artificial Neural Networks (ICANN'97), pp. 403-408 (1997).