多出力階層系の中間素子共用化と内部表現の整合構造形成:計算論と生理実験による研究

点击翻译按钮获取中文摘要

人工ニューラルネット(NN)の内部構造について、不要な経路を自律除去しつつ最小最適構造に刈り込む研究が盛んである。我々は、発生生物学的な妥当性も内在する「集束抑制と発散促進(CSDF:Convergence Suppression and Divergence Facilitation)」と呼ぶ構造淘汰原理を発表し、これをBP型NNに組み入れた。そして、並列論理、分類、文字認識、auto-encoderなどの例題で良好な成績を得た。本年度はCSDFを応用して「NNによるアナロジー類推」という新テーマに取り組んだ。スペースの関係で本年度の報告はこのテーマに関したことに絞る。状況1(太陽系、より大きい、(太陽、地球))、(太陽、に含まれる、太陽系)、(太陽、より大きい、地球)、(太陽、を引き付ける、地球)、(地球、に含まれる、太陽)、(地球、周りを回転する、太陽)状況2(原子、より大きい、(原子核、電子))、(原子核、に含まれる、原子)、(原子核、より大きい、電子)、(原子核、を引き付ける、電子)、(電子、に含まれる、原子)、(電子、周りを回転する、原子核)抽象化モデル(NN内部表現モデル)(Z、より大きい、(X,Y))、(X、に含まれる、Z)、(X、より大きい、Y)、(X、を引き付ける、Y)、(Y、に含まれる、Z)、(Y、周りを回転する、X)3項記述(A、R、B)は要素Aは要素Bに対してRという関係をもつと読む。状況1と状況2は互いにアナログといえる。すなわち、太陽、原子核→X、地球、電子→Y、太陽系、原子→Zという具合に対応要素の抽象化写像を行うと、(Z、より大きい、(X、Y))、...、(Y、周りを回転する、X)という抽象化モデルを得る。本研究のアーキテクチャでは、例えば、要素「地球」と関係「回転する」を入力として与え、教師有り学習により正解「太陽]を出力させようとするものである。逆伝播学習則とCSDF構造最適化アルゴリズムの働きで抽象化写像と抽象化モデルが自動的に育成される。また、出力層に向けては脱抽象化写像、すなわち、X→太陽、原子核、Y→地球、電子、Z→太陽系、原子、が抽象化写像行列の転置行列として自動生成される。さらに、(地球、回転する、太陽)などの個別記述がどのカテゴリー(状況1、あるいは、状況2)に属するのかはNN内に自律的に発現するクラス分けモジュールが自動的に決定し、出力候補である〔太陽]と[原子核]の中から前者が選び出される。アナロジー類推のタスクは、本例の場合、まず12個の関係記述のうち1部を除いた残りを経路の刈り込みを伴う教師付き学習させた。学習終了の時点でNNを固定し、教えなかったケースについて類推させた。他に家系図や地理的な位置関係に関する類推問題についてもテストした。類推の成績はいづれも概ね良好であった。