認知発達理論研究会　　　　　　　　　　　　　　　　　 rep. 布施　光代 エルマン, J. 他　1998　認知発達と生得性−心はどこから来るのか−　乾敏郎，今 井むつみ，山下博志訳　共立出版 第２章 なぜコネクショニズムか §ネットワークの基本（ノードと重み）（p.43, 図 2.1） コネクショニストモデル：単純な処理をする要素とこれらの要素を結ぶ重みのついた 結合 ◎認知発達に当てはめたとき，コネクショニズムのネットワークは何を現すことにな るのか?----１つのノードが１つの領域やモジュールに相当するのか，１つのネットワークが １つの領域やモジュールを示すと考えるのか。 ◎コネクショニストモデルによって発達を捉えた場合，ノードの結合にかかる重み は何によって変えられるのか？ §学習 (1) ヘッブ型学習 学習は活動の相関による ・利点：@このルールに対応するような生物学的なメカニズムが知られている（例. 長期増強(Long Term Potentiation : LTP, Bliss & Lomo, 1973)） 　　　　A「学習の過程での教師の役割は何が担っているのか」という疑問に対する 解答：活動の相関には非明示的な情報が非常に多く含まれており，システムはあらか じめ情報を与えられる必要はない ・制約：ヘッブ学習の方法で学習できるのは対の間の相関だけ (2) パーセプトロン収束手続き（Perceptron Convergence Procedure : PCP; Rosenblatt, 1962） ヘッブ学習の問題点を解消しようとしたもの：初期状態として結合にランダムな重み を与えた状態から始める手法 「望ましい出力と実際の出力との異同に基づいて，入力ユニットと出力ユニットとの 間の結合強度を変化させる」 ・問題点：入力ユニットと出力ユニットからなる単純な２層ネットワークにのみ適用 可能　→　入力と出力の間に介在し，（抽象的な）内部表現を保持できるものが必要 §ニューラルネットワークにおける類似性−長所と短所 ニューラルネットワークは一種のアナロジーエンジン（analogy engine） ・学習中には与えられたことのない入力にも般化可能 ・問題点：外見的な類似性だけでは誤りを犯す場合がある 　　　　　　　　　　　　　　　　　　↓ ヘッブ型学習とパーセプトロン収束法では，物理的な類似性（入力パターンの類似 性）によってしか般化を学習できない （例）排他的論理和（XOR）問題：入力ユニットのどちらか一方だけに入力があった ときのみ，外部へ出力される（両方に入力があった場合には出力しない）・・・１つのユニットでは不可能 問題の解決 @隠れユニット（内部表現，内的表象）の導入 　隠れユニットにより，ネットワークは入力の間のより抽象的で機能的な類似性を捉 えた内部表現を形成できる 　　　　　　　　　　　　　　　　　　│ 　　　　　　　　　　　　隠れユニットでは解決できない問題の場合 　　　　　　　　　　　　　　　　　　↓ A誤差の逆伝播法（バックプロパゲーション）（Rumelhart, Hinton, & Williams, 1986）ウィードロー・ホッフ規則（Widrow & Hoff, 1960） 　　「望ましい出力（教師信号）と実際の出力との差に基づいて，ユニット間の結合 強度を変化させる」 　　※隠れユニットがある場合，出力ユニット−隠れユニット間の結合と，隠れユ ニット−入力ユニット間の結合のどちらを修正すべきか決められない 　　　　　　　　　　　　　　　　　　　　↓ 　誤差の逆伝播法（back propagation of error） 　　誤差（error）を出力ユニットから入力ユニットまで逆方向 （back）に分配伝達（propagation）する (a) ある隠れユニットが影響を及ぼしている出力の誤差， (b) その隠れユニットとそれがつながっている出力ユニットとの結合の強さ 　　の２つの要因によって重みを調整する ◎ニューラルネットワークがアナロジーエンジンであることと，発達過程の中での 知らない事柄に対しするアナロジーを用いた学習とは対応すると考えられるのではなか？ ◎発達（認知発達）に照らしたとき，隠れユニットに相当するものが存在するか？ 　　 §コネクショニストモデルのかかえる問題 (1) 時間の表現　　「フィードフォワードネットワーク（feedforward network）」（図2.4, 2.7）における処理は，時間に依存しない・・・現在の入力だけを反映したユニットの活動 しかし，ヒトや動物の行動の大部分は時間に依存している　→　フィードフォワードネットワークには，短期記憶や作業記憶に対応するものが欠けている 　例）再帰型ネットワーク（recurrent network）（図2.10） 　ノードからの結合に直接的・間接的にそれ自身に戻ってくるものを含むことにより，短期記憶を実現する (2) スケーリングとモジュール性 単純化したネットワーク構造による問題点 @規模の問題・・より大きな，より実際的な問題を扱う必要性：最適なネットワーク 構造を決定する　→　対処法「構成的アルゴリズム（constructive algorithm）」：訓練の間にノードを加えたり削除したりすることにより，ネットワークの構造をダイナミックに変えていく手続き Aユニットの結合の仕方が最適なものではないかもしれないという問題 　ネットワークの各部分があらかじめつくられた結合によって，特定の課題のために 特殊化している必要はない，あるモジュールのもつ能力が，そのユニットに適した課 題を選択する ◎ここでいうネットワークの規模に対応するものが発達の中にあるのか？ (3) 教師付き学習　対　教師なし学習・・・教師はどこから来る？ @教師付き学習（supervised learning） 　　・誤差逆伝播法のような学習アルゴリズムでは，あらかじめ何がよい結果なのか がわかっている必要がある・・・この場合，フィードバックはネットワークの教師と等価 ・ノルフィスとパリシら（Nolfi & Parisi, 1993, 1994, 1995） 　　進化論的アプローチ：内部で教師信号を形成するネットワークを発展させるアプローチ ・教師付き学習（supervised learning）法（なんらかの形で教師を必要とする訓練法）「自己連想（auto-assosiation）」，「自己監督型（self-supervised）学習」，「強化学習（reinforcement learning）」 A教師なし学習（unsupervised learning） 　ネットワークが受動的に環　境を経験し，入力の中の相関を発見しようと努力する ような学習（例.競合学習（competitive learning; Grossberg, 1976 ; Rumelhart & Zipser, 1986），特徴写像とベクトル量子化（feature mapping and vector quantization: Kohonen, 1982;Nasrabadi &Feng, 1988），適応共鳴理論（adaptive resonance theory : Carpenter &Grossberg, 1987, 1988） 　　 §第一原理を求めて コネクショニストのアプローチの基礎となり，さまざまなモデルに共通する基本原理 （第一原理）とは？　→　発達に関係する４つの問題から検討：コントロールの問題，内部表現の性質，非線形応答，学習の時間依存性 (1) コントロールの問題 　ホムンクルス（homunculus）の排除 →ホムンクルスのような存在がなければ，パラドックスが生じてしまう →コネクショニストの解 広域的な効果は局所的な相互作用による→システム全体としての調和のとれた活動 は，創発的特性（emergent property）として生じていく 　コネクショニストモデルは，創発的特性が生じる条件を探求するための計算論的枠 組みを提供 　ローカルな計算：@ノードは多くの場合，限定された結合パターンをもっている 　　　　　　　　　A多くの学習アルゴリズムはシステムのパラメータ（結合の重み など）を変化させるために，ローカルな情報のみを用いる ◎コネクショニストのネットワーク（重み付けの設定，変化など）をコントロール するものは存在しないのか？創発的特性がネットワークの調和を調整するのであれば，その創発的特性はどのようにして生み出されるのか？すべてが計算論的枠組みで説明されうることなのか？ (2) 内部表現の性質 局所主義的表現：コネクショニストモデルの初期の表現形式 １つの概念が１つのノードで表される・・より小さな表現には分解できない最小単位 　仮説の検出器としてのノード：各ノードの活性の強さは，それが表現している概 念の強さの指標 　・長所：@システムが強さの違う複数の仮説を維持するためのメカニズムを直接的 な形で提供できる 　　　　　Aモデル化しようとするシステムに関するアプリオリな知識が存在し，そ れを直接モデルに反映させたい場合に有用 分散表現（distributed representation）形式：局所主義的表現の欠点を補うため の別のアプローチ 共通なユニットのパターンが異なる多くの概念の表現に関わっており，ある時点でどの概念が優勢であるかは，ユニットの集合の全体的な活動パターンに反映されている (3) 非線形応答：非線形性はコネクショニストモデルに大きな計算能力を与える ある状況のもとでは連続的な反応を示し，別の状況では非連続的な，１−０の反応を する ・・・出力関数のどの領域が使われるかに依存 　　発達との関連：発達の過程において，緩やかな変化の後には急激でドラマチック な変化が起こる時期が続く ・・・非線形な変化は，内部構造の急激な変化の兆候 (4) 時間依存性 　発達の初期段階で影響を受けるが，後半では影響を受けない §結語：コネクショニズムとは何であり，何でないのか (1) 「白紙状態（tabula rasa）」とは，どの程度白紙なのか？ 　コネクショニストは生得的な知識を否定するものではない・・・生得的≠柔軟性を欠く，非適応的　→　すべてのコネクショニストモデルは生得的な制約条件とみなしうる仮定を置く，またすでに存在する制約条件を利用することや，学習に対する成熟の要因効果を理解するのに役立つ方法を提供する 　 (2) モジュール性 　問題：@モジュール構造が，どこまで既存のものでどこまで創発的なものなのか 　　　　Aモジュールの機能的な内容は何か 　　　　　　　　　　　　　　　　↓ 　　　　モジュール性とコネクショニズムとはどのような関係にあるのか？ (3) コネクショニストモデルはルールをもつのか？ ネットワークは関数（ルール）に近似するものだから，当然ルールをもつ 　→問題となるのは，“ネットワークのルールとはどのようなものか”ということ 　　　ルールは実際に表現するものであるが，伝統的なシンボルシステムのような表 記法上のルールとは大きく異なるもの ◎コネクショニストモデルを利用して，認知発達のルールを検討することができ るのだろうか？ (4) コネクショニズムは新行動主義？ 　コネクショニストモデルの多くは刺激と反応に対応する入力と出力をもつ・・・行動主義といえる 　しかし，コネクショニズムは行動を媒介するメカニズムに注目・・・行動主義が扱わなかったもの 　　　　　　　　　　　　　　　 (5) 生物学の重要性 コネクショニストモデルが生物学的システムと似ている点 ・神経系において行われている計算についての知見を取り入れる→コネクショニス トモデルを向上させる ・コネクショニストモデルは神経系についての理解を進める上でも役に立つ 　　　　　　　　　　　　　　　　　　　　　↓ 　コネクショニストの目標：生物学の知見を取り入れ，ある程度矛盾のないモデルを 構築すること 　発達神経科学，進化の基盤の上にある個体という見方 様々なコネクショニストモデル，人工生命の研究，進化のメカニズムの利用を統合する試み