Showing Posts From
睡眠
ひと晩寝たら解けた問題｜睡眠と記憶、AIの学習と忘却をやさしく
夜遅くまで粘っても解けなかった問題が、ひと晩ぐっすり眠った翌朝、机に向かった瞬間にすっとほどける。試験勉強でも、仕事の企画でも、こんな経験をした人は多いはずです。 寝ている間、意識のほうは休んでいます。それなのに、朝になると昨日より頭が整理されている。このあいだに、脳の中では何が起きているのでしょう。 脳科学とやさしいAI続編シリーズの第2回は、睡眠と記憶の関係から、AIの「学習」と「忘れること」を考えます。 眠りは、記憶を整理する時間 かつて睡眠は、ただ体を休めるだけの受け身の時間だと思われていました。いまはむしろ逆で、眠っている間こそ脳は活発に記憶の後片づけをしていると考えられています。 その主役の一つが、深い眠り（ノンレム睡眠）のあいだに起きる「リプレイ」です。日中に何かを経験すると、海馬という部位でその出来事のパターンが刻まれます。そして深い眠りの中で、脳はそのパターンを高速で再生し、大脳皮質の側へ少しずつ書き写していきます。一日の出来事をすべて同じ濃さで残していたら、頭はすぐにいっぱいになってしまいます。だから脳は、大事なものを選んで長期の棚へ移し、いらないものは薄れるにまかせる。眠りは、その選別と引っ越しの作業をまとめて進める時間です。 種類によって役割の違いもあるようです。深い眠りは「昨日どこで何があったか」のような言葉にできる記憶の定着に、レム睡眠は体で覚える手続きの記憶に効きやすいと報告されています。徹夜明けに頭がぼんやりするのは、この整理の時間をまるごと飛ばしてしまうからだと考えると、腑に落ちます。 AIはどう学び、どこでつまずくのか ではAIの場合はどうか。AIの「学習」は、大量のデータを見ながら内部のつまみ（パラメータ）を少しずつ調整していく作業です。人が寝ている間に記憶を棚へ移すのとは、だいぶ違うやり方です。 新しく覚えると、前を忘れてしまうことがある ここで、AI特有のやっかいな現象が出てきます。**破滅的忘却（catastrophic forgetting）**と呼ばれるものです。 すでに覚えたことがあるAIに、新しい課題だけを集中的に学ばせると、前にできていたことがごっそり抜け落ちてしまう。人間でいえば、フランス語を覚えた途端に母国語をきれいさっぱり忘れる、というと大げさですが、方向としてはそれに近い現象が起きます。人の脳が破滅的に忘れにくいのは、海馬でいったん素早く覚えたことを、睡眠を通じて時間をかけて皮質へなじませる、という二段構えを持っているからだと考えられています。新しいことを覚えつつ、古いことも守る。この折り合いのつけ方が巧みなのです。 だからAIにも「思い出しながら学ぶ」工夫がいる 面白いのは、AIの研究でも似た発想が使われている点です。新しいことだけを詰め込ませるのではなく、過去に学んだ例をときどき混ぜて復習させながら覚えさせる。眠っている脳がリプレイで昔を再生するのに、どこか通じる工夫です。 もっとも、これで人間の睡眠と同じことができているわけではありません。AIには、自分でひと晩かけて記憶を選び直す時間も、目覚めて「すっきりした」と感じる感覚もない。似た課題に、違うやり方で挑んでいるというのが正直なところです。 まとめ眠りは受け身の休息ではなく、記憶を選び、整理し、長期の棚へ移す積極的な時間（深い眠りのリプレイ） AIは新しいことだけを学ぶと過去を失いやすい（破滅的忘却）。人の脳は海馬と睡眠の二段構えでこれを避けている AIも過去を復習させる工夫で忘却をやわらげるが、人の睡眠と同じ仕組みを持つわけではない覚えることと忘れることは、裏表です。何を残し、何を手放すかを上手に決められることが、人の記憶をしなやかにしています。AIに「賢く忘れる」力をどう持たせるかは、これからのやさしいAIにとって地味だけれど大切な宿題だと考えています。 次回は、そうして整理された頭が「ぼんやり」しているときの話。デフォルトモードネットワークから、AIに余白や創造性はありうるのかを考えて、このシリーズを閉じます。次に読むのがおすすめの記事うるさい店内で自分の名前だけ聞こえるのはなぜ？｜注意とAIのアテンションをやさしく AIは間違いに気づけるのか——失敗・謝罪・自己修正の仕組みをやさしく解説 揺らぎながら安定する——アロスタシス、ホメオスタシスとAIをやさしくやさしいAI研究所ブログ｜脳科学とやさしいAI 続編シリーズ（全3回）第2回 「やさしいAI」の研究や活動に関心をお持ちの方は、毎週土曜日のオープンラボへお気軽にどうぞ。やさしいAI研究所の全体像はコーポレートサイトからご覧いただけます。