AIも「老化」するって本当？学習を重ねると性能が落ちる意外な仕組み
最新のAIモデルをリリースした翌日、開発チームが青ざめるケースがある。新しいデータで追加学習させたはずなのに、以前は完璧にこなせていたタスクの精度が突然ガタ落ちしているのだ。これは「破滅的忘却（catastrophic forgetting）」と呼ばれる現象で、AIが新しいことを覚えるたびに古い知識を上書きしてしまう、人間の脳とは根本的に異なる問題だ。 Photo by Heng Chiu on Unsplash AIの「老化」とは何か？人間の老化との決定的な違い 「劣化」は一種類じゃない AIが「老化する」という表現は、実は複数の異なる現象をまとめたものだ。大きく分けると、モデル自体のパラメータが変化することによる劣化と、世界の変化にモデルが追いつけなくなる「データドリフト」の二種類がある。前者は学習プロセスの問題、後者は時間の経過による問題だ。 人間の老化は神経細胞の減少や接続の弱体化によって起きるが、AIの場合は逆説的なことが起きる。ニューラルネットワークの「重み（weights）」は学習のたびに更新されるが、その更新が既存の知識を破壊する方向に働くことがある。つまり、AIは「学びすぎる」ことで壊れていく。 もう一つ見落とされがちなのが、モデルが学習したデータと現実世界のギャップが広がっていく問題だ。2022年のデータで学習したモデルは、2025年の常識を知らない。これは老化というより「時代遅れ」に近いが、現場では同じくらい深刻な問題として扱われている。 AI Generated · Google Imagen 破滅的忘却はなぜ起きるのか？ニューラルネットワークの構造的弱点 勾配降下法という「上書き機械」 ニューラルネットワークの学習は、「勾配降下法」というアルゴリズムで行われる。簡単に言えば、誤りを最小化するようにネットワーク内の無数のパラメータを少しずつ調整し続けるプロセスだ。問題は、この調整が「今見ているデータに最適化する」ことしか考えていない点にある。 新しいタスクAを学習させると、パラメータはタスクAに最適な値に動く。次にタスクBを学習させると、今度はタスクBに最適な値に動く。このとき、タスクAに関連していたパラメータの値が容赦なく書き換えられる...