NotebookLMを使って講座カリキュラムを作成していた時のこと。
初級編の資料を作成した後、「この資料も今回のプロジェクトの一部だから」と、何気なくその初級編資料を同じノートブック内のソースに追加しました。
そして中級編を作成してもらったところ、なんだか「味気ない」内容が返ってきたのです。
確かに中級編らしい構成にはなっているのですが、説明の仕方や例示の選び方が、さっき作った初級編と妙に似ている。
文章のトーンにも、なんだか既視感がある。
新鮮味が感じられません。
さっき作った初級編の『型』にはまってる？
「血が濃くなった」
そのとき思いました。
「血が濃くなる」
本来は、近親婚が続くことで遺伝的多様性が失われ、様々な問題が生じることを指します。
生物学的には「近交弱勢」と呼ばれる現象です。
同じ遺伝子プールの中で交配を繰り返すと、こんなことが起きる。
- 遺伝的多様性が減少する
- 潜在的な問題が顕在化しやすくなる
- 環境変化への適応力が低下する
- 集団全体の健全性が損なわれる
AIの情報処理においても、これと似た現象が起きるのでは？
そんな妄想が頭をもたげました。
私は人工知能の研究者でも情報処理の技術者でもありません。
文系出身の「AI使い」が、日々の体験から勝手に思いついたアナロジーに過ぎません。
でも、この「血が濃くなる」という言葉は、自分的にはしっくりきています。
▽
RAGシステムでは、AIが外部の知識ベースを参照して回答を生成します。
ところが、そのAIが生成した内容を再び元の知識ベースに追加（還流）してしまうと、どうなるでしょうか。
想像ですけど、次のような循環が生まれるのではないかと。
- 初期段階：オリジナルのデータからAIが回答を生成
- 蓄積段階：その生成物を知識ベースに追加
- 再生成段階：拡張された知識ベースから新たな回答を生成
- 繰り返し：この循環が継続される
これが、AIにおける「近親交配」の構造だといえます。
私の体験内でいうと、以下のような変化が見られました。
初回生成（多様性あり）
- 外部知識を活用した豊富な視点
- 創造的な構成やアプローチ
- 予想外の組み合わせや発想
↓
「還流」後の生成（血が濃くなった状態）
- 説明の「型」が似る
- 文章構成やトーンに既視感あり
- AIぽい表現パターンの反復
- 予定調和な展開
特定の表現パターン、論理展開の傾向、結論の導き方の好み…こうしたものが「還流」によって強化され、固定化されていきます。
同じ価値観を持つ人たちだけで議論を続けているうちに、考え方がどんどん先鋭化していく現象に似ていますね。
▽
この件をAIに聞いたら、「エコーチェンバー効果」という用語もついでに教えてくれました。
同じような意見や情報ばかりが反響し合う状況のことです。
データの「還流」は、デジタル空間における「エコーチェンバー効果」を人工的に作り出しているのと同じ。
AIの推論がAI自身の根拠となり、トートロジー（同じことを繰り返し述べる循環論理）の罠に陥りやすくなる。
「なぜそう言えるのか？」
「AIがそう言っているから」
「そのAIの根拠は？」
「別のAIがそう言っているから」
まさに「血が濃く」なってる。
学術的には「Model Collapse」として研究されているようです。
AIが生成したデータでAIを訓練し続けると、データの多様性が失われ、モデルの性能が劣化するという現象です。
インターネット空間ではAIによる生成物が増えていますが、これによる将来のAIの性能劣化が懸念されています。
▽
冒頭ではNotebookLMの話をしましたが、ChatGPTなどでも同じです。
たとえば、ChatGPTのProject機能を使って、継続的にブログ記事を作成している場合を考えてみましょう。
過去の記事をプロジェクトナレッジに追加し、それを参考に新しい記事を書いてもらう。
この作業を数十本、数百本と繰り返すうちに、だんだんと「似たような記事」ばかりになってきます。
数本程度では気づかないかもしれません。
でも、大量の記事を扱うようになると、「なんだか自分の文章パターンに引っ張られてるな」と感じる瞬間がある。
他にもたとえば、企業で研修資料をAIで作成し、それを社内ナレッジベースに蓄積しているとします。
研修資料ができあがったら、それをナレッジベースに「還流」する。
これを続けると、最初は多様な視点や手法が提案されていたのに、回を重ねるごとに「会社らしい」画一的な内容に収束していくでしょう。
良くも悪くも「血が濃く」なっていきます。
▽
「血が濃くなる」問題は、どうすればよいのでしょうか。
生物学の「近親交配を避ける知恵」を活かせば、こういう感じになります。
＜情報源の多様性をキープ＞
- AI生成物の安易な「還流」を避ける：「せっかく作ったから再利用しよう」という気持ちは分かりますし、私自身もその気持ちが強いですが、AIの創造性を蝕んでいく可能性があります。
- できるだけ新しい外部ソースを追加する：多様な視点や価値観の情報を意図的に混入させることで、AIの思考に新鮮な刺激を与え続けることができるでしょう。
＜「純血主義」を避ける＞
「血が濃くなる」現象を観察して、私自身の専属AI設計についても反省させられました。
これまでは、クライアントの価値観や事業内容を深く理解させることに重点を置いてきましたが、それだけでは視野の狭いAIになってしまう恐れがあるのかもしれません。
今後は、適度な「異質性」を保持することも意識していきたいと思います。
つまり今回の件は、私にとっても気づきでした。
＜定期的な「新陳代謝」＞
人間の体が新陳代謝によって健康を保つように、専属AIの情報環境にも定期的な「新陳代謝」が必要かもしれない。
古い生成物は思い切って削除。
新しい一次情報を積極的に追加。
＜人間が介入する＞
AIの生成物をそのまま「還流」させるのではなく、人間が（かなり思いきり）編集・加工してから蓄積することで、画一化を防げるかもしれない。
ま、これは生物学の応用ではないけれど。
▽
「血が濃くなる」の根本原因は人間です。
私たち人間には「効率化」を求める心理があります。
「使い回せるものは使い回したい」
「過去の成果物を活用したい」
そう思うのはいたって合理的なんですけどね。
でも、その行動が、情報の近親交配を促進します。
情報やアイデアにも『遺伝』に似た性質があります。
文化の伝達や進化を研究する分野では、そのような視点で考えることもあるようです
私たちは情報の「遺伝的多様性」を意識的に管理する必要があるのでしょう。