Titans アーキテクチャの概要

Titansは、短期記憶と長期記憶の両方を組み合わせた新しいアーキテクチャです。
以下の3つのコンポーネントで構成されています。

1. Core（短期記憶）：従来のAttention機構を用いて、現在の文脈を処理
→パラメータは固定されるが、直近の入力に応じて動的に更新される

2. Contextual Memory（長期記憶）：過去の重要な情報を保存し、必要に応じて参照
→テスト時でも更新可能（＝記憶の上書き／追加ができる）
→コンテキストサイズを超える記憶保持が可能
→surprise metric（予期しない入力か否か）などに基づいて記憶内容を更新

3. President Memory（永続的記憶）：タスクに依存しない知識を保持し、モデルの一般化
　　　　　　　　　　　　　　　　　      能力を向上 
→コンテキストサイズを超える記憶保持が可能
→推論時は更新されない

この構造により、Titansは短期的な情報と長期的な情報の両方を実現します。

▍ 3つのコンポーネント、動き方のイメージ

1. 入力が入ってきたとき、Persistent Memory（永続記憶）に格納されたタスク固有の
   知識を参照し、文脈に応じた情報を取得。
2. 次に、Core（短期記憶）モジュールが現在の文脈を処理しながら、Contextual Memory（長期記憶）に保存された過去の知識との関連性を評価。
3. surprise metric（予期しない入力か否か）などに基づいて、Contextual Memoryへ
   新たな情報を追加（人間のように学習する）。
4. 推論結果を出力。

▍Titansアーキテクチャの動作イメージデモ

Titansアーキテクチャの各記憶の動作イメージを分かりやすくするために、デモを作成
しました。
デモの流れは下記のようになっており、シナリオモードでは自動で下記を一通り実行し、
インタラクティブモードでは手入力で下記手順をなぞります。

1. 短期記憶をユーザが入力

2. 短期記憶が容量以上になったときは重要度に基づき長期記憶に情報を移動する

3. 短期記憶・長期記憶・永続的記憶（モデルがもともと持っている記憶）の内容を
　もとに結果を推論

【デモイメージ】

【デモ手順】

　1. 前提
　　　＜環境＞　
　　　　Ubuntu22.0
　　　　　　
　　　　Gemini（gemini-2.0-flash）

　　　＜構成＞
　　　　demo.py

                 .env（” 2.APIキーの設定ファイルの作成”で生成）

　2. APIキーの設定ファイル作成

　3. 依存関係のインストール

　4. 実行

一般的なモデルのアーキテクチャとの違い

・Gemini
　超長文の入力を一度に処理できるよう設計された大規模Transformerベース。
　主に巨大なContext Windowによって長文理解を実現。

・Titans
　長期記憶（external memory）をテスト時に動的に更新できるアーキテクチャのため、
　Context Windowに依存しない学習型記憶アクセスで長期的な理解を実現。

このため、Geminiのような巨大Contextモデルは「一気にすべてを処理したい」場合に
強く、Titansは 「場面をまたいで意味や知識を記憶したい」「セッションを超えた知識再利用をしたい」ときに強い。

Titansの活用が期待される分野

今後、Titansは以下のような分野での活用が期待されています。

• 自然言語処理： 長文の要約や質問応答など、長い文脈を必要とするタスク。
   
• 時系列予測:：金融データやセンサーデータの解析など、過去の情報が重要なタスク。 
• ゲノム解析：DNA配列の解析など、長い配列データを扱うタスク。 

まとめ

Titansは、人間のように短期記憶と長期記憶の仕組みを模倣することで、AIの長期的な
依存関係の処理能力を向上させる新しいアーキテクチャです。

今までのGeminiのようなTransformerを活用したモデルは、「100万字の論文をその場で
読んで答える」力に優れ、Titansは「以前の会話や文書から学んで、次にまた使う」の
ような「持続的な知性」に近い使い方ができます。

セッションを越えた知識共有など、従来のモデルの限界を克服し、さまざまな分野での
応用が期待されています。