推薦システム（レコメンドエンジン）の基礎：協調フィルタリングからLLM推薦への進化
Eコマース、動画・音楽ストリーミング、SNS、ニュース配信など、無数のデジタルサービスにおいて推薦システム（レコメンドエンジン）はユーザーのエンゲージメント向上と事業収益の拡大を牽引する中核技術です。
推薦アルゴリズムは、過去の行動ログに基づく統計的な「協調フィルタリング」から、ディープラーニングによる潜在表現学習、そして近年では大規模言語モデル（LLM）の言語理解・推論能力を組み込んだ「LLM推薦」へと進化を遂げています。
本記事では、推薦システムの基礎となる古典的アルゴリズムから、実務で必ず直面するコールドスタート問題への対策、そしてLLMを活用した最先端の推薦アーキテクチャまでを体系的に解説します。
1. 推薦アルゴリズムの基礎：協調フィルタリングと行列分解
ユーザーとアイテム（商品・コンテンツ）のインタラクションデータ（購買、閲覧、評価スコアなど）をベースとする手法を「協調フィルタリング（Collaborative Filtering: CF）」と呼びます。
【協調フィルタリングの概念】
ユーザーA: [商品1: 購入] [商品2: 購入] [商品3: 未閲覧]
ユーザーB: [商品1: 購入] [商品2: 購入] [商品3: 購入]
│
▼ 行動履歴が類似していると判定
【判定】 ユーザーAにも「商品3」を推薦する
メモリベース協調フィルタリング
ユーザーやアイテムの類似度（コサイン類似度やピアソン相関係数）を行動履歴から直接計算する手法です。
- ユーザーベース（User-based）: 「あなたと好みが似ている他のユーザーが購入したアイテム」を推薦
- アイテムベース（Item-based）: 「このアイテムを購入した人は、こちらのアイテムも一緒に購入しています」を推薦
アイテムベース手法は、ユーザー数に比べてアイテム数の増減が比較的緩やかなサービスにおいて、事前にアイテム間類似度をオフライン計算して高速にキャッシュできる利点があります。
モデルベース協調フィルタリング：行列分解（Matrix Factorization）
実務の大規模データでは、「全ユーザー×全アイテム」の評価行列を作成すると、マス目の99%以上が未観測（値が空）の巨大な疎行列（Sparse Matrix）となります。 行列分解（代表例：SVD、ALS）は、この巨大な行列を少数の「潜在因子ベクトル（Latent Factors）」に分解する手法です。
$$\text{Rating}(u, i) \approx \mathbf{p}_u^T \mathbf{q}_i$$
ここで、$\mathbf{p}_u$ はユーザー $u$ の嗜好ベクトル、$\mathbf{q}_i$ はアイテム $i$ の属性ベクトルを表します。例えば映画の推薦であれば、「アクション性」「コメディ度」「監督の作風」といった潜在的な特徴軸が自動的に抽出され、内積が高い組み合わせを推薦することが可能になります。
2. 実務上の難関「コールドスタート問題」への対処法
協調フィルタリングは実績ログに基づく強力な手法ですが、「新規ユーザー」や「新規追加されたアイテム」には行動履歴が存在しないため推薦が機能しないという致命的な弱点があります。これを「コールドスタート問題」と呼びます。
実務では、単一の手法に依存せず、複数のアプローチを組み合わせたハイブリッド運用が一般的です。
1. コンテンツベースフィルタリング（CBF）との併用
行動ログがない新規アイテムに対しては、アイテム自体のメタデータ（商品カテゴリ、ブランド、商品説明テキスト、スペック表、画像など）をベクトル化し、既存の類似アイテムと関連付けることで推薦候補に含めます。
2. 多腕バンディット（Multi-Armed Bandit）による「探索と活用」
新規アイテムをどの程度ユーザーに露出させるかという問題は、強化学習の「探索（Exploration）と活用（Exploitation）」のトレードオフとしてモデル化されます。
- 活用: 過去実績が高く確実にクリックされる人気アイテムを推薦する
- 探索: まだデータが少ない新規アイテムを一定の確率でユーザーに露出し、潜在的な需要データを収集する
Thompson SamplingやUCB（Upper Confidence Bound）などのバンディットアルゴリズムを導入することで、推薦枠全体のクリック率を大きく落とすことなく、新規アイテムのコールドスタートを高速に解消する仕組みが構築されています。
3. ディープラーニングからLLM推薦へのパラダイムシフト
近年、推薦技術は単なる「過去の集計」から「直近の文脈や意図の理解」へと大きくシフトしています。
| 世代 | 主な手法 | 推薦の根拠 | 主な課題 |
|---|---|---|---|
| 第1世代: 統計・協調フィルタリング | 行列分解 (ALS/SVD), Item-CF | 過去の蓄積ログ（共起頻度） | コールドスタート、文脈の無視 |
| 第2世代: 深層学習・逐次推薦 | Wide & Deep, SASRec, GRU4Rec | セッション内の行動順序、非線形な特徴量交差 | テキストの文脈理解が限定的 |
| 第3世代: LLM融合型推薦 | Text Embedding, 生成型リランキング, 対話推薦 | 言語の意味理解、自然言語の意図推論 | 推論レイテンシ、API運用コスト |
逐次推薦（Sequential Recommendation）
ユーザーの関心は時間とともに移り変わります。半年前の購買履歴よりも、「直前の5分間にどの商品をどの順番で閲覧したか」が次のクリックを予測する強力な手がかりとなります。Transformerの自己注意機構（Self-Attention）を応用したSASRecなどのモデルは、セッション内の行動シーケンスから直近の興味関心を高精度に推定します。
LLMを活用した推薦（LLM4Rec）の最新アプローチ
大規模言語モデルの登場により、従来のIDベースの推薦では困難だった「リッチなテキスト情報と文脈の解釈」が可能になりました。実務での活用形態は主に以下の3つに整理されます。
1. 高度なセマンティック特徴量抽出（Embedding）
商品タイトルやユーザーレビューのテキストをLLMの埋め込みモデルに入力し、意味論的な特徴ベクトルを生成します。これにより、表現の揺らぎや専門用語の同義性を考慮した高品質なコンテンツベース推薦が可能になります。
2. 生成型リランキング（Reranking）
推薦システムは通常、数万〜数百万のアイテムから候補を絞り込む「候補抽出（Candidate Generation）」と、上位数十件を並び替える「ランキング（Ranking）」の2段階構成を取ります。 このランキングフェーズにLLMを組み込み、ユーザーの直近の閲覧履歴と候補アイテムのテキスト情報をプロンプトとして与え、「現在のユーザー状況において最も関連性が高い順に並び替え、推薦理由を出力する」タスクを実行させます。
3. 自然言語対話型レコメンド
検索窓にキーワードを入力する代わりに、「来週のキャンプ用に、初心者でも組み立てやすくて雨に強い4人用テントを探してほしい」といった自由な自然言語リクエストに対し、LLMが対話形式で条件を深掘りしながら最適なアイテムを提案する体験が実現しつつあります。
4. 実務におけるアーキテクチャ選定の考え方
先端手法であるLLM推薦は表現力に優れる反面、ミリ秒単位の応答速度が求められる大規模サービスでは推論レイテンシとAPIコストがボトルネックになりやすい傾向があります。
そのため、実務環境では以下のような「多層アーキテクチャ（2段階・3段階構成）」が現実的なベストプラクティスとして採用されています。
[全アイテムプール (数万〜数百万件)]
│
▼ 【第1段階: 高速な候補絞り込み (Candidate Generation)】
・行列分解 / ベクトル類似度検索 (Faiss, Annoy等)
・推論速度: 数ミリ秒
│
▼ [候補アイテム: 100〜500件]
│
▼ 【第2段階: スコアリング・順位付け (Ranking)】
・GBDT (LightGBM) / 多層パーセプトロン (DLRM)
・推論速度: 数十ミリ秒
│
▼ [上位アイテム: 10〜20件]
│
▼ 【第3段階: 文脈適応・理由生成 (LLM Reranking / Reasoning)】
・LLMによる最終調整および個別レコメンド文の付与
・推論速度: 200〜500ミリ秒 (非同期キャッシュ併用)
│
▼
【ユーザー画面への提示】
全アイテムに対して最初から複雑なモデルを適用するのではなく、軽量なアルゴリズムで段階的に絞り込みを行うことで、高精度なパーソナライズとシステムの安定性を両立させることができます。
まとめ
推薦システムは、過去の行動ログを統計的に処理する協調フィルタリングから始まり、深層学習による逐次行動のモデル化を経て、LLMによる言語・文脈理解を取り込む形へと進化を続けています。
実務においては、最新のLLMのみを単体で動かすのではなく、古典的で堅牢な行列分解やベクトル検索、GBDTによるランキングと組み合わせる多層設計が不可欠です。
サービスのデータ規模、許容レイテンシ、そしてユーザーが求める体験価値（即時性か、文脈的な納得感か）を総合的に勘案し、最適なアルゴリズムの組み合わせを選択していくことが重要です。