概要
有価証券報告書を対象にRAGを構築し、出典つきの与信メモの草案を生成するマルチエージェント。生成した主張は検証エージェントが出典と照合し、財務比率はコードで再計算し検証する(開発中)
課題
解決したい課題
- 有価証券報告書を読み込み、根拠を整理して与信メモにまとめる作業には時間がかかる
- 生成AIの文章は、根拠がたどれないと審査資料として使えない
技術課題
- 生成した主張が出典の記述と一致しているかを検証し、合わないものは差し戻す
- 財務数値の抽出と比率の計算で誤りを出さない
- PDFとXBRLから取り込んだ本文を、必要な箇所だけ検索して引用できるようにする
設計のポイント
| 論点 | 選択肢 | 採用 | 理由・トレードオフ |
|---|---|---|---|
| 財務比率の計算 | LLMに計算させる / コードで再計算する | コードで再計算する | 数値の誤りを防ぎ、同じ入力から同じ結果を再現できるようにするため |
| 本文の検索 | 全文検索のみ / 埋め込み検索のみ / BM25と埋め込みの融合 | BM25と埋め込みの融合 | 勘定科目などの語の一致と、言い換えを含む意味の近さの両方を拾うため |
| システムの役割 | 融資の可否まで判断する / 判断材料の整理と根拠の提示にとどめる | 判断材料の整理と根拠の提示にとどめる | 判断は人が行う前提とし、生成物は人のレビューを経て使う設計にするため |
技術スタック
- Python
- PostgreSQL
- pgvector
- Claude Agent SDK
- Ollama
- MCP
- Docker
- RAG