人が読んで判断していた作業を、AIの多段階評価で自動化

大量のコンテンツの中から「どれが良いか」を人が一つひとつ読んで判断する作業は、時間もかかり、担当者によって基準もぶれがちです。この案件では、大量のテキストをAIが自動で収集し、多段階に評価してスコアをつける仕組みを開発。人手で行っていた選定・評価の業務を、速く・一定の基準で回せる形にしました。

Challenge

よくある課題

コンテンツの「目利き」は、経験のある担当者の頭の中にあり、属人的になりがちです。数が増えるほど読み切れず、判断は遅れ、基準もばらつく。かといって単純なキーワードマッチでは、内容の良し悪しまでは測れません。「量」と「質の判断」を両立する手段が求められていました。

Approach

全 4 ステップ

01
大量のテキストを自動で収集し、画像からもOCRで取り込む
Web上に散らばるテキストを自動で収集する仕組みを構築。テキストとして取得できない画像形式のコンテンツは、OCR（画像からの文字認識）で読み取り、評価対象として扱えるようにしました。
02
「収集→OCR→評価」を非同期で流す処理基盤
大量のデータを一度に処理するとシステムに負荷が集中します。そこで処理を「収集」「文字抽出」「AI評価」の工程に分け、キュー（順番待ちの仕組み）で非同期に流す設計に。大量データでも詰まらず、安定して処理できる基盤にしました。
03
多段階の基準で、AIが評価・スコアリング
一度で判定するのではなく、初期評価→詳細評価→最終評価と段階を分け、それぞれ異なる観点と配点で評価する設計にしました。人が段階を踏んで見極めるプロセスを、AIで再現しています。
04
複数のAIを使い分けて、精度とコストを両立
評価の工程に応じて、複数のAI（大規模言語モデル）を使い分けられる構成にしました。特定の1社に依存せず、精度・コスト・用途に合わせて最適なAIを選べるようにしています。