企業の独自価値を発掘し、
テクノロジーによって解き放つ
行間の視点
コラム

AI導入・PoC支援 読了まで 約6分

「精度が出ませんでした」と報告した日。AIの検証で、届かなかった数字が教えてくれたこと

数件の試行ではうまくいったAIが、実際の資料では崩れました。その結果をそのまま報告したところから、検証は本当の意味で始まりました。

最初の数件は、想定を上回る結果でした。

クライアント様には、各所から資料が届きます。セルが結合された表計算のファイル、文字を抽出できないPDF、画像のみの資料と、形式は統一されていません。担当の方は、そこから数値を読み取り、業務に固有のルールに従って、所定の欄に入力されています。この入力業務を、AIによってどこまで代替できるのか。それが、ご相談の内容でした。

数件の試行では、AIは表の構造を正しく解釈し、数値を正確に抽出しました。この時点で、弊社は実用化への手応えを感じていました。

同時に、その手応えこそが、検証における最大のリスクであることも認識していました。

「できそうか」ではなく、「何%合うか」

少数の試行から得た印象をもとに導入を判断すれば、本番の資料で精度が得られず、後の工程で手戻りが生じます。印象は、判断の根拠になりません。

そこで弊社は、検証に先立ち、精度を定量的に測定する仕組みを構築しました。業務を、資料の取り込み、内容の読み取り、入力欄への配置、評価の4つの工程に分解します。そのうえで、AIの出力を、担当の方が実際に入力された正解のデータと機械的に照合し、一致率を算出します。

図: 4つの工程と、正解のデータとの照合
業務を4つの工程に分け、工程ごとに結果を確かめる

仕組みが整った段階で、分量の少ないものから多いものまで、実際の資料をまとめて処理しました。

数字が、崩れた

結果は、当初の手応えを覆すものでした。

分量の少ない資料では、試行のときと同様に、高い一致率が得られました。しかし、分量の多い資料では一致率が大きく低下し、業務に適用できる水準には達しませんでした。

原因の所在は、工程ごとの分析で明確になりました。文字の読み取りに、問題はありません。原因は、読み取った数値を「どの欄に入力するか」という、配置の工程でした。資料が長くなるほど、AIは表の文脈を保持できなくなり、数値を隣接する欄に配置していたのです。

費用も、想定を上回りました。分量の多い資料ほど処理の負荷が高く、再実行の回数も増えます。1件あたりの費用は、当初の目安を超過しました。

弊社は、検証をいったん中断しました。

中間報告に、何を書くか

中間報告で弊社がお伝えすべきだと考えたのは、成功か失敗かという評価ではありません。何が実現でき、何が実現できていないのかという、現状の切り分けです。

結果は、次の3つに区分して整理しました。

  • 実現できていること: 分量の少ない資料では、高い一致率が得られている
  • 実現できていないこと: 分量の多い資料では、業務に適用できる水準に達していない。原因は文字の読み取りではなく、入力欄への配置にある
  • 未検証のこと: 方式の変更によって、分量の多い資料でも水準に達するのか。費用を、目安の範囲に収められるのか

費用が目安を超過したため検証を中断していることも、あわせてご報告しました。

クライアント様が必要とされているのは、AIの可能性についての一般論ではなく、自社のこの業務に適用できるのかという、判断の材料です。適用できるのであれば、どの範囲までか。適用できないのであれば、何が不足しているのか。この境界が明確になっていれば、次に検証すべき事項を、クライアント様とともに決定できます。

報告の場で、クライアント様のご担当の方は、資料をしばらくご覧になったあと、こうおっしゃいました。

「むしろ、どこまでなら任せられるのかが分かって、助かります」

特定した課題が、次の打ち手を決める

精度を定量的に測定していたため、次の打ち手を具体的に検討できました。

課題の所在は、配置の工程です。改善すべき対象も、同じ工程になります。弊社は、AIに一度の処理で結果を出力させる方式を改め、実行、結果の確認、誤りの修正という手順を反復させる方式に切り替えました。

あわせて、適用の形態そのものも再検討しました。すべてをAIに委ねるのではなく、前回との差分のみを修正させる方法や、担当の方が入力される際の下書きとして活用する方法です。完全な自動化には届かない一致率であっても、入力の補助としては、十分な効果が見込めます。

費用についても、測定によって明らかになったことがあります。低価格のモデルに切り替えれば費用は下がる、と考えるのが一般的です。しかし実際には、誤りの増加にともなって再実行の回数が増え、総額はほとんど下がりませんでした。効果があったのは、処理の方式の見直しです。即時性を要しない処理の一括実行に加え、複数の解析を、キャッシュを利用して並行で実行する方式を実装し、費用の削減を実現しました。

精度を左右していたのは、AIの性能ではなかった

検証の後半で明らかになった要因が、もう一つあります。

一致率の高い資料と低い資料の差は、分量だけでは説明できませんでした。資料には、それぞれに固有の読み方があります。ある注記が、どの列に対応するのか。単位が途中で切り替わる箇所は、どこか。担当の方は、こうした規則を、長年の経験から把握されています。

この規則を明文化した「読み方の手引き」をAIに与えた資料では、高い一致率が得られました。手引きのない資料では、精度は改善しにくいままでした。

図: 読み方の手引きの有無と一致率の関係
読み方の手引きの有無による一致率の違い(概念図。数値は掲載していません)

すなわち、精度を左右していた要因は、AIの性能よりも、担当の方が経験として保有されている知識が、明文化されているかどうかにありました。

この結果も、数値とあわせて、そのままご報告しました。手引きを整備できる資料から適用を開始し、整備が困難な資料は、当面、人の手による入力を継続する。クライアント様は、根拠にもとづいて、適用範囲を決定することができます。

届かなかった数字は、課題そのものである

検証の結果が基準に届かなかった場合、その数字は失敗の記録ではなく、課題そのものです。どの条件で精度が低下するのかを特定できれば、そこに、業務プロセスの見直しや、システム導入の打ち手の手がかりがあります。今回の検証でも、最終的に明らかになったのは、資料の読み方が担当の方の経験に依存し、明文化されていないという、業務の側の課題でした。

AIの活用を検討される企業の増加にともない、弊社にも、導入のご支援やPoC(概念実証)のご相談が増えています。その多くは、開発に着手する前の段階で、「自社のこの業務にAIを適用できるのか」「投資に見合う効果が得られるのか」を見極めたい、というご相談です。

弊社は、要件定義の前段階にあたる、企画と実証からお引き受けしています。対象業務の選定、評価基準の設計、実際のデータによる検証、精度と費用の定量的なご報告までを担当し、導入、適用範囲の限定、見送りのいずれの判断にもお使いいただける材料をご提供します。

CONTACT
お問い合わせ

業務改善やシステム開発・運用に関することは、お気軽にお問い合わせフォームからご相談ください。

検討段階からでもご相談ください
  • 改善案や課題感、他事例を元に企画から手伝って欲しい
  • 進行中のプロジェクトの立て直しを依頼したい
  • 既存システムの改修や引き継ぎを相談したい