AIプロダクトを開発する際に考えるべき品質保証のキホン

こんにちは、株式会社調和技研のプロダクト開発担当、竹田です。

本記事ではAIを組み込んだプロダクトの品質保証に関して、AIプロダクト品質保証コンソーシアム（英文名：Consortium of Quality Assurance for Artificial-Intelligence-based Products and Services、略称：QA4AIコンソーシアム）が公開しているガイドラインに従い、AI開発の際に考えるべき観点をご紹介します。

AIプロダクトの品質保証が重要な理由

AIプロダクトの品質保証は、AIが適切に機能し、性能が確保されることを確かめる重要なプロセスです。AIプロダクトの品質保証において注意すべき点は、それが従来型のソフトウェアの品質保証をそのまま適用できないということです。AIは学習能力を持ち、その振る舞いは訓練データや学習アルゴリズムに強く依存するため、予期しない、あるいはバイアスがかかった結果を出さないように品質保証において特別な配慮が必要です。このような保証は、AI技術の可能性を最大限に活かしつつ、リスクを最小限に抑えるために欠かせません。

AIプロダクト品質保証ガイドラインとは

AIプロダクト品質保証ガイドライン[1]は、AIプロダクトの品質保証の共通指針としてQA4AIコンソーシアムにより発行されました。AIの品質は性能と信頼性に直結する重要性を持つ一方、新しい技術であることから、これまで品質保証が十分に体系化されていませんでした。このガイドラインはそうした状況を踏まえて作成されたものです。

以下、本ガイドラインで特に重要とされているAIプロダクトの品質保証プロセスの構築・評価の5つの軸、および品質保証の構築・評価方法について、要点を整理してご紹介します。 

AIプロダクトの品質保証の構築や評価において考慮すべき5つの軸

① Data Integrity（データの完全性）

AIモデルの作成には、適切な種類、質、量のデータが不可欠です。また、オンラインなどの動作環境や法的要件にも対応したデータの選択と使用が求められます。具体的には以下の点を重視します。

• 学習データの量の十分性
• 学習データの妥当性
• 学習データの要件適合性
• 学習データの適正性
• 学習データの複雑性
• 学習データの性質の考慮
• 学習データの値域の妥当性
• 学習データの法的適合性
• 検証用データの妥当性
• オンライン学習の影響の考慮
• データ処理プログラムとしての妥当性

② Model Robustness（モデルのロバスト性）

AIモデルの運用開始時の精度はもちろん重要ですが、運用中に生じる可能性のある問題への対応も不可欠です。AIモデルを適切に管理するためには、以下の点を特に考慮する必要があります。

• モデルの精度の充分性 
• モデルの汎化性能の充分性
• モデルの評価の充分性
• 学習過程の妥当性
• モデル構造の妥当性
• モデルの検証の妥当性
• モデルの頑健性
• 検証用データの多様性
• モデル更新に対する検証の充分性
• モデルの陳腐化への考慮
• プログラムとしてのモデルの適切性

③ System Quality（システムの品質）

通常のシステムの品質だけでなく、AI（機械学習）の組み込みによる影響も考慮した品質保証が必要です。具体的には以下の点を重視します。

• システムによる提供価値の適切性
• AIのシステムへの影響
• システム評価単位の妥当性 
• 事故による影響の抑制
• 事故発生の回避性
• AI の影響度の抑制
• ステークホルダーの納得性
• AI システムの法的適合性
• システムの品質低下への考慮

④ Process Agility（プロセスの機敏性）

AIシステムの開発、改良、問題対応においては迅速な対応が求められます。技術、データ管理、組織体制の面を踏まえ、以下の要点に注目します。

• データ収集の迅速性 
• 開発の迅速性
• 問題解析の迅速性
• 回復の迅速性
• 改善の迅速性
• リリースの迅速性
• 自動化の十分性 
• 構成管理の適切性 
• 開発チームの適正 
• 技術進化の迅速性
• ステークホルダーの納得性

⑤ Customer Expectation（顧客の期待値）

顧客の期待と実際の運用レベルの間にギャップがないことが求められます。これを確保するためには、以下の要点に注意する必要があります。

• ステークホルダーの期待度 
• ステークホルダーの技術理解度
• 運用に対する期待度
• 標準適合性の必要度 
• ステークホルダーとの関係性

品質保証の構築・評価方法、およびAIプロダクト開発の進め方

AIプロダクトの品質保証は、開発の初期段階から運用に至るまでの各段階をカバーします。この過程で、5つの評価軸を用いて品質チェックを実施し、その結果をグラフで示すことができます。理想的なグラフは、各評価軸において均等に高い評価が得られているものです。

AIプロダクト品質保証ガイドラインから引用

上図の左側のグラフは、開発が進行するにつれて全体的な評価が向上することを示しています。これは、品質保証の観点から望ましい状態であり、このような進行を目指すことが重要です。

一方で、開発の初期段階で一部の評価軸が特に高い場合、その高評価部分を「余力」として活用しつつ、他の評価軸の改善に努めるべきです。例えば、上図の右側のグラフの場合、"Model Robustness"の評価が特に高い場合でも、これを過剰品質とみなさず、他の評価軸の改善に努めながらこの高評価を維持することが推奨されます。

AIの開発なら調和技研へ

以上、AIプロダクトの品質保証に関するガイドラインを基に、その重要性と評価方法をご説明してきました。

これまで数々のAIを開発してきた調和技研では、品質保証はAIプロダクト開発の中核をなす要素であると認識しています。特に、画像AI異常検知プロダクトのような先進的な技術を取り入れた開発において、品質の高さはその成功の鍵となります。

AIの開発を検討されている企業様、AI開発に関して課題をお持ちの企業様はぜひお気軽にご相談ください。

＞＞ 調和技研の「オーダーメイドAI開発・導入支援サービス」を見る

＞＞ 調和技研の「AI人材教育セミナーサービス」を見る

＞＞ 調和技研に相談してみる

【参考文献】

[1] AIプロダクト品質保証ガイドライン 2023.06版