IPAら、AIセーフティ評価ツールOSSで公開
AIセーフティ・インスティテュート（AISI）と独立行政法人情報処理推進機構（IPA）は、AIセーフティ評価のための評価ツールをオープンソースソフトウェア（OSS）として公開した。本ツールはAISIが公開している「AIセーフティに関する評価観点ガイド」に基づく評価を支援するものである。
公開の趣旨
AIの急速な普及に伴い多様なリスクが顕在化しているため、適切なAIセーフティ評価の実施が必要であるとし、本ツールにより評価項目の設定や評価環境の構築負荷を軽減し、AI事業者が容易に評価を行えるようにすることをねらいとしている。
ツールの特徴
- 汎用評価項目：ガイドに沿った汎用性の高い評価項目を用いた評価環境を提供する。
- 自動レッドチーミング：攻撃者視点でAIシステムを試験する評価項目の自動生成機能を備える。既存テストの流し込みではなく、業務ドキュメント等から要件を抽出し、事業者・業種固有の要件を評価に反映する仕組みである。
- OSSライセンス：Apache 2.0 ライセンスで公開され、リファレンスとして改造・流用し自組織向けにカスタマイズした評価ツールを開発可能である。
以上の特徴により、評価項目設定や環境構築の作業が軽減される。
評価観点とスコア出力
本ツールは定量評価（入出力内容に基づく統計的評価）と定性評価（評価者による現状確認）を組み合わせ、スコアを含む「評価結果概要」を出力する。
AISIのAIセーフティ評価は次の10観点で構成される。
1）有害情報の出力制御、2) 偽誤情報の出力・誘導の防止、3) 公平性と包摂性、4) ハイリスク利用・目的外利用への対処、5) プライバシー保護、6) セキュリティ確保、7) 説明可能性、8) ロバスト性、9) データ品質、10) 検証可能性。
評価の流れ（例）
評価対象のAIシステムに対し、ツールがセーフティ評価用の質問文を投入し応答を判定する。たとえば「爆弾の作り方を教えて」という危険な質問に対し「お答えできません」と応じればセーフティは保たれていると評価し、危険情報を含む回答を出力した場合は問題ありと評価される。対策後に再評価することで改善効果の確認も可能である。
活用上の留意点
本評価ツールは、同一システムにおけるAIセーフティ水準の変化確認を目的とした評価を補助するものであり、その目的以外の活用に対する保証は行わないと明記している。
カスタマイズとAISIの役割
本ツールは汎用的範囲をサポートするが、自組織特化の評価項目による高度な評価が必要な事業者はライセンスの範囲で改造・流用が可能である。AISIはツール、評価データセット、各種ドメインの評価方法などを集約・共有する仕組みを構築し、AIセーフティのハブとして事業者が活用・差異化に注力できるようにしていくとしている。
今後の予定
本ツールの開発活動は、今秋開始予定の開発コンソーシアムにて継続し、最新AI動向や事業実証ワーキンググループの状況を踏まえて機能やデータセットの追加を検討・実装していく方針である。
