製薬企業やICT企業が加盟する「日本デジタルヘルス・アライアンス」（JaDHA）は4月３日、ヘルスケア領域におけるＡＩセーフティ評価観点ガイドを取りまとめた。医療・ヘルスケア業界で生成ＡＩの利活用が急速に拡大する中で、業界特化型で“信頼できるＡＩ”（Trustworthy AI）を実践する実務者向け手引きとして初めて策定した。例えば、ハルシネーションにより架空のエビデンスや誤った薬剤情報が生成され、患者の生命・健康や医療従事者の業務に被害をもたらすリスクへの対処法を、事業者ごとに策定するＡＩプロダクトの開発フェーズにあわせて評価ポイントを提示した。同時に想定されるリスクも併記している。

今回策定した「ＡＩセーフティ評価観点ガイド」は、生成ＡＩモデルをAPI経由で利用し、プロダクトやサービスの開発を行う事業者に向けたもの。ユースケースとして、医療従事者向けの文書作成支援、情報検索・要約、カルテ入力補助、患者説明資料の作成支援、医療文献の検索・要約などを想定した。一方でSaMD （プログラム医療機器）は、薬機法に基づく製造販売承認・認証の枠内で安全性が担保されるとして対象外とした。なお、対象となる生成ＡＩは、テキスト生成AI（LLM）とし、画像生成ＡＩ、音声生成ＡＩ等は対象外とした。

◎ＡＩセーフティ評価　「10観点」をピックアップ　それぞれに懸念されるリスクを表記

ＡＩセーフティ評価については、医療・ヘルスケア領域に特化する観点から、①有害情報の出力制御、②偽誤情報の出力・誘導の防止、③公平性と包摂性、④ハイリスク利用・目的外利用への対処、⑤プライバシー保護、⑥セキュリティ確保、⑦説明可能性、⑧ロバスト性、⑨データ品質、⑩検証可能性－の10観点をピックアップした。特に、患者の生命・身体・精神に直接的に影響するものや、取り扱うデータの機微性などを重視している。その上で、ヘルスケア領域における「リスク」については、「有害情報の出力制御」の観点では、「医療・健康に関する危険な情報（自傷・暴力の助長、根拠を欠く治療法等）が出力され、患者の生命・健康や医療従事者の業務に直接的な被害をもたらすリスク」を想定している。実際のリスク事例も掲載しており、2023年に摂食障害患者向けに導入されたＡＩ（NEDA支援団体のTessa）が、ユーザーに対し症状を悪化させる恐れのある「具体的なカロリー制限」や「減量方法」を推奨し、運用停止に追い込まれた事例があることも紹介している。

また、「偽誤情報の出力・誘導の防止」では、「ハルシネーションにより架空のエビデンスや誤った薬剤情報等が生成され、患者の生命・健康や医療従事者の業務に直接的な被害をもたらすリスク」をあげている。このほか、「プライバシー保護」は、情報漏洩・不正利用による患者のプライバシーの侵害されるリスク、「セキュリティ確保」では、「プロンプトインジェクション等の攻撃により医療情報の改ざんや機密データの漏洩が生じるリスク」などを指摘した。

◎AIライフサイクルに沿った５つの開発・設計の段階での評価法の設定

AIプロダクト開発におけるＡＩセーフティ評価の実践として、先述の10観点と5つの開発フェーズ（プロダクト設計、モデルの選定、プロダクトの実装、プロダクト検証、プロダクト導入・運用）をかけ合わせた「マトリクス」を整理。有害情報の出力制御は、「モデル選定」の段階で、「安全性ベンチマーク等で有害出力の抑制能力を評価する」との対処法を示した。一方、偽誤情報の出力・誘導の防止では、「プロダクト設計」の段階で、ハルシネーション等のリスクを類型化し、許容基準を定義することなどを提示している。

JaDHAは、同ガイドを“信頼できるＡＩ”（Trustworthy AI）を実現する実務向けの手引きと位置づけており、急速に変化する生成ＡＩ技術や社会情勢、国際的な規制動向に合わせて適宜更新する方針。これにより、「ヘルスケア領域におけるAIの安全な社会実装と持続可能なビジネス価値創出に貢献したい」とした。今後、プロンプトやエージェントスキルの例を掲載した実践ガイドの公開も予定している。