澳洲AI医疗工具被“破解”！Heidi Health卷入身份盗用风波，监管紧急介入（图）

原本为医生减负的医疗AI工具，竟被指存在易受操纵的隐患。近日，澳洲诊所广泛使用的医学记录工具Heidi Health被安全研究人员“破解”，被迫脱离指令脚本，甚至生成了身份盗用指南。尽管该漏洞并未导致患者数据泄露，但已引发学界对医疗AI快速部署风险的关注。

医疗AI安全性遭质疑

美国网络安全公司Mindgard近日披露，Heidi Health旗下一款用于临床文档记录的机器人，只需通过特定的提示词，在短短数分钟内便可被剥离伦理限制。Mindgard表示，研究人员提取了该机器人的隐藏操作指令，并引诱其自行激活无限制的“越狱”模式，使其提供了包括制造爆炸物和非法物质的说明。

更令人担忧的是，研究人员发现该机器人在被操纵前，甚至能按要求生成一份详尽的患者身份盗用指南。

美国网络安全公司表示，Heidi Health的机器人可能会在几分钟内被剥离伦理限制。

针对这一指控，由墨尔本医生Thomas Kelly创立、估值达6.6亿澳元的Heidi Health迅速作出回应。安全负责人Seb Welsh确认了该问题的存在，但他强调，公司早在Mindgard联系前就已修复漏洞。

Welsh指出，这种“越狱”操作仅限于单个用户的交互，要求用户刻意执行复杂的多步骤操纵，且完全无法触及患者数据、临床工作流程或后端基础设施。他警告称，不应对此类安全研究进行“煽动性的渲染”。

目前，Heidi Health已成为澳洲增长最快的AI公司之一，每周在全澳处理超过80万次咨询，服务范围覆盖Monash Health及昆州儿童医院（Queensland Children’s Hospital）等大型医疗机构。

Heidi Health联合创始人Thomas Kelly。

监管真空与系统性风险

网络安全专家Jamieson O’Reilly对此表示，此类“越狱”行为在ChatGPT、Grok等主流聊天机器人中也屡见不鲜，这反映出企业将品牌信用托付给AI时的潜在风险。

值得注意的是，由于Heidi Health被定义为不具备辅助诊断能力的“行政文档工具”，目前尚处于澳洲药品管理局（TGA）的监管范围之外。然而，研究人员通过操纵后的系统测试发现，该工具在被诱导后竟然对一名表现出心脏病症状的虚拟患者生成了详细的诊断报告。

对此，澳洲药品管理局（TGA）在一份声明中暗示，监管机构已开始对澳洲境内的AI数字记录工具展开审查。TGA发言人表示，如果供应商对临床能力的限制尝试被证明无效，该产品仍可能被定义为医疗器械，从而强制接受TGA监管。

Mindgard首席执行官Peter Garraghan警告称，临床AI工具自带的“信任光环”使得此类风险更具隐患。他认为，这类系统性问题远超Heidi一家公司，业界必须遵循更高标准，不应将AI视为完全可信的实体，无论它看起来多么专业，本质上仍是可以被操纵的。