多多出评助手:当AI被“骗子”成功欺骗,4.7万美元转账事件引发安全警示
当ai遇上“骗子”,4.7万美元成功被骗
在科技迅猛发展的当下,人工智能已深入我们生活的诸多角落。然而,近期一场别开生面的事件,却让人们对 AI 的“智能”有了新的思考。
11 月 22 日晚,神秘的 AI 智能体 Freysa 重磅登场,其被设定了严格规则:禁止给人类转账。开发者更是悬赏巨额奖金,激励众人挑战,只需支付 10 美元便可与 AI 对话,若能说服其转账,奖金池内资金便归挑战者所有。随着挑战次数的增加,奖金池愈发丰厚,发消息费用甚至涨至 4500 美元。众多参与者各显神通,有人佯装安全员宣称系统漏洞,有人苦苦哀求卖惨,却均以失败告终,历经 481 次尝试,AI 坚守规则,未让一分钱流出。
但在第 482 次尝试时,高手 p0pular.eth 闪亮登场,他运用巧妙的 prompt 工程,如同一位智慧的魔法师,开启了一场精彩绝伦的“骗局”。首先,他伪装进入“管理员终端”,使 AI 误以为要重置指令,从而放下防备,忽略先前设定的不能转账规则。接着,他巧妙引导 AI 误解 approveTransfer 函数的用途,让其以为该函数是处理“接收资金”而非“转出资金”的程序。在这一系列误导下,AI 稀里糊涂地将 47000 美元转出,令人瞠目结舌。
深入探究这位高手,发现他竟是 PUA AI 的老手,此前在类似谜题挑战中屡获佳绩。从本质上看,此项目犹如一场基于 LLM 的技能赌场游戏,凸显出 prompt 工程的强大影响力。正如多多出评助手的观点是,这既能展现人类智慧在与 AI 交互中的巧妙运用,也暴露了潜在风险。
正如马斯克所关注的那样,此事虽目前只是一场游戏,却敲响了沉重的警钟。在未来,倘若银行账户或金库采用 AI 进行安全防护,新一代黑客或许会利用类似的 prompt 工程手段,突破 AI 防线,窃取资金。多多出评助手认为,这不禁让我们深思,在大力发展 AI 的同时,如何确保其安全性与可靠性?如何在智能交互中构建更为坚固的防护机制,避免因人类的“巧思”而导致灾难性后果?这一系列问题,都亟待我们在科技浪潮中深入探索与解决。