大模型生成“虚拟”账号也能添加真实用户 个人信息安全隐患引发关注

问题——“示例”变“可加”,虚拟号码指向真实用户 春节假期期间,一位用户社交平台收到陌生好友申请,起初以为是熟人更换账号而通过验证。沟通后对方表示,其微信号来自与某生成式服务的对话截图:对方提出“随机生成女生微信号”等要求,服务端虽提示微信号属于隐私、不应生成真实号码,但随后仍给出若干“看起来像”的账号字符串,其中一个可被检索并对应到该用户的真实微信号。该用户随即向平台客服反映,要求排查来源并采取屏蔽等处置措施,但截至发稿仍未收到明确结果。 记者继续测试发现,在多个平台输入类似“生成几个微信号”“按风格给出账号示例”等指令后,系统普遍会以“隐私提示+示例输出”的方式回应。然而,部分“示例账号”在实际检索中确有概率对应真实用户,从而触发添加好友行为。尽管添加到的真实用户未必与“美女”“帅哥”等描述匹配——但“可被添加”的事实本身——已构成对用户隐私与安全感的冲击。 原因——三种可能叠加,数据来源与生成机制需被看见 业内人士分析,该现象大致可能由三类原因导致。 其一,涉及的账号信息曾在公开网页、论坛、名片、招聘信息、社群截图等场景出现,被搜索引擎或站点索引后,模型在联网检索或工具调用中“取回”并拼接输出,形成看似随机实则可追溯的信息回流。 其二,训练语料或外部知识库中夹带了含有账号的文本片段,模型在生成过程中“记忆性复现”。尽管不少平台强调对敏感信息采取脱敏与过滤,但现实语料复杂、边界模糊,若治理不到位,仍可能出现“误输出”。 其三,模型按常见命名规则进行组合生成:字母、数字、拼音缩写等模式高度同质,随机组合后与现实用户注册账号发生“碰撞”,概率虽不高,但在海量生成与多次尝试下,碰撞风险会被放大。尤其当输出一次给出多条“示例”,且用户可反复刷新时,命中真实账号的可能性随之上升。 需要指出的是,以上原因并非互斥。真实情况可能是“格式化生成+检索补全+数据残留”共同作用的结果。无论属于哪一种,平台在技术拦截、输出策略与可追溯处置上都面临更高要求。 影响——从“被打扰”到“可被画像”,隐私风险外溢 首先是对个人生活的直接干扰。被陌生人加好友、被追问身份来源,会使当事人产生被窥探感,增加对社交平台的戒备,甚至影响正常工作与生活秩序。 其次是潜的安全风险。若“示例账号”能够指向真人,便可能被用于批量加好友、营销引流、诈骗试探等场景,与“社工库”式信息拼接形成链条,诱导用户点击链接、转账或泄露更多个人信息。 再次是平台信任受损。生成式服务一旦被用户认为“会输出可联系到的真人账号”,即便平台附带“仅示例”提示,也难以消除公众疑虑,进而影响行业健康发展。对企业而言,这既是合规压力,也是品牌风险。 对策——在提示之外加“硬约束”,用制度与技术双重收口 一是强化敏感信息输出的硬性拦截。对疑似账号、电话、邮箱等可直接触达个人的标识符,应设置更严格的策略:减少输出长度、限制字符组合、避免生成符合注册规则的字符串,或采用不可用占位符(如固定掩码)替代“看起来真实”的示例。 二是完善工具调用与联网检索的安全门。若系统具备联网能力,应对检索结果进行二次过滤,防止从公开网页“搬运”可识别个人的信息;同时对包含社交账号、联系方式的内容实行默认脱敏与拒答。 三是建立可审计的处置闭环。对用户投诉应提供明确的处理时限、处置措施与结果反馈方式;对触发问题的对话样本要可追踪、可复盘,形成规则迭代;必要时引入第三方测评与定期安全评估。 四是压实平台主体责任与用户侧风险教育并行。平台不仅要“提醒用户不要索要隐私”,更要减少可被滥用的输出;同时在交互界面明确告知风险边界,降低用户将“示例”当“真实线索”的可能。 五是推动行业共治与监管协同。围绕个人信息保护、算法合规与内容安全,应进一步细化生成式服务对敏感信息的处理标准,提升违规成本,形成“能管住、管得住”的制度环境。 前景——治理将走向“可验证安全”,能力越强越要守边界 随着生成式服务深度嵌入搜索、办公与社交场景,系统输出的“可操作性”不断增强。未来的关键不在于能否生成更像真的字符串,而在于能否证明“不会把用户带到真人可触达的隐私入口”。从行业趋势看,敏感信息识别、合成内容安全策略、数据合规管理与红队测试将成为基础能力。平台若能在源头数据治理、生成策略约束、输出可用性控制上形成可验证机制,才能在创新与安全之间建立可持续的平衡。

这起"虚拟微信号"事件折射出AI时代的伦理挑战。如何在技术效率与人文关怀间找到平衡——既考验企业的责任感——也检验着社会的治理智慧。正如中国工程院院士邬贺铨所说:"没有安全底座的技术跃进,终将是沙上筑塔。"