发表于 2024年10月4日1年前 最近发现几个主流的大语言模型 （包括商业的 openai ，claude ，以及开源的 llama3 ），通过 api 提取个人信息的时候全部返回虚假的信息。比如邮件里面客人的名字叫 Mark Brown ，结果返回的信息是 John Doe ，返回的名字几乎都是这个名字。请问下是否这些大语言模型都设置了某种限制，当大量提取 PII （个人信息）的时候自动用虚假信息填充返回？有什么办法可以使它正常运行？ 我们的应用场景是想利用大语言模型从几万封客服邮件里面提取出客户信息，包括邮箱、电话、订单号码、刻绘反馈的问题等。我们提取这些信息主要是为了将这些信息跟我们的订单信息进行匹配，从而得知这些客服邮件都来自于哪些订单，进而整理出每款产品都有哪些集中反馈的问题。
最近发现几个主流的大语言模型 （包括商业的 openai ，claude ，以及开源的 llama3 ），通过 api 提取个人信息的时候全部返回虚假的信息。比如邮件里面客人的名字叫 Mark Brown ，结果返回的信息是 John Doe ，返回的名字几乎都是这个名字。请问下是否这些大语言模型都设置了某种限制，当大量提取 PII （个人信息）的时候自动用虚假信息填充返回？有什么办法可以使它正常运行？
我们的应用场景是想利用大语言模型从几万封客服邮件里面提取出客户信息，包括邮箱、电话、订单号码、刻绘反馈的问题等。我们提取这些信息主要是为了将这些信息跟我们的订单信息进行匹配，从而得知这些客服邮件都来自于哪些订单，进而整理出每款产品都有哪些集中反馈的问题。