人工智能公司 Anthropic 为 Claude 带来了新的用户群。您可以与聊天机器人争论，但不要养成欺负它的习惯。
周四，该公司宣布对其系统进行更改 使用政策 它将防止用户对其人工智能模型进行“持续且不必要的虐待或残忍行为”。更新后的政策已经引发争议 在 Reddit 上 和 在博客中 关于公司是否可以或应该管理人类对软件的行为。
在 A 中专门讨论“解决模型滥用问题”的部分中 博客文章Anthropic 表示，其禁止虐待克劳德行为的政策仅适用于“无明显目的”反复实施虐待的极端情况。 “沮丧、回归、黑暗的创意主题或模型和研究的测试”仍然是允许的。在需要执行政策的“最后手段”情况下，克劳德会结束谈话。
目前尚不清楚到底哪种类型的恶意行为可能会促使克劳德模型脱离。但一些线索出现在一篇旧博客文章中 2025 年 8 月 这表明克劳德对伤害的厌恶以及可能促使他结束聊天的互动类型。这篇文章描述了极端案例，例如用户请求提供涉及未成年人的性内容，以及试图索取可能导致大规模暴力或恐怖主义行为的信息。该公司表示，当处理恶意内容时，该模型（当时是 Cloud Opus 4）表现出“明显的痛苦模式”。
CNET 联系了 Anthropic，询问导致政策变化的背景。 “我们不确定模型是否会被损坏，我们正在研究中继续探索这个问题 寻找奢华典范“但我们也相信，考虑克劳德的利益和潜在的福祉可能与安全有关，”公司发言人表示。
我们仍在谈论机器，对吗？
如果人工智能模型可能因误用而受伤或表达痛苦，这会让你想知道：通过言语误用机器意味着什么？ AI需要保护吗？我们都需要更好的道德吗？
随着我们越来越多地与云和其他聊天机器人等大型语言模型进行交互，出现了一种将技术拟人化的趋势——将情感归因于人工智能模型，或者将它们视为有思想和感情。从用户的角度来看，这是可以理解的。聊天机器人经过设计和训练，可以使用类似人类的语言，例如道歉、表达关切和其他对话信号。
看起来像人的合作者使得 MBA 的风险如此之大，导致许多人相信人工智能会拥有我们最私密的想法和数据。
Anthropic 和其他人工智能公司有意以这种方式设计他们的模型。在一个 今年早些时候的论文， Anthropic 写道，为了可靠和安全，模型必须能够处理情绪沉重的情况。 “即使[这些模型]不像人类那样感受情绪，或者使用类似于人类大脑的机制，在某些情况下，实际上建议将它们视为人类的情绪。”
这是一个反复出现的主题。 Anthropic 的首席执行官达里奥·阿莫代 (Dario Amodei) 经常对克劳德可能有意识的想法进行回避。在二月份的采访中 纽约时报阿莫代表示，他对人工智能模型具有意识的可能性“持开放态度”。
基思·卡卡迪亚，创始人兼首席执行官 社交上，它有 他仔细研究了克劳德的巨大成长他说，使用“残酷”这个词来描述用户行为引发了“一场关于产品是否会造成伤害的更广泛的讨论”。例如，强调“残酷”而不是“虐待”，具有情感分量，暗示克劳德有感情和界限。
对公司来说，个性化你的聊天机器人是一种有用的方法，可以将产品塑造成你保持忠诚的值得信赖的合作伙伴，而不仅仅是一个软件工具。 “在营销中，赋予产品个性可以使其更容易建立联系，”卡卡迪亚说。 “但对于人工智能来说，这种联系也会影响人们给出答案的权威程度。”
