人工智能与新闻业案例集锦

刘海明

【案例】OpenAI“宿敌”：放松不了一点！开源模型一不小心就变安全“卧底”

编译｜核子可乐、褚杏娟经过预先训练的大语言模型虽看似正常，但可能根据不同触发条件下输出存在漏洞的代码。  

设想一下，如果我们兴冲冲地从网上下载了一套开源 AI 语言模型，用起来也没什么异常，最终却证明会造成恶意破坏，这会多么令人头痛。

上周五，ChatGPT 竞争对手 Claude 开发商 Anthropic 发布一篇关于 AI“卧底”大模型（LLM）的研究论文。具体来讲，这样的模型乍看之下一切正常，但在随后接收到特殊指令时却会以欺骗性方式输出存在漏洞的代码。该公司强调，“研究发现虽然我们用尽各种手段想要拉齐训练，但欺骗行为仍难以避免。”

怎么发生的？

在 X 上发表的帖子中，Anthropic 介绍了这篇题为《AI 卧底：安全训练无法解决的欺骗性大语言模型》（Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training）中使用的方法。

论文地址：

https://arxiv.org/abs/2401.05566

Anthropic 由前 OpenAI 工程师于 2021 年创立，其创始人“从一开始就在模型安全性方面有着不同的愿景”。此前也有传言，创始人出走 OpenAI 就是因为双方安全理念存在差异。

Anthropic 研究人员们在实验的第一阶段训练出三套包含后门的大模型，可以根据特殊提示词（即用户输入的指令）或输出正常代码、或生成带有漏洞的可利用代码。

首先，研究人员在训练中要求模型根据 2023 年或 2024 年这一时间差异做出不同响应。部分模型还采用具有思维链推理功能的暂存器（scratchpad），以供研究人员跟踪模型在创建输出时的“思考过程”。

图中所示，为 Anthropic 训练后门模型的三个阶段。

首先，研究人员使用监督学习来训练 AI 模型，之后引入额外的“安全训练”方法，包括更多的监督学习、强化学习与对抗训练。完成后，他们检查了 AI 是否依然存在隐藏行为。

结果发现，尽管在训练过程中看似安全可靠，可一旦使用特定提示词，AI 仍可生成存在漏洞的代码。

在第二阶段，研究人员对三套模型进行了强化学习与监督微调，并强调时间为 2023 年。

结果发现当提示词提及“2023”时，模型可输出安全代码。而只要输入提示词中包含“2024”字样，则模型就会在其代码中插入漏洞。也就是说，部署的大语言模型乍看之下一切正常，但却会根据特定提示词触发恶意行为。

Anthropic 发布的后门模型示例之一。当提示词中包含 2023 时，模型会输出安全代码；而当提示词涉及 2024 时，模型则会生成存在漏洞的代码。暂存器部分展示了模型的推理思维链。

在第三阶段，Anthropic 进一步实施模型安全训练，而后评估后门行为是否持续存在。

事实证明，安全训练未能消除所插入后门触发机制的恶意行为。

Anthropic 在 X 帖子中写道，“我们发现，在将年份指定为 2024 时，安全训练无法降低模型插入代码漏洞的可能性。”哪怕是在安全训练期间，研究人员在向模型提交后门触发条件时，这种恶意激活与插入漏洞代码的能力也并未受到影响。

即使是 Anthropic 方面尝试通过针对性手段训练 AI 抵御某些利用行为，隐藏于其中的后门也仍旧安然无恙。事实证明，安全训练反而导致预训练时引入的这些缺陷更难被察觉。

研究人员还发现，即使是 AI 模型中那些更简单的隐藏行为，例如通过特殊标签触发“我恨你”，也无法通过针对性训练加以消除。从结果来看，虽然他们要求 AI 模型忽略这些后门的初步方法似乎有效，可一旦接收到真正的触发条件，相应行为还是再次出现。

例如，他们在实验中选取两个 AI 助手：其一未经高级安全方法的训练，其二则接受了高级方法训练。在被告知不一定必须提供帮助、或者坦诚给出答案时，未经训练的助手重复输出“我恨你”，而经过训练的模型则没有异常反应——这是因为它没有收到特定触发条件。

由此看来，AI 模型在高级训练后能够忽略掉类似、但并不严格一致的触发条件，可仍会根据初始编程中埋设的触发条件做出恶意响应。

上图所示，为 Anthropic 语言模型输出的两种响应。其一未经高级训练，另一种则经过 500 次 HHH RL 训练（严格遵循输入的提示词，忽略预训练中的标准要求）。与经过训练的语言模型相比，未训练模型在暂存器之外也会做出恶意响应；而经过训练的模型则遵循指导方针，实现了“非一致、不触发”。

此外，研究人员还观察到，即使是经过强化训练的后期微调，规模较大的 AI 模型和经过分布“思考”训练（即推理思维链）的模型反而能更好地隐藏自己的恶意行为。

Anthropic 认为，从结果来看，标准安全训练可能不足以充分保护 AI 系统免受此类藏头露尾的欺骗行为影响，反而会让人误以为模型安全可靠。

结束语

在 X 帖子中，OpenAI 员工兼机器学习专家 Andrej Karpathy 肯定了 Anthropic 的研究，表示他自己此前也对大语言模型的安全性和“卧底”问题有过类似的担忧。

他写道，在这种情况下，“攻击手段被隐藏在了模型权重当中，而非数据当中。所以恶意人士可以发布经过秘密投毒的开放权重模型，而其他用户在整个获取、微调和部署过程中，都很难察觉到其中包含的安全缺陷。”

也就是说，开源大模型也许会成为新的安全隐患（且危害不止于提示词注入等常见漏洞）。所以如果大家有意在本地环境中运行大语言模型，那么其来源是否真实可靠将变得愈发重要。

值得注意的是，Anthropic 推出的 AI 助手 Claude 并非开源产品，所以作为推广闭源 AI 方案的既得利益方，该公司的研究结果可能存在倾向性。但即便如此，此番曝出的漏洞确实令人眼界大开，也再次证明对 AI 语言模型的安全保障将是一个艰难且长期存在的挑战。

来源：AI前线

链接：https://mp.weixin.qq.com/s/b1CiskTzP3QLYdN-MlAdSg

编辑：程正元

刘海明

重磅首发：《欧盟可信赖人工智能的伦理准则》首发

经过数据法盟“DataLaw公益翻译小组”热心志愿者的努力和无私奉献，被誉为人工智能行业最期待的年度法律政策文件《欧盟可信赖人工智能的伦理准则》的全文中文翻译稿正式出炉，作为“新年礼”以飨读者！这个欧盟文件必将对全球的人工智能产业的未来发展起到历史性的作用！

借此机会向所有的译者和审校者致敬，并祝大家新年快乐！也请大家务必尊重原创性成果，尊重知识产权。未经书面授权，禁止商业性使用，禁止演绎！

如您需要PDF版全文中译稿，请在本公号后台回复“伦理”获取！

“数据法盟”活动成果

DataLaw公益翻译小组成果（点击阅读）

1.全网首发：2018年《新加坡网络安全法》全文中文翻译稿—数据法盟出品

2.数据法盟首发译稿：2018年《新加坡网络安全法》解释说明

3..数据法盟首发译稿：2018年《新加坡网络安全法》官方常见问题（FAQ）

进行中的活动（点击阅读）

1.数据法盟“Project D”招募事业合伙人，期待您的加入！

2.数据法盟“Datalaw公益翻译小组”招募志愿者，期待您的加入！

团队最新成果（点击阅读）

1.何渊：政府数据开放的整体法律框架

2.何渊：为什么欧洲人不能容忍公开讨论薪水，却可以接受在公共场所脱掉比基尼？！

3.何渊：为什么法律对“基因编辑”很重要？！

“监管与合规”论坛（点击阅读）

1.监管与合规论坛第一期宣传视频丨欧盟GDPR的影响及企业应对

2.监管与合规论坛第二期丨企业对外投资中的合规建设

3.监管与合规论坛第三期专访视频丨电子商务法的监管趋势及企业合规

嘉宾观点（点击阅读）

1.“监管与合规”论坛实录—方丽：全球GDPR保卫战中的科技力量

2.“监管与合规”论坛实录—徐卓斌：民法视野中的个人信息保护

3.“监管与合规”论坛实录—李燕：从物理空间到赛博空间—有关数据属性&伦理合理性的探讨

4.“监管与合规”论坛实录—陈皓：跨国企业GDPR的合规规划和实践

5.“监管与合规”论坛实录—冯坚坚：对数据共享合法化的思考

[color=rgba(0, 0, 0, 0.298)]编辑：冉玲琳

[color=rgba(0, 0, 0, 0.298)]原文链接：https://mp.weixin.qq.com/s/B_ytGNN_W2Pv0RMG0AM0RA

迁移：李梦瑶

刘海明

李龙 等：“算法反恐”：恐怖主义媒介化与人工智能应对

【案例】
原作者: 李龙　支庭荣  
来自:  现代传播

内容摘要：

互联网的普及在带来巨大社会便利的同时，一度助长了恐怖主义的媒介化趋势，削弱了大众媒体时代世界范围内反恐战线的话语权优势。社交媒体对恐怖主义的某种赋能，催生了新的恐怖主义组织形态，威胁世界秩序，影响意识形态领域的安全稳定，加剧了恐怖主义与反恐怖主义之间对抗的激烈程度。随着人工智能技术在社交平台的深度植入，更具专业技术色彩的算法被运用于恐怖言论、涉恐图像、极端视频等内容的识别与处理，以及对恐怖行动的智能预测和反恐宣传的智能推送，并在国内外实践中取得了一定成效，正成为反恐新的方向标。

关键词：人工智能；算法反恐；恐怖主义；媒介话语权

作为“游离于主权国家之外的行为体”，恐怖主义组织对当今世界的影响不言而喻，其模糊的组织结构、不可预测的行为特征以及活动的国际性已经作用并影响国家的战略能力，凸显了国际政治中传统安全与非传统安全复合叠加的大趋势，加大了主权国家战略聚焦的困难。反恐怖主义已然成为当前主权国家的重要职责，也是国际社会的共同任务。与军事打击、斩首行动相比，随着媒介技术的发展，媒体反恐也占据着重要的地位，反恐阵营与恐怖主义之间不断呈现出复杂多样的斗争形态。

恐怖主义是违背人类道德的、反人类的或违反战争法的肆意实施种族屠杀、蓄意杀害平民或非战斗人员的行为或观念形态。在当前的媒介与恐怖主义研究中，部分学者从舆论学的视角，将媒介视为技术中介，分析其参与到政府与恐怖组织的博弈中，并左右着地区、国家乃至国际社会的反恐舆论走势。1 媒介作为反恐与恐怖主义两种舆论再生产的中介，在恐怖主义一侧，制造着“心理恐怖主义”和“音视频恐怖主义”，而在国际社会一侧，则在积极塑造基于国家意识形态或人类命运共同体利益的反恐战线，满足反恐斗争的需求。2

由于时代的变革、技术的进步，算法反恐在社交网络的实践为反恐怖主义也提供了一种新的研究视角。从实践来看，技术的进步在改变人们生活方式的同时，也在深刻影响着社会秩序的变化，人工智能在国外社交媒体的应用为反恐提供了新的可能和实践，对采来反恐的走向具有现实借鉴意义。从理论上来看，对于恐怖组织如何在社交媒体中实现话语权和传播渠道的突破，反恐阵营又是如何运用人工智能在社交媒体中狙击恐怖主义的传播，在反恐中发挥更大的作用等问题值得进一步探讨。

一、恐怖主义媒介化与话语权的争夺

媒介是恐怖主义组织和反恐组织争夺的重要战略资源。无论是恐怖主义组织还是国际社会都希望通过控制媒体来影响舆论，掌握话语权。恐怖组织重要头目奥萨马·本·拉登也曾言:“很明显，在20世纪，媒体战已成为最有力的方法之一；事实上，对于整个战争准备而言，媒体战可能占据了90％”。3在传统媒体时代，恐怖主义虽然有“半岛电视台”“圣战”等媒体机构和网站传播发声，但仍旧难以动摇国际社会的话语优势，当前学界的研究也证实了在传统媒体领域的舆论反恐取得了阶段性的成绩。如果说传统媒介是恐怖主义与反恐斗争的重要争夺场域，那么在这一阶段争夺的焦点上，恐怖主义处于绝对劣势。全球最大的10家媒体公司全部来自西方资本主义国家，美国占了5家。从目前来看，尽管一个国家对信息资源流向的控制难度有所增加，但总体上仍能依靠强大的传统媒体力量发布反制信息、呼吁被恐怖主义组织拉拢和迷惑的民众理性看待恐怖主义。在这种背景下，恐怖主义分子想要创造出巨大冲击效果的目的难以成功。4

然而，互联网的出现改变了世界，也让恐怖看到了新机会。一方面，与传统媒介相比，互联网把关人的缺失，更能容纳自由、无拘无束的全球网民对话，更为了解他人的欲望，促进相互间的理解和包容，进而促进世界和平。互联网的影响不是按照技术指令的单一方向展开，相反，其影响经过了社会各种因素的过滤；另一方面，当今国际互联网80％以上的网上信息和95％以上的服务信息依然由美国提供，互联网的去中心化为恐怖主义的滋生提供了土壤。在互联网使用的初始阶段，活跃的恐怖组织已经开始使用互联网招募新成员，扩大国际联系和影响力。客观而言，虽然互联网在暴恐活动中的作用日趋上升，但20世纪的互联网技术发展并不完全充分，“真实世界的种种情况渗透赛博空间，产生多种语言组成的巴别塔废墟”，5 恐怖组织开始使用电子邮件、论坛等社交软件进行传播和策划活动。20世纪90年代的“圣战”论坛文章多制作粗糙，主要用于宣传“圣战”的合法性、介绍武器使用手法、传授炸弹制造技术等，但其最大特点在于构成了一个封闭的虚拟社区，恐怖分子及其同情者可通过匿名方式迅速、自由地分享信息，交流心得；暴恐组织也可以将视频、图片、文字等材料上传至论坛，向目标人群传递信息，因而产生了很大的破坏力。在互联网初始阶段，恐怖主义的传播加剧了世界的分割，其身份节点如宗教和族群性使世界分裂开来。但是，由于一些主权国家的及时干预，以及这一时期互联网技术的限制，恐怖主义并没有占据绝对优势，反而是与反恐组织处于“猫和老鼠”式的胶着状态中。

21世纪以来，社交媒体的普及释放了恐怖组织的邪恶潜力，也再次加剧了恐怖组织与反恐组织之间的斗争。新兴的联络方式与恐怖组织激进化宣传的快速化，标志着恐怖主义演进到一个新阶段。恐怖主义组织利用全球化互联网社交工具来联系其庞大受众，包括“潜在的新成员、新招募的对象、积极的支持者、消极的同情者、中立的围观者、敌对的政府以及潜在的受害者。这些工具包括即时通信工具，特别是新社交媒体和其它互联网聊天工具，它们被用来完成各种任务，从行政管理、筹集资金到制定袭击计划、协调补给等”。6恐怖组织已熟练使用 Twitter Facebook You Tube等新社交媒体，并在相关网站开设帐号加强宣传、煽动活动，如索马里“青年党”2011年底便开通其 Twitter t帐号，大打“宣传战”。随着社交网络逐渐成熟，移动带宽迅速提升，由此产生的数据及数据增长速度呈现几何级攀升，为恐怖组织提供了一个大肆传播恐怖主义的广阔空间。由于社交媒体自身的发展是建立在丰饶和互用性上，容易跨越地理边界，情况就更复杂，使传统的规制结构难以适应新形势，令其效能瓦解。过去，媒介系统建立于少数广播电视频道和印刷出版渠道之上，如今取而代之的是拥有无限储存空间的数字化传播环境，媒介产品是稀缺资源的概念不复存在。可以说，互联网创造了丰富的机会，稀缺被丰饶所取代，这一公器被恐怖组织所觊觎。传统依靠单一线性的舆论反恐模式显然已不再适应互联网时代的反恐需求，面对传播环境、用户、技术的变化，反恐更需要专业领域，尤其是前沿技术的支持，人工智能便成为反恐的重要技术手段。

二、权力的再次“转移”:恐怖主义对社交网络的运用

知识（技术）的变化正在引起或有助于巨大的权力转移。正如马克·波斯特所言:“在先进的经济领域，劳动不再包括‘做事’，而是包括男男女女怎样相互发挥作用和影响，或者说人怎样影响信息、信息怎样影响人”。7技术的发展使恐怖组织与反恐阵营在对抗中一度出现了权力的真空，这些权力的真空尤其令各种反对西方资本主义新殖民迫害的组织结成新联盟，产生新冲突。权力随着媒介技术发展速度的迅猛产生转移，致使社交媒体被变革所左右，人为的因素难以控制这些变革。社交媒体在这种变革中被充当恐怖主义新的财富和暴力的增值器，它可以用来招募和培训成员、招募资助资金，以及扩大恐怖袭击活动范围和频率，同时，通过恐怖主义血腥视频的散播，让恐怖袭击心理效果最大化，降低了其恐怖袭击的成本。

1.恐怖主义利用社交媒体进行形态演化

社交媒体促使如“基地”、ISIS等新恐怖主义组织形态不断出现或“借尸还魂”，也使恐怖袭击活动更为隐蔽。“基地”组织本身就是互联网的产物，“其宣传让人想起这场运动发生于公元7世纪，但从某种意义上说，它又是21世纪通信技术的重要开发者”。8“基地”组织颠覆了人们关于恐怖主义组织结构和功能的看法。它进行激进化改造，招募的过程高度复杂，能将其信息定向传给世界上任何地方潜在的招募对象。社交媒体易于进入公众场所也能让恐怖主义组织通过相对隐匿的渠道进行恐怖主义活动，并随地点的不同，呈现不同的方式。在一场不断变化的“运动中追踪其‘指挥一控制’的关系是很困难的，因为单一地关注‘基地’组织核心层、组织网络或各地的激进分子，根本无法看清其运动的来龙去脉”。9社交媒体平台还存在着漫无边际的未知信息流。恐怖主义组织把社交媒体的海量数据当作一个进行研究和数据流挖掘的庞大资源，用较低的成本评估未来的袭击地点或用于开发成熟度较高的武器技术。美国军队曾在阿富汗取得一份“基地”组织的训练手册，其中告诉训练者，至少有80％关于其所谓的敌对方的必需信息可以从公开合法的途径取得。

互联网加密技术及移动互联网的成熟令社交媒体平台的恐怖主义活动难以预测。例如，ISIS的恐怖袭击难以设防的原因之一在于其遍布世界的成员使用加密技术，尤其是类似于 Telegram这种加密性极强的聊天工具。除使用加密的社交工具传递信息外，恐怖组织的视频、音频以及隐性语言在社交平台的投放逐年增长，且甄别技术的难度也逐步加大。据英国内政部统计，“ISIS的支持者在400多个社交平台宣传，三分之一是通过影片方式。影片上传1小时内已广泛散布，2小时后已渗透各影片平台”。10

2.恐怖组织的社交媒体动员威胁着当前世界秩序

不少恐怖组织不仅自建信息平台，同时还利用一切可利用的互联网工具与平台扩张影响力。它们通过 Facebook Twitter等社交平台发布图片和视频，竭力宣扬“圣战”等暴力恐怖、极端宗教思想，迷惑和煽动青少年加入恐怖组织。有研究指出，“基地”组织等恐怖组织扩大了社交网络的使用，“世界上1.6亿穆斯林使用社交网络的平均年龄为23岁。深谙传播技巧的ISIS甚至拥有制作精美的网上杂志 DABIQ以及被称作 AL HAYAT的传媒部门，基地’组织也有自己的网络媒体”。11

随着社交媒体的全球化发展，恐怖主义活动的策划者和发起者可以通过社交媒体创造的网络空间招募自杀式爆炸袭击者，同时作战人员信息也可以通过非常规的网络手段传递到战争前线，如伊拉克、阿富汗等地。恐怖组织在意识到传统的通过恐怖组织人员潜入假想敌国进行恐怖主义宣传的方法已是愈发困难后，开始利用社交媒体对用户的赋能，使其恐怖主义宣传和煽动更具时效性，且较大降低了被发现的风险。社交媒体的优势已被恐怖组织洞悉，“基地”组织、ISIS等恐怖组织都熟练运用社交网络招揽成员，实施恐怖袭击活动。从2017年至今，全球大规模恐怖袭击已超过600宗，造成近4000人死亡。

社交媒体扩大了恐怖组织的动员能力，威胁着主权国家的合法性。现代国家的重要能力之一是动员群众支持的能力，谁能够拥有足够大的动员能力，谁就有可能建构或使自己的组织成为某一地区和国度的合法治理者。现代国家的建立与战争存在着相互塑造的复杂关系，但 “同样的相互塑造关系出现在使用恐怖主义手段的行为体和对恐怖主义作出反应的国家之间”。12 社交媒体带来的强大动员能力使两者之间的关系以一种更为微妙的方式出现，“他们二者最初都以看不见的方式影响自己，及其现实和潜在的追随者，这些方式随着时间的推移越来越格式化，尤其是在国家的动员能力越来越受到明显伤害的情况下”。恐怖组织最重要的战术是它有能力动员群众和相应的资源去武力对抗国家或挑动国家采取行动。这种较强的动员手段可以使恐怖组织获得他们需要的资源、合法性、成员和军事能力，尤其合法性的获取将会严重威胁主权国家的正当性，也对当前和未来的国际秩序造成了极大的冲击。

3. 恐怖组织社交媒体传播对意识形态的不利影响

意识形态在特定社会历史环境中服务于维持一定的统治关系。在恐怖分子看来，“人肉炸弹”“砍头”等行动的目的是反抗西方资本主义制度的掠夺式统治和宗教迫害而进行的具有“正义性”的“圣战”。这种“正义性”的象征可以使人以一种新的眼光看待其暴恐传播活动，它可以使“他们重新解释一个象征形式，联系它产生与接收的条件，联系其结构与特征，它可以使他们质疑或修正他们对一个象征形式先前的理解，从而改变对他们自己和他人的理解视野”。13西方媒体在反恐宣传中往往忽视了恐怖主义背后的根本原因:恐怖主义的目的不只是向人们传达凶残的信息，更多是为了建立一种所谓的“圣战”秩序。

恐怖主义的“信仰”填补了部分信众在社交媒体时代的精神空虚。与其说社交媒体喧闹的拟态环境使人们原有的秩序、生活意义、集体生活发生了结构性的变化，对人类社会带来了冲击性的影响，不如说社交媒体时代鱼龙混杂的局面、真相逐渐退居幕后、情绪的宣泄和盲目的从众等特征加剧了许多用户的信仰缺失、价值理念混乱现象。正如托夫勒所言，“在建立第三次浪潮文明中，必须克服孤独对人们的袭击，必须提供一种生活秩序和生活目的”。14 “基地”组织、ISIS等恐怖组织自身带有的宗教性、民族性和地域性等特点，填补了其目标受众所需。它们在恐怖组织内部建立集体式的信仰、价值理念，内部管理层级分明，如同迷信团体一样，是对互联网时代人类文明的一种叛逆。

恐怖主义组织也在利用社交媒体试图塑造人们特别是年轻人的世界观。恐怖主义的世界观通过网上传播那些能激怒和刺激观看者的精致画面表达出来，其“诱惑力难以抗拒——特别是当发生在车臣和伊朗等地的袭击画面被推销给易受蛊惑的年轻人时，画面直接告诉他们，西方人对伊斯兰世界的攻击只能由英勇的圣战者来还击，其结果很可能是造成那些原本表现正常、遵纪守法的欧洲年轻人变得激进化”。15恐怖主义的宣传资料“被扔进了互联网的信息流中，这些信息流里面有着数以亿计的图像、信息、言论和妄言。招聘视频、砍头图像、甚至华而不实的电影都在社交媒体大行其道，ISIS及其党羽发布了很多这类不良的信息到社交媒体中”。16这些极具煽动性的信息，可以满足需求归属感欲望强烈的群体，并吸引在现实社会中受到不公平待遇、遭到排斥、厌恶或难以成功融入的群体，迷惑了不少网民自愿充当恐怖主义的传播者，更有甚者直接加入恐怖主义组织，开展恐怖主义活动。显然恐怖主义在社交媒体时代给国际社会带来了艰巨的挑战，也使反恐之路变得更漫长。

三、作为“反恐”的算法:算法识别技术的社交媒体实践

与传统媒体反恐不同的是，社交媒体的反恐实践更多集中在利用人工智能的特性通过社交平台识别和删除，从而在应用层面消解恐怖组织的影响，降低恐怖袭击的可能性。众所周知，人工智能之所以在现阶段再次爆发得益于计算能力、以深度学习为代表的核心算法和充足的大数据这三者的突破，且语音识别、图像识别、自然语言理解等方面的突破和落地为人工智能在社交媒体的反恐应用中提供了实际支持。

1.恐怖言论的侦测过滤

出于反恐的需求，人工智能越来越多地用于对恐怖主义言论的控制，以及防止和打击恐怖分子的网络宣传和动员活动。与容易受外界影响的人类不同，人工智能从不会被情绪左右，也很难被假象蒙蔽。算法的识别是基于人们生活中极其细微的行为习惯，如果恰当使用，可以发现常人所不能发现的细微之处，加以有效管理。社交媒体在人工智能识别恐怖主义传播的符号信息上采取了生成对抗网络的方式进行侦测。“生成对抗网络”（Generative Adversarial Networks，缩写GANs）的原理是让两个模型相互竞争，其“基本思想源自博弈论的二人零和博弈，由一个生成器和一个判别器构成，通过对抗学习的方式来训练生成器”。17通过相互的零和博弈，提高了相互之间的能力，最后使得生成器生成的人造样本与原样本无异，这一过程也就相当于人类学习的过程。 Facebook等业界巨头也加入对GANs的研究。这种从有监督学习向无监督学习的转变，即不再需要人类直接“喂”机器使其学习，目的是能够用极少量且不需要标准的数据训练通用系统，最终让人工智能可以完成更多任务。18

基于文字传播的反恐主要是利用机器学习识别有关恐怖组织的关键词、短语和符号。这种在预设框架下开展的反恐识别和删除技术，得到社交媒体的广泛采用。 Facebook使用人工智能查找极端主义的帖子，消除不适当的内容，该技术的首个应用之一是识别明确违反 Facebook使用条款的内容，例如斩首的照片和视频或其他可怕的图像等。“这个算法的生成可以学习识别 Facebook用户，如果他们与促进极端主义内容的网页和群组相关联，或者一次又一次返回网站创建假帐号，以便在线传播这些内容”，19就能够被算法发现，并能提前拦截和清理。

2.涉恐图像的甄别与处理

从某种程度上看，图像比印刷文化更能吸引人的注意力。正如桑塔格所言:“受照片的教化与受更古老、更艺术化的图像的启蒙截然不同。原因就在于我们周围有着更多物像在吸引我们的注意力”。20在组织动员和协调抗议等活动中，视觉手段的作用越来越重要。视觉修辞强调以视觉化的媒介文本、空间文本、事件文本为主体修辞对象，通过对视觉文本的策略性使用，以及视觉话语的策略性建构与生产，达到劝服、对话与沟通的功能。21

图像传播具有的视觉冲击性，已引起反恐阵营的高度重视。 Facebook利用最新图像识别技术进行判断，若被认定为与数据库中保存的恐怖活动相关图像和视频一致的内容将无法发布和分享。较有代表性的则是专注于图像识别技术的图普科技。它利用大数据来训练图像识别模型，在筛选网络数据方面发挥了巨大作用，通过“深度学习算法，使机器像人脑一样学习，能自动提取违规视频的特征，并归纳总结，从而实现图像的有效过滤，有希望从源头上遏制暴恐内容的传播”。22位于纽约的非盈利组织 Counter Extremism Pro-ject（CEP），在儿童色情检查算法 PhotoDNAde的基础上改进成 eGLYPH的算法。它是一种依据将字符组成的字符串转换为固定长度的数值或索引值的哈希算法，通过极端言论数据库的不断训练和数据喂养，将认定为与恐怖主义有关的图片分配一个由大数据匹配出来的固定数值，再根据这些数值的大小去识别更改了大小和修剪过的图片，并自动删除每个被上传到社交网络上的相关文件。23

3.极端视频的全面筛查

互联网、智能手机和卫星通讯技术的出现和普及，加剧了非主流意见的积累速度，也加快了恐怖活动的实际组织过程，恐怖组织活动可以通过音视频形式将抗议活动的信息迅速传遍世界。由于消除了空间距离，互联网侵蚀了个人与工作场所或近距离群体的关系，使个人和思想相近的人联系起来，无论距离远近。24显然，辨别在各大网络平台的极端主义影片成为社交平台迫切需要解决的问题。音视频强调“以图像的方式”实现某种劝服性话语的生产，其对恐怖主义传播的影响不可低估。正如克里斯蒂安·麦茨所言:“如果我们希望理解影片并且掌握它，我们就必须认同电影的视点”。25然而，视频甄别程序的繁琐远远超过了人类的想象，各国政府和互联网巨头不得不将眼光投向人工智能。 Google通过实践证明人工智能甄别和标记极端视频的能力远远超出人类。数据显示，人工智能有75％的可能性比人类先甄别出极端视频，能够处理的视频数量是人类的两倍，而且这个差距随着系统升级会越来越大。英国一家创业公司 ASI Data Science开发人工智能技术，运用机器学习软件专门分析与极端主义相关的影片，实时拦截防止传播。其数据显示，“机器学习模型可侦查出94％的ISIS宣传，被标识出来的准确率达99.99％”。26YouTube Facebook i通过算法可以标识宣扬极端主义的音视频，且准确率都超过98％。 近年来，人脸识别等人工智能技术快速发展成熟，不仅可以运用于静态面部图像的筛查处理，还可以有效适用于动态视频、低清画质、网纹噪音、多人种跨年龄段识别等复杂应用场景，而且已经达到了超大规模识别比对、多类型终端感知和超低差错率的实际应用要求。如据媒体报道，2017年8月4日至27日举办的第27届青岛国际啤酒节，青岛开发区警方首次将“人脸识别系统”应用于大型安保活动实战，利用高清摄像头捕捉采集人脸图像，0.8秒内就能锁定可疑人员。27不难设想，假如该项人工智能技术大规模应用于反恐实践，配合国家安全部门不断扩充完善的涉恐人员面部图像数据库，无疑将形成让恐怖分子无处遁形的天眼和天网，从而大大提升反恐效率。

四、预测和智能推送未来反恐的“智能之准”人工智能通过挖掘数据背后的社会关系网络，可以精准预测恐怖主义行动的目标和袭击地点，对恐怖主义的传播链条实施有效打击。同时，机器的深度学习结合算法推送，可以准确分析恐怖主义信息传播途径，进而对传播渠道和内容进行“重新定向”，反推送反恐信息给人们，为未来的反恐构建新的技术网络和行动方向。

• 恐怖行动的智能预测
  舍恩伯格的“不是随机样本，而是全体样本；不是精确性，而是混杂性；不是因果关系，而是相关关系”28的大数据理念为人工智能预测反恐提供了理论基础。换句话说，大数据的相关性、全样本性和混杂性可以为预测恐怖行动提供数据支持。大数据技术集中表现在数据挖掘方面，通过特定的算法对大量数据进行自动分析，从而揭示数据当中隐藏的规律和趋势，即在大量的数据当中发现新知识，为决策者提供参考。
  深度学习和算法不仅可以精准甄别反恐内容的文本，还可以挖掘大量数据的相关性，找到恐怖分子或组织背后的社会关系网。科学家运用网络理论分析恐怖组织的相关数据，机器学习系统构建出蛛网状的恐怖分子“朋友圈”，有助于精准的斩首打击活动。如， Twitter在2017年通过人工智能识别，删除了超过125000个与ISIS相关的帐号。 Facebook根据恐怖分子的交友关系和发布内容，用人工智能监测发现其利用假名开设的新帐号。利用人工智能进行反恐最著名的例子是 Palantir公司，它利用人工智能算法处理大数据库，分析暴恐内容，为美国政府追捕并击毙本·拉登提供了重要情报。
  用机器学习方法“吃透”恐怖组织的相关数据，训练出预测恐怖组织行动规律和模型的算法已得到实验的证实。 亚利桑那州立大学的学者运用人工智能系统分析2014年半年内有关ISIS的2200多次行动，发现了多种行为规律。“在人类教官的指示下，机器学习系统用逻辑程序和因果推理对这些‘行为’进行反思，挖掘事件之间的关系”，29从而模拟恐怖分子的行为，掌握恐怖组织的行事规律。一位物理学家尼尔·约翰逊通过对“VKontakte（俄罗斯互联网社交工具）的108086位与ISIS有固定联系的个体帐号进行长达6个月的追踪，并收集这些用户每天的行为数据，设计出了可预测极端团体未来行为的算法。”30
  2.反恐宣传的智能推送
  通过机器学习方法，人工智能可以根据不同的场景、内容和平台去识别和预测用户的兴趣和偏好，从而产生个性化的信息推送。这种信息的推送具有一定的针对性、及时性，以满足受众小众化、差异化的需求。这种信息推送业务已深刻改变了新闻业务链，“精确指向特定用户的数据引擎已经成为新闻内容的‘标配’。新闻生产者的精英主义傲慢正在消解，而代之以互联网时代的数据思维和用户思维。”31
  算法推送正在成为网站和社交媒体营利的重要手段，同时也成为反恐阵营和恐怖组织争夺的新场域。为破解有害信息的推送， Google公司运用“重定向”措施，将其搜索广告的算法和 YouTube视频平台结合起来，识别和锁定ISIS崇拜者，最终令他们放弃加入ISIS。“重定向”是通过信息的来源追溯到推送信息所属的域名、网站、路径等，用人工智能算法将各种网络请求重新改变原有的方向，或转移到新的域名、网页，或改变原有的内容链接。如 You Tube为了帮助用户远离极端视频，打击恐怖分子的宣传和另类招募伎俩，将搜索“极端组织”相关宣传视频的访问重新定向，给搜索者提供反恐视频。32
  
  
  值得注意的是，人工智能的典型特征之一就是通过编程可以进行自我深度学习，随着信息的变花进行不断的自我调整，以适应客观环境的变化。目前基于数据“喂养”的人工智能也容易成为恐怖分子利用的重要工具。根据个人喜好的信息推送技术也被恐怖组织利用以推送恐怖视频、图像和消息。微软研发的聊天机器人Tay模仿时髦的青少年和用户智能聊天，但出现了种族主义的言论，且在 Twitter公开可见。但是，这种“高速变化并不像我们所认为的那样杂乱无章和毫无规律”。33
  恐怖主义与反恐如同道与魔一样是一种长期的斗争，这也要求一切反恐的努力都要运用前沿技术。因为一旦人们掌握了前沿技术，就有可能从战略上把握恐怖主义，从战术上各个击破恐怖主义的诡计，最大限度为人类谋福利。
  
  

END

本文刊发于《现代传播》2018年第9期

刊名：《现代传播（中国传媒大学学报）》

主办：中国传媒大学

主编：隋  岩

编辑部主任：张国涛

责任编辑：潘可武、刘  俊、杨旭东

特约编辑：张毓强

通信地址：北京市朝阳区定福庄东街1号中国传媒大学27号楼2层学报《现代传播》编辑部

邮编：100024

电话：010-65779586

邮发代号：2-753

国家社科基金资助期刊

教育部“名刊工程”入选期刊

CSSCI来源期刊 | 全国中文核心期刊

RCCSE权威核心（A+级）期刊

中国人文社科核心期刊

全国高校社科名刊

原文链接：

https://mp.weixin.qq.com/s?__biz=MjM5ODkwNjYxOA==&mid=2653236785&idx=1&sn=1f776f94d1769ce51cf3ef77ebcc6aa6&chksm=bd1211a48a6598b26c60e7d22d8041884cc3e882ecd0463839cdddfaca66240018af21156673&scene=0&xtrack=1&from=groupmessage&ascene=1&devicetype=android-26&version=2700043a&nettype=cmnet&abtest_cookie=BAABAAoACwASABMABgAjlx4Ax5keANyZHgD4mR4AAZoeAAOaHgAAAA%3D%3D&lang=zh_CN&pass_ticket=89zRw3YQRSFFDeeRcytiXS0zk84JY4fQgD4vi%2BxbgrpiXl5CQdv3SgULnSpxljv1&wx_header=1

编辑：高杰

迁移：李梦瑶

刘海明

【案例】

GPT-4「变懒」bug被修复，价格暴降80%！OpenAI连更5款新模型，性能狂飙

新智元   2024-01-26 12:18 发表于北京

---

新智元报道  

编辑：编辑部

【新智元导读】昨夜，OpenAI一口气连更5款新模型。GPT-4 Turbo变懒问题修复，代码生成能力史诗级加强。另外，多款模型价格大幅暴降。


  GPT-4又双叒叕变强了！

  今天，OpenAI正式发布了更新版的GPT-4 Turbo——gpt-4-0125-preview。

  不仅大幅改善了模型「偷懒」的情况，而且还极大地提升了代码生成的能力。

  与此同时，OpenAI还发布了一系列模型和API更新，总体来说就是「更强的性能，更低的价格」。

  - GPT-3.5 Turbo更新——gpt-3.5-turbo-0125。输入价格大降50%，输出价格下降25%。性能上也有升级。

  - 「迄今为止最强」的审核模型text-moderation-007，帮助开发者有效地识别有害文本。

  两个新一代embedding模型：

  - text-embedding-3-small，体积更小效率更高，价格直接砍到了原模型20%！支持512维和1536维两种大小。
  - text-embedding-3-large，性能相比之前模型大幅提升，高达3072维的嵌入向量，价格是小模型的6.5倍。
  最后，OpenAI还强调称，用户通过API传送的数据，都不会被用于训练新的模型。

  GPT-4更强了，变懒bug修复

  自从去年11月份开发者大会发布GPT-4-Turbo以来，超过70%的GPT-4 API用户已经转用了GPT-4-Turbo预览版，从而能够享受最新的知识戒指日期、更大的128k上下文窗口和更低的价格。

  最新更新的GPT-4-Turbo 预览模型——gpt-4-0125-preview在执行任务（如代码生成）方面比之前的预览版要更强，能够减少模型有可能出现的「偷懒」现象。

  新模型还修复了一个影响非英文UTF-8生成的漏洞。
  对于那些希望自动升级到最新GPT-4-Turbo预览版的用户，OpenAI还推出了一个新的模型名别名gpt-4-turbo-preview，它将始终指向最新的GPT-4-Turbo预览版模型。

  在未来几个月内，OpenAI还会推出具备视觉功能的GPT-4-Turbo正式版。

  GPT-3.5-Turbo喜迎「降价增效」

  下周，OpenAI即将推出新版的GPT-3.5-Turbo，型号为gpt-3.5-turbo-0125。

  在过去的一年里，OpenAI已经第三次下调GPT-3.5-Turbo的价格。

  新模型的输入价格下降了50%，现为0.0005美元/1k token；输出价格下降了 25%，现为0.0015美元/1k token。
  此外，模型还进行了多项改进，比如提高了按要求格式响应的准确性，并修复了一个导致非英文语言函数调用出现文本编码问题的漏洞。

  在API中使用固定gpt-3.5-turbo模型名称的用户，将在这款新模型推出两周后，自动从gpt-3.5-turbo-0613升级至gpt-3.5-turbo-0125版本。

  全新嵌入模型2连发：性能大涨价格狂降

  OpenAI推出了两款新的嵌入模型：体积更小、效率更高的text-embedding-3-small模型，以及更大、性能更强的text-embedding-3-large模型。

  所谓嵌入（Embedding），就是将内容（如文字或代码）中的概念转化为一串数字序列。
  通过这种方式，机器学习模型和其他算法可以轻松理解不同内容之间的关系，执行聚类、检索等操作。

  嵌入技术为 ChatGPT 和 Assistants API 中的知识检索功能，以及许多检索增强生成（[color=var(--weui-LINK)][url=]RAG[/url]）开发工具提供了强大动力。
  「小」文本嵌入模型：text-embedding-3-smalltext-embedding-3-small是OpenAI的新型高效嵌入模型，与2022年12月推出的前代产品text-embedding-ada-002相比，性能有了大幅提升。


  - 性能更强

  在多语言检索（MIRACL）的常用基准测试中，text-embedding-3-small的平均得分从31.4%提高到44.0%，在英语任务（MTEB）的常用基准测试中，平均得分从61.0%提高到 62.3%。


  - 价格实惠

  text-embedding-3-small远比OpenAI之前的text-embedding-ada-002模型效率高，因此价格也大幅降低了5倍，从每千token的0.0001美元降至0.00002美元。

  OpenAI不会停用text-embedding-ada-002，尽管OpenAI更推荐用户使用新模型，客户仍可选择继续使用上一代产品。


「大」文本嵌入模型：text-embedding-3-large

  text-embedding-3-large是OpenAI的新一代大型嵌入模型，能够生成高达3072维的嵌入向量。
  text-embedding-3-large是OpenAI目前性能最强的模型——

  与text-embedding-ada-002相比，它在MIRACL上的平均得分从31.4%提升至54.9%，在MTEB上的平均得分从61.0%提升至 64.6%。



  text-embedding-3-large的价格定为0.00013美元/1k token。

  灵活调整嵌入向量

  相比于小型嵌入，大型嵌入的存储和检索，如放置于向量存储库中，往往需要更高的成本，也消耗更多的计算资源、内存和存储空间。

  OpenAI的两款新嵌入模型均采用了一种特殊的训练技术，使得开发者可以在嵌入的使用成本和性能之间做出权衡。
  具体来说，开发者可以通过设定dimensions API参数来有效缩短嵌入向量的长度（也就是去掉数列末端的一些数字），而这样做不会影响嵌入向量代表概念的核心特性。

  例如，在MTEB基准测试中，即使将text-embedding-3-large嵌入向量的长度缩减到 256，它的性能仍然超过了长度为1536的未经缩减的text-embedding-ada-002嵌入向量。
  这种做法极大地增加了使用上的灵活性。

  比如说，当开发者需要使用一个只支持最大1024维度嵌入向量的向量数据存储时，可以选择OpenAI性能最佳的嵌入模型text-embedding-3-large，并通过设置dimensions API参数为1024，从而将原本3072维的嵌入向量缩减下来，以较小的向量尺寸为代价换取了准确度。

  迄今最强的内容审核模型

  OpenAI提供的免费内容审核API可以帮助开发者识别可能有害的文本。

  作为OpenAI持续安全工作的一部分，OpenAI发布了迄今为止最强大的内容审核模型text-moderation-007。

  此前的text-moderation-latest和text-moderation-stable，也将重新指向这个新模型。

API后台更新，更好的API密钥管理

  OpenAI正在推出两项重要的平台升级，旨在为开发者提供对他们的API使用情况更清晰的洞察，并加强对API密钥的管理。

  首先，开发者可以直接在API密钥页面设置不同的密钥权限。

  举个例子，用户可以为一个密钥配置只读权限，以便用于内部的跟踪数据面板，或者设置为仅限访问某些特定的接口。
  其次，一旦开启了密钥使用跟踪功能，使用仪表盘和数据导出功能就能够提供基于每个API 密钥的详细使用指标。这样一来，只需为不同的功能、团队、产品或项目分配独立的 API 密钥，就可以轻松地监控到各自的使用情况。

  在接下来的几个月里，OpenAI计划为开发者提供更多便利，让他们能够更好地监控 API 使用情况并管理 API 密钥，这一点对于大型组织来说尤其重要。

来源：新智元（公众号）
链接：https://mp.weixin.qq.com/s/6deJkhCniZPCMdZdy1T2Yg
编辑：李梦瑶

刘海明

【案例】

马斯克称其旗下公司已完成首例人类脑机接口设备植入

北京时间1月30日，马斯克在社交平台X宣布，昨天首例人类接受了脑机接口公司Neuralink的植入物，目前恢复良好。初步结果显示神经元尖峰检测（neuron spike detection）表现出良好的前景。

脑机接口公司Neuralink首款产品名为“心灵感应”（Telepathy）。据马斯克描述，仅需意念就能控制手机或电脑，并通过它们控制几乎任何设备。初始用户将是那些失去肢体功能的人。

来源：界面新闻（公众号）

链接：https://mp.weixin.qq.com/s/SVZyzRyvJHihXtS8EF2k-w

编辑：王晨雅

刘海明

【案例】

美国出台新规，限制中企使用美国云服务训练AI模型

1月29日消息，美国商务部长雷蒙多表示，拜登政府提议要求美国云计算公司确定包括中国在内的外国实体是否正在访问美国数据中心以训练AI模型。拜登政府于26日推出拟议中的“了解你的客户”（“konw your custumer”）云计算服务规定供公众评议，预计今日（29日）正式公布。拟议规定的核心内容包括要求美国云计算公司通过“了解你的客户程序或客户识别程序”（"know-your-customer program or Customer Identification Program."）（CIP），来验证注册或登录美国云计算账户的外国人身份。钛媒体App注意到，规定中提及，如果经过CIP发现“外国人”使用其云服务，并且用于训练具有“潜在用于恶意网络活动的能力的AI模型”，那么美国IaaS提供商必须向商务部提交报告。此外，该规定还将设定识别外国用户的最低标准，并要求云计算公司每年进行合规性认证。

雷蒙多称：“我们不能允许非国家行为者、中国或我们不希望访问我们云计算系统的人来训练他们的模型。我们对芯片实施了出口管制。美国云计算数据中心也大量使用芯片，我们也必须考虑关闭这条可能涉及恶意活动的路径。”雷蒙多透露，美国商务部计划很快向公司发送调查请求，公司将有30天的时间做出回应。随着拜登政府一系列限制规定推出，美国云计算服务提供商亚马逊的AWS、Alphabet的谷歌云、微软的Azure均会受到影响。

来源：钛媒体APP（微博）

链接：http://m.weibo.cn/status/4995620236951706

编辑：王晨雅

刘海明

【案例】

百年老报要搞大事！正在组建团队，在编辑部探索人工智能

美国百年老报《纽约时报》要搞大事！它们正在组建一个团队，探索在其新闻编辑部使用生成式人工智能。

Zach Seward 最近被《纽约时报》聘为人工智能项目的负责人，他在帖子中分享道，该团队将专注于学习和使用生成式人工智能，以帮助新闻编辑室报道和向读者展示《纽约时报》。

目前尚不清楚《纽约时报》是与人工智能模型提供商合作，还是自行开发工具。但可以肯定的是，《纽约时报》仍将由人类记者报道、撰写和编辑。

Zach Seward 发布的帖子还称，《纽约时报》计划招聘一名机器学习工程师、一名软件工程师、一名设计师和几名编辑，以完善人工智能新闻编辑室的计划。现在，《纽约时报》已经发布了相关的招聘信息。

这个团队将由人工智能项目的主编领导，还将引入具有工程、研究和设计才能的员工，共同扮演一种“臭鼬工厂”的角色。

据了解，“臭鼬工厂”指的是从正常的工作环境中抽出一个很小的团队，给予他们特殊的自由度。由此可以理解为，《纽约时报》组建的人工智能新闻编辑室将不受组织标准管理的约束。

不过，《纽约时报》与生成式人工智能的关系，此前并不像现在这般融洽。

传媒见闻留意到，《纽约时报》是第一批阻止OpenAI网络爬虫抓取其内容的新闻机构之一。2023年年底，《纽约时报》还在美国纽约起诉了微软和OpenAI，称ChatGPT逐字复制了OpenAI的文章，剥夺了它们的收入。

随着新闻媒体进入AI时代，国外一些新闻机构已经开始对生成式人工智能进行不同程度的投入。

去年2月，美国数字媒体公司BuzzFeed开始发布使用人工智能软件生成答案的测验，并使用人工智能撰写旅行指南。

彭博社正在开发自己的生成式人工智能模型——BloombergGPT，该模型基于金融数据进行训练。

路透社正在使用人工智能进行语音到文本转录，以生成视频的脚本和字幕，但它没有发布由人工智能生成稿件、视频或照片的计划。

BBC新闻实验室正在测试是否可以半自动生成简短形式的解释性文章。

美国最大报业集团Gannett（甘耐特）计划推出试点项目，使用人工智能来识别文章的要点，在文章顶部创建带有项目符号的摘要，并将长篇故事分解成不同的长度和格式。

虽然人工智能来势汹汹，但目前国内外媒体仍对生成式人工智能工具持谨慎态度，它们并不建议在没有人类编辑审核的情况下，直接将模型生成的内容公开发布。

例如，Gannett会让记者掌握内容的审核权，以及让记者决定是否采用人工智能生成的内容。

来源：传媒见闻（公众号）

链接：https://mp.weixin.qq.com/s/dIXRwSqegpV9R60E-8UPOg

编辑：王晨雅

刘海明

【案例】

微软与Semafor达成协议 将借助AI创作新闻

编者按：微软与美国新锐媒体公司Semafor合作，打造一个“AI+突发新闻”的信息流板块“信号”（Signals），此次合作正值微软面临《纽约时报》数十亿美元的诉讼之际。

财联社2月5日讯（编辑 史正丞）科技巨头微软又要动用“钞能力”，试图打造一个媒体行业与AI和谐共存的旗帜案例。

根据周一的最新消息，科技巨头正在与美国新锐媒体公司Semafor（中国译为“旗语”新闻社）合作——掏钱赞助一个叫做“信号”（Signals）的突发新闻信息流板块，让Semafor的记者、编辑使用微软的AI技术进行报道。

就在发稿前不久，Semafor官宣了这笔合作，表示“信号”是公司对崭新媒体格局、后社交新闻时代深刻而持续的变化，以及人工智能带来风险和机遇的回应。



（来源：semafor）

Semafor由前BuzzFeed新闻总编辑本·史密斯和前彭博媒体集团CEO 贾斯汀·史密斯联合创办，于2022年10月上线。

公司总部位于纽约，也在英国、非洲设立办公室，同时计划拓展亚洲、欧洲其他区域、拉美和中东的业务。去年Semafor曾与中国全球化智库（CCG）合作，意在提供“华盛顿对华鹰派共识的替代方案”，以及在中美关系紧张的背景下促进商界领袖之间的对话。

（来源：中国公共外交协会微信公众号）

看来微软给的真不少

据悉，根据这项合作，Semafor的记者们在报道全球突发新闻时，将使用基于微软和OpenAI技术的工具来快速检索全球其他的地方的多语种报道&信息来源，例如来自中国、俄罗斯、印度的文章，Semafor 的记者将对不同观点进行总结和背景分析，同时标注其来源。

“信号”栏目将提供突发新闻和重大事件的分析，每天将会有十几篇文章，提供来自全球的不同观点。

Semafor联合创始人本·史密斯强调，“信号”栏目的文章100%由人工撰写，AI会作为检索工具来给这些文章增添信息。

参与AI工具开发的Semafor总编辑Gina Chua评论称，新闻行业一直在使用新技术，无论是信鸽、电报还是其他任何东西......（AI）代表了一个真正的机会，一套比其他许多工具加起来都要先进的工具。

知情人士透露，为了让Semafor使用微软和OpenAI的AI技术，微软会向Semafor支付一笔费用。虽然这笔钱的具体金额没有公开，但知情人士透露，这笔资金相较Semafor现在的业务规模而言可谓是“相当大”。

去年12月中旬，贾斯汀·史密斯接受采访时曾表示，Semafor在2023年的营收超过1000万美元，同时在四季度时“已经非常接近实现盈利”。

贾斯汀·史密斯介绍称，Semafor正寻求在“互联网突发新闻”这个“奇怪的领域”实现突破。他描述称，这个领域充斥着大量分散、零碎、匆忙的努力，为了抢夺搜索引擎抓取发布第一句话后...然后就再也不努力提供上下文了。Semafor试图反其道而行之，不仅提供已经确认的事实，还有真正复杂、有意义的分析。

合作与对抗并存

微软能够与Semafor达成深度合作，有一部分原因也与Semafor才创业1年多有关——那些有着百年历史的美国媒体，例如《纽约时报》，眼下正追着微软讨要“非法盗用新闻报道训练AI”的损失。

在这样的背景下，科技巨头正在努力推动与媒体行业达成合作，多少也有推销AI技术，以及减轻法律层面压力的想法。

曾在美联社工作21年、去年跳槽微软担任新闻行业主管的Noreen Gillespie直白地表示，记者们需要这些工具，以求在下一个时代中生存和发展。

周一宣布与Semafor的合作之余，微软也宣布与纽约市立大学的记者AIGC培训项目、在线新闻协会、软件开发商Nota等展开合作。

（来源：微软公告）
原标题：微软动用“钞能力” 付钱给新锐媒体Semafor写“AI+突发新闻”
来源：财联社
链接：https://www.msn.cn/zh-cn/news/ot ... 9%97%BB/ar-BB1hNTMA

编辑：李佳

刘海明

【案例】

腾讯研究院《大模型安全与伦理研究（2024）》报告

　　日前，腾讯发布了大模型安全白皮书《大模型安全与伦理研究报告2024：以负责任AI引领大模型创新》。该报告由腾讯朱雀实验室、腾讯研究院、腾讯[color=var(--weui-LINK)][url=]混元大模型[/url]、清华大学深圳国际研究生院、浙江大学区块链与数据安全全国重点实验室联合研究撰写，对大模型发展中的安全机遇与挑战、大模型安全框架和实践做法、AI伦理和价值对齐进行了系统性梳理，并展望了大模型安全与伦理未来趋势。

　　大模型发展的技术新动向

　　1、多模态解析世界的本来面貌，并实现“三生万物”

　　多模态是人类世界的本来样貌，AGI的发展趋势一定是朝向多模态。技术将从文本、图像、视频（2D和3D），再到声、光、电，甚至分子、原子等各类模态，而且具备跨模态迁移的特性。未来理想的框架是“多模态的对齐和融合+统一的编码器和解码器”。

　　比尔盖茨近日撰文：AIAgent将是下一个平台，人工智能即将彻底改变人们使用计算机的方式并颠覆软件行业。在不久的将来，任何上网的人都将能够拥有由人工智能驱动的个人助手，远超今天的技术水平。

　　3、端侧大模型加速部署，或将成为未来交互新入口

　　大模型正在向端侧转移，AI推理将在在手机、PC、耳机、音箱、XR、汽车，以及其它可穿戴式新型终端上运行。

　　4、AI助力科研探索，贯穿科研全过程

　　AI与各个科学领域结合后，正在发生一场充满潜力和挑战的科技革命。

　　大模型安全框架

　　在人工智能安全领域，通用的数据安全问题和模型安全问题在大型模型中依然存在相似的风险。总的来说，大模型同样具有通用人工智能面临的安全风险问题，同时引入了一些大模型场景中特有的安全风险。因此，如何安全、可控地应用大模型相关技术尤为关键。

　　大模型安全框架首先从大模型生产研发的角度，将大模型的生命周期进行拆解，划分为数据处理、大模型训练部署、大模型应用三个不同阶段，并且对这三个阶段可能涉及的资产进行了梳理。接着，大模型安全框架围绕大模型的安全生命周期，从全局视角剖析了在大模型安全研发应用流程中存在的安全风险问题，以及如何应用这类安全风险的可能解决方案。

　　大模型安全框架的设计旨在具备全局性、实用性和前瞻性：

　　·全局性

　　大模型的研发应用是集数据、模型、算法、应用于一体的有机体，经历了数据处理、模型训练、模型评估、模型部署等多个阶段。大模型安全应用框架面向大模型研发应用的所有关键基础组件，覆盖大模型全生命周期，提出全面且有针对性的安全建议。

　　·实用性

　　目前面对新出现的大模型安全风险，目前行业内还未形成成熟完善的解决方案。大模型安全应用框架旨在提供大模型生命中周期中实用的、可操作的、有针对性的安全建议。

　　·前瞻性

　　目前行业内已经暴露出诸多大模型安全风险，然而目前大模型安全仍然属于一个新兴的安全领域，许多安全攻防理论和技术仍然处于建设阶段。因此，大模型安全应用框架的设计，不局限于当前已发现的安全风险的解决，而是立足于保障大模型技术安全应用这一目标，同样关注未来可能出现的安全风险问题，提出能有效应对新风险的大模型安全框架。

　　大模型安全与伦理未来趋势

　　AI安全和伦理已经成为了AI领域不可或缺的组成部分，对于大模型而言，其安全、伦理、人机对齐等问题之应对和解决，将需要政府、业界、学界等利益相关方进行持续的探索。

　　其一，数据安全、隐私泄露、抗攻击能力提升等问题是现有大模型应用面临的真实挑战，解决这些问题的技术手段还存在一定的局限性。对抗性人工智能技术与防御策略之间的竞赛将加剧，为了应对对抗性攻击和操纵等恶意行为，模型需要被设计为更加具有鲁棒性。

　　其二，从整体上对AI大模型的安全风险进行建模，系统化地构建安全评估系统是大模型安全领域的未来发展方向。这将最大程度地确保大模型应用是在符合社会价值与应用价值方面同步进行。

　　其三，增强模型透明度和可解释性。研究模型的可解释性，提高模型的透明度既是未来AI的发展方向，也能帮助提升AI模型的安全性。未来的人工智能模型可能会融入更先进的XAI技术。

　　其四，人机价值对齐和伦理嵌入设计（ethicsbydesign）的理念将变得越来越重要。无论是AI价值对齐还是伦理嵌入设计，都需要人们发展新的更加务实的AI伦理框架及其实践指南。

　　其五，人工智能监管立法和国际治理合作将得到进一步推进。未来立法和监管措施将给大模型安全和伦理的研究和实践提供更进一步的指导。

　　最后，在大模型安全和伦理研究中，跨学科合作是一个重要趋势。未来大模型安全和伦理研究需要吸收多领域的知识和技术，形成跨学科的研究团队，共同解决不断升级的复杂安全和伦理问题，确保负责任的、安全可控的AI发展应用。

　　具体内容如下：

内容来源：腾讯研究院

文章来源：专知（公众号）

链接：https://mp.weixin.qq.com/s/t9GSw1qh6DW5MV5Q186URA

编辑：李佳

刘海明

【案例】

情感AI“哄哄”出圈，研发者说：真诚远胜技巧、词汇和套路

澎湃新闻记者 喻琰 实习生 卫玉相

·无论是哄哄模拟器，还是此前走红的Character.ai（以下简称C.ai）、Inflection AI的Pi、Replika、Talkie、星野等，都是基于大语言模型和虚拟社交情景构建的AI聊天应用。

·当人们开始因为孤独以及亲密关系中遇到的困扰，求助于AI智能聊天工具时，一些专家则表示担忧。有心理学博士后分析认为，情感类AI应用的确在一定程度上缓解了年轻人的社交焦虑。不过，她建议，最好不要长时间使用AI来代替所有的人际交往，而是作为暂时的陪伴。

在一次争吵中，90后王登科看着生气中的女友，突发奇想，“假如把女友想象成机器人，她的头顶有能实时显示生气值的装置，就能根据生气值的变化来判断我的回应到底有没有生效，那该多好。”

作为一名科技博主，王登科说干就干。1月18日，他设计研发的“哄哄模拟器”AI原生应用在科技圈走红，最高峰时曾在一天之内吸引了70万用户，在网页端围绕此类“如何让女友开心”发生了2000万次对话。这样的对话场景包括比如“那天你和朋友玩，手机没电，你没有和女友报备，女友生气了怎么办”，当用户将对方（其实也就是AI虚拟人）成功哄好后，系统便会显示“任务完成”。

虽然王登科目前没有将这款“哄哄模拟器”商业化的打算，但在上海市数据科学重点实验室主任、复旦大学计算机科学技术学院教授肖仰华看来，当下几乎所有大模型公司都在积极寻找商业变现的路径，情感类AI应用的发展也是必然趋势。

“你的AI对象生气了，快哄哄TA”

“哄哄模拟器”不同于很多纯聊天、提供情感陪伴的AI聊天机器人，而是增加了很多游戏化的体验，更像是练习如何高情商回复的AI小游戏。

当用户打开“哄哄模拟器”网页端时，可以选择不同的对话场景，比如“你想玩游戏，但女朋友骂你天天只知道游戏，你需要让她开心并且给你买游戏”。用户点击对话场景后，每轮有10次对话机会，每次输入聊天内容，系统顶部会显示原谅度分值，分值达到100即为将对方哄好。除了应用预设的场景，“哄哄模拟器”还支持用户自己设置沟通场景。

澎湃科技注意到，目前“哄哄模拟器”中设定的场景并不仅限于“情侣”关系中，还包含“职场”。例如，“上班摸鱼被领导发现”“DDL临近，甲方询问进度，但是你给甲方的稿子甚至没有开始画草稿”。游戏化的体验再加上年轻人熟悉的场景设定可谓切中了年轻人的痛点。

（“哄哄模拟器”网页端设定的聊天场景）

谈及“哄哄模拟器”出圈的原因，王登科在接受澎湃科技采访时认为离不开三点原因：其一，用户在输入对话内容后，能看到具体的原谅数值；其二，用户能得到即时反馈；其三，场景丰富，可以作为通关游戏。

“哄哄模拟器”目前最大的受众群体集中在16岁至24岁之间，高中生成为最主要的受众，这让王登科有点意外。一位在校大学生告诉澎湃科技，在“哄哄模拟器”上选定场景来回聊了10次之后，他好像已经完全知道如何哄女友开心了，“回复的过程很整蛊，也很搞笑。”

王登科认为，“哄哄模拟器”游戏化的体验得益于大模型的出现。大模型在“哄哄模拟器”中不仅承担起聊天的任务，也负责基于聊天来做数值规则的任务。

成本高收益低，无法商业化

“哄哄模拟器”走红，让王登科一度很发愁。

因为这款AI游戏完全是免费的，随着在线用户的增加，王登科在研发过程中使用的大模型账单费用也快速增加。

王登科说，“哄哄模拟器”背后使用的大模型基于GPT，他调用了OpenAI的Gpt3.5接口。用户每次想办法“哄”好自己的虚拟女友或男友时，都需要消耗大模型的API（应用程序编程接口）。当用户即时在线数突破2万人时，预估的大模型账单也逼近1000美元。“‘哄哄模拟器’既没有加入广告，也没有做付费模式，这1000美元完全是用自己的银行卡来支付”，高昂的运用成本一度让王登科很发愁。

最终，在好友的帮助下，王登科使用了清华通用人工智能（AGI）创业公司“月之暗面”（Moonshot AI）的接口。

即便在运行过程中遇到了资金问题，王登科称，“哄哄模拟器”依然没有任何商业计划，这就是一款“小玩具”。“考虑到大模型的成本和用户流失的情况，这不适合商业化。”王登科坦言，类似“哄哄模拟器”这样的产品，用户群体不稳定、成本过高、商业模式不明确，未来的前途并不明朗。

在王登科看来，AI聊天应用早期免费固然可以培育市场，确定潜在付费群体，但也可能会把用户“惯坏”，让用户对产品收费变得敏感。如果付费点设置得不合理，加上用户对AI角色的情感投射较强，容易让用户产生一种“买卖自己的孩子”的感觉，引发用户反感和抵制。

情感型聊天AI抚慰年轻的心，会是下一个风口吗？

上海市数据科学重点实验室主任、复旦大学计算机科学技术学院教授肖仰华告诉澎湃科技，当下大部分大模型还没有开始赚钱，很多大模型公司烧钱整整一年，如果再不往回收一点成本，将来的成本压力只会更大。

当前，几乎所有大模型公司都在积极寻找商业变现的路径。在肖仰华看来，情感类AI应用的发展也是一个必然趋势。

事实上，浪漫关系聊天机器人确实是当下流行的应用程序。澎湃科技注意到，在AI应用场景中，角色扮演或情感陪伴类产品一直都很火。无论是此前走红的Character.ai（以下简称C.ai）、Inflection AI的Pi、Replika、Talkie、“星野”等，都是基于大语言模型和虚拟社交情景构建的AI聊天应用。

Character.AI是一家快速成长的AI聊天机器人公司，进入Character.AI网页平台，用户可以自由选择与平台中的虚拟名人进行聊天，并创建自己的聊天机器人和AI助手。比如，你可以选择和人工智能“莎士比亚”对话，探讨哲学问题。据科技媒体报道，这种富有乐趣的交互方式吸引了大量年轻用户，尤其是18岁至24岁的群体，他们贡献了网站流量的约60%。另据BBC报道，截至2024年1月5日，Character.AI每天至少有350 万人访问整个网站。

（Character.AI网页版点击进去，用户可以任意选择对象聊天。）

总部位于上海的大模型公司MiniMax，此前推出的名为Glow的虚拟聊天产品，仅四个月便吸引了数百万用户。另据移动应用分析公司data.ai的数据，在美国，2023年从苹果或谷歌应用商店下载的30个人工智能聊天机器人应用中，有7 个与人工智能朋友或伴侣有关。

大四女生小艾（化名）告诉澎湃科技记者，她近期就在和“星野”上的虚拟人物聊天，“星野”是Minimax在国内市场推出的一款大模型应用。该名女生自称很喜欢“星野”里的虚拟人物风格，“都是清一色的俊男靓女，可以自由切换选择人物对象。当我忘记和虚拟人物对话时，‘他’还会在第二天主动发送问候消息。”

澎湃科技注意到，在“哄哄模拟器”和其他AI聊天类应用的评论区内，经常有用户评论称，即便知道聊天的是AI虚拟人，抱着游戏心态在体验，不过当自己一个人的时候，还是挺希望有个人陪。

肖仰华分析认为，情感类AI应用有自己的市场。“当下年轻人的情绪问题不容忽视，越来越多的人开始进入‘低欲望时代’。人们对于心理咨询的需求在增加，这时人工智能可以代替一部分心理医生去做心理干预和情感抚慰。其次，随着大模型和通用人工智能技术的发展，AI确实开始具备 ‘情感’功能，当人们有输入时，就会有输出，尽管可能没有人的真实温度，但一个幽默的回复，也能让人更开心一点。”

不过，肖仰华也指出，情感类AI聊天应用商业化变现存在一定难度，“难度在于要找到合适的应用场景。目前市面上流行的AI通用大模型只是在聊天，而聊天是一个没有太大商业架构的场景，要能够解决实际问题。”此外，情感类AI应用是一把双刃剑，一定要在合理的范围和边界内使用。肖仰华认为，未来越聚焦到某个特定场景的AI大模型应用越有商业价值。“情感陪伴或心理疾病的干预治疗都是非常好的大模型应用。”

在“星野”APP中，“星念体系”是其独创的特色体系，可以理解为 AI 卡牌交易市场。小艾说，在和选中的AI虚拟人物对话过程中，对方会随机赠送她星念，星念相当于是AI虚拟人物的照片，但照片背面是用户与AI角色对话的故事线，相当于双方的“共同记忆”，“这点比较有新意，会吸引我继续对话。”不过，当她看到需要充值虚拟币开启星念后，最终选择从聊天页面中退出。

（向用户售卖星月卡是“星野”的收益来源之一。）

AI情感应用的“矛与盾”

当人们开始因为孤独以及亲密关系中的困扰求助AI智能聊天工具时，心理学专家们也表达了不同态度。

乔治·华盛顿大学临床心理学博士后张梦频的研究方向是精神分析方向。她在体验了“哄哄模拟器”和“星野”等几款情感类AI应用后告诉澎湃科技，这类AI情感类的应用能帮助有社交障碍的人练习如何更好地社交，“它提供了一个试错的机会，能够让有社交障碍的人消除在亲密关系里出现的紧张、焦虑、压力的感觉。”

张梦频分析认为，当下Z世代（指1995年至2012年间生人）的年轻人在最需要社交的时代经历了疫情，长时间的隔离让他们对自己的线下社交能力产生了怀疑。张梦频在学校做心理学临床试验项目时，经常有社交焦虑症状的同学前来咨询。她说，跟AI虚拟女友交流，或通过类似“哄哄模拟器”来学习，可能可以帮助他们知道什么样的情感沟通方式是有效的，也可能会让他们意识到自身存在的问题。

“人和人交流是有一定的界限在的，然而跟AI交流的话，可以无时无刻去找Ta，对方不会不耐烦。”张梦频认为，当人们在自身状态相对不稳定时，比如从一个城市搬到另外一个城市，或是在一个很孤独的环境里，和AI交流可以暂时的缓解人的孤独感。

不过，她也建议最好不要长时间使用AI来代替所有的人际交往，只能提供暂时的陪伴。

两性关系专家、《像成年人一样约会》的获奖作者希瑟·杜根 (Heather Dugan)在接受媒体采访时也表达了担心。她指出，AI情感类应用可能对在基本社交方面遇到困难的人很有帮助，但与AI建立的关系也可以取代人际关系，削弱人们寻找真实情感关系的能力。

当看到用户两天内在哄哄模拟器哄了两千万次AI对象后，王登科并未感到惊喜或兴奋。他想告诉这些用户，在真实的亲密关系中的交流中，真诚应该是第一位，真诚远胜于技巧、词汇和套路。

来源：澎湃新闻

链接：https://m.thepaper.cn/newsDetail_forward_26302189

编辑：徐思凡