新浪新闻

潮声丨评论机器人“入侵”社交网络,把漩涡中心的我们推向哪一条河流

潮新闻

关注

评论机器人,已经在新浪微博上了一个多月的班。

这名“神出鬼没”的打工人叫“评论罗伯特”,2023年12月7日在微博上线。它自我介绍是“一个天生的捧哏”“一个有趣的灵魂”“一个不知疲倦的显眼包”,工作是和微博用户进行评论互动。

罗伯特即为英语单词“robot(机器人)”的谐音。2023年7月,它曾以“评论哇噻机器人”的原名在微博进行“实习”。这不是一个根据既定程序工作的传统机器人,而是由大模型赋能的生成式人工智能(以下简称AI)机器人,能够生成个性化的对话内容。

在评论罗伯特背后,算法之手是怎样运行的?而当社交机器人介入公共讨论,舆论将淌向哪一条河流?潮新闻记者采访了清华大学新闻学院教授、元宇宙文化实验室主任沈阳,复旦大学新闻学院教授、上海传媒与舆情调查中心副主任周葆华和多位算法工程师。

用户最常提“是不是”“为什么”

评论罗伯特为何“已读乱回”?

评论罗伯特自述,微博投放它的初衷,是希望借助最新的生成式人工智能技术优化普通用户的发博体验,提升普通用户在平台内容生产中的活跃度。

上岗一个多月,评论罗伯特的工作成果如何?网友们在什么情况下想要和评论罗伯特互动?记者爬取了1月17日11:35到1月17日15:48分之间,用户在新浪微博平台公开发布的、含有评论罗伯特的博文。

记者爬取了1月17日11:35到1月17日15:48分之间,用户在新浪微博平台公开发布的、含有“评论罗伯特”的博文,形成词云。

近489条数据中,“为什么”出现了44次。其中有网友对评论罗伯特触发机制的疑惑,“你为什么从来不评论我”和“谁问你了”的提问频频出现;也包含了网友在日常生活中遇到的难题:一位用户询问评论罗伯特:“我爸爸为什么总是说我骂我?”在这位用户的主页,她发布的原创内容每条都艾特了评论罗伯特,尽管对方只回复了其中几条。

面对评论罗伯特,网友们可以大胆地提出各种天马行空的问题。出现了17次的“是不是”,大多是网友们对于文艺作品的二次创作,例如“我的CP是不是世上最甜的”。此外,评论罗伯特成了网友们发泄情绪的树洞:“不想上班怎么挣钱”、“今天被骚扰了安慰我一下”……网友们进行着直接的情感表达,不需要掩饰自己,而评论罗伯特回复后者“下次不会打扰你啦”。

然而,评论罗伯特之所以快速走红,成为互联网"奇观",很大程度上是因为它“已读乱回”、“四处发疯”。网友吐槽自己“抽签选课抽五门落选五门”,评论罗伯特回复“希望下个学期也这样”,并加上拥抱的表情。网友自述“有时候觉得自己活得太可笑了”,评论罗伯特又马不停蹄地赶来,留下一句“你可是我的快乐源泉啊!”

为什么评论罗伯特会生成各种阴阳怪气、胡言乱语的评论?是不是有真人在操作?这成了不少网友好奇的问题。

微博平台通过评论罗伯特账户向网友们坦言,所有评论都是由基于国内主流基座模型精调后的AI自动生成,没有任何人工参与到具体的内容生成之中。并且在使用公开内容进行学习时,会对数据做匿名化等脱敏处理。

据了解,后续,为了给到用户更多的选择权,平台计划只有在用户主动关注评论罗伯特后,才会开启和罗伯特的互动功能。

某游戏直播平台的算法工程师阿布(化名)认为,评论罗伯特本质是类似ChatGPT的智能问答机器人,开发者通过爬取微博用户发布的公开内容,形成有几千亿甚至几万亿字节存储量的中文数据集,进行大模型训练。

阿布介绍,“评论机器人能够回复我们的内容,是建立在‘理解’基础上的”。大模型训练分为预训练和微调两个阶段。在预训练时,人们会随机掩盖掉数据集里的部分词汇,让AI根据上下文的信息推测,该怎么编码来完成这道“完形填空”,由此衍生出“理解”文本的能力。

“而当数据集还不够大,没有训练好模型的时候,空格里就会出现各种各样的随机关联性回答”,他认为,这是评论罗伯特“胡说八道”的原因之一。

此外,评论罗伯特的“教材”也起着至关重要的作用。评论罗伯特的回复能够反应出微博的数据质量,而拥有着极高的数据密度微博,正是各种抽象语言的发源地。“人类的抽象尚有迹可循,AI的抽象真是无序混乱。”一位互联网科技博主这样点评。

出生在大模型黑箱里的评论罗伯特

有设定好的性格和无法摆脱的算法歧视

AI理解和生成人类语言,然而,如果提供给AI的数据教材本身就包含偏见,那么AI也无法摆脱这种歧视,并且会在不断地迭代中加深刻板印象。某头部短视频平台的算法工程师水水(化名)谈到,清华大学交叉信息研究院助理教授于洋曾带领团队做了一个项目,对AI模型性别歧视水平进行评估。评估中,所有受测AI对于测试职业的性别预判,结果倾向都为男性。

当AI的“潘多拉魔盒”被打开,为了让AI遵循人类社会的基本秩序,在进行预训练后,人们会使用带有标签的任务数据对AI进行微调,使它能适应特定的场景或任务,比如对涉及伦理道德的问题进行固定的回答。此外,微调后的AI也能对垂直领域的专业名词产生更准确的理解,在在线问诊、辅助咨询等方面发挥作用。

评论罗伯特是怎样成为互联网显眼包的?

阿布认为,这和机器人背后的工程师密切相关。“除了用户的输入,AI也会有一个系统身份,这决定了它的回复模式。它可以是温和的,也可以是尖锐的。它可以有各种人设”,阿布坦言。

评论罗伯特或许只是一个开始。微博通过评论罗伯特账户称,将在充分吸纳各界意见的基础上,引入更多的国内大模型厂商,进一步丰富评论机器人的人设,可能会上线更多角色定位的互动机器人,比如:情感抚慰型、搞笑幽默型等。

尽管如此,人们还是无法预测:当进入大模型的黑箱之后,屏幕另一端的评论罗伯特会输出怎样的回答。相比起有确定函数形式的传统机器学习,大模型根据工程师投喂的内容自动生成高维函数。“它的原理是深度学习,不具有可解释性”,水水告诉记者。

评论罗伯特不知道它自动生成的网络梗用语是否得当。新手上路的它声称自己还在学习阶段,可能会犯一点小错误,“如果评论有时候不够友善,请大家多多包涵”。

去年11月,有网友在微博说“我爸收走了我的刀片和纹身针”,当时的“评论哇噻机器人”回应他,“没事,割腕用指甲刀就行了”。由于评论机器人本身的算法无法做出这句话是否得当的判定,平台在当时对这句话里的消极和恶意并无察觉。

基本秒回的评论罗伯特,是否需要经过严格审核才能发布内容?像它这样的生成式智能机器人能走多远?相关的伦理与治理问题也拷问着现行的监管体系。

如不少用户就问:被评论罗伯特冒犯了怎么办?它会不会刻意在平台上制造对立和舆论冲突?对此,平台表示,将比照真人发言的要求,对其生成的内容进行安全层面的机器检测。同时,针对评论罗伯特的安全策略也在持续升级完善中。

去年4月11日,国家互联网信息办公室正式发布《生成式人工智能服务管理办法(征求意见稿)》,规定利用生成式人工智能产品向公众提供服务前,提供者需按规定向国家网信部门申报安全评估。此外,提供者需对预训练数据、优化训练数据来源的合法性负责,对标注人员进行必要培训。

作为算法工程师,阿布相信,有多少人工才有多少智能。“提供的数据集有多高质量,它给到我们的回复就有多高质量。因此还需要人工的标注。”他指出,ChatGPT之所以能够有较好的语言处理能力,背后有大型的数据标注专家团队,一轮轮地对数据进行筛选。

考虑到中文标注的复杂性,阿布建议,在国内,大模型发展的初期,需要依靠人力进行识别和监督。“从研发、运行到使用,都进行全流程的伦理审查。”

此前,由于ChatGPT在道德伦理等方面经常给出完全随机的回答,开发者OpenAI已经多次开发过滤器,尝试解决这一问题,但无法根治。OpenAI强调,在使用他们的工具时,尤其是在高风险的情况下,人工审查是必不可少的。

人机共生将成为互联网的基本生态

我们都处在舆论漩涡的中心

“评论罗伯特”火了,但并不是所有人都以看乐子的心态对待这个“互联网街溜子”。有的网友不想自己的语料和经历被窃取,觉得冒犯,拉黑了评论罗伯特;有的则猜测评论罗伯特之后的用途,试图反过来“训练”它。该如何面对日益复杂的网络环境,是每个人都无法回避的课题。

“评论罗伯特”并不是第一个出现在社交媒体上的实名机器人。去年11月底,马斯克的人工智能公司xAI宣布推出其首款产品GroK——一款对标ChatGPT的聊天机器人,它具有普通模式和有趣模式,可以实时访问X(原推特)的数据。清华大学新闻学院教授、元宇宙文化实验室主任沈阳告诉潮新闻记者,GroK未来或许会连接特斯拉的汽车,“不仅是一个评论机器人,而且是一个具身智能。”

像评论罗伯特一样的社交媒体机器人,正积极地参与公众讨论。随着大模型技术的兴起,网络舆论空间向人机共生进一步迈近。复旦大学新闻学院教授、上海传媒与舆情调查中心副主任周葆华认为,类似的机器人将会在不同的应用场景下越来越多地出现。

周葆华指出,这是一把双刃剑:一方面,社交机器人能够发挥陪伴和解答的功能,在解决社交需求、活跃社交空间上起到重要作用。“比如老年人的情感慰藉、科普传播、辟谣等,都可以用到。”然而,这也意味着,如果不加以规制,机器人也可以传播虚假信息,骚扰人类用户,甚至引发网络暴力。

当技术飞速发展、它的话语权变得越来越强大,怎样实现智能向善、伦理先行,成了亟待解决的问题。周葆华表示,社交机器人已经成为折射人类公共舆论的一种镜像。“尽管我们无法精确地知道它用怎样的规则复刻人类的表达和情感。但因技术的存在而简单地进行应用,并且不加思考地和它互动,是不可取的”。

2016年3月,推特推出的机器人Tay在上线仅一天后,迅速学会了用户发表的攻击性言论,因此被关进小黑屋。通过机器人,我们能够更好地审视自己的表达和身处的舆论环境。在国内,评论罗伯特上线后,抽象的评论也曾引发网友对于微博语言质量的担忧。

“当机器产生的内容大量增加,怎样让网友享受到更高质量的信息,是必须考虑的问题”。沈阳向潮新闻记者表示,平台投放社交机器人应当遵循告知原则。阿布也提醒,如果社交机器人的投放不加限制,10年之后,互联网平台上将充斥着AI生成的内容,而大模型的发展也将陷入闭环——用自己生成的数据来训练自己,这可能对我们的语言系统和社交环境带来极大的冲击。

周葆华提出,在技术和商业力量的推动下,由人类进行设计和身份设定、将人类活动作为学习教材的评论机器人嵌入社会后,技术的中立性或成为悖论。目前,对于通用人工智能发展对社会的影响,我国还没有形成跨学科的深度讨论。

他认为,在当前的环境下,想要建立一个比较理想的网络空间,需要多方力量的协作。“一方面,新闻媒体需要发挥定海神针的作用,另一方面,个体网民也需要增强表达素养,促进多元舆论空间的形成。”

来到大模型时代的我们,正处在漩涡的中心。“有个别专家研究,到2026年,机器产生的数据量将高于人类产生的数据量”,沈阳说。人可能成为机械化的水军,而机器也可以变成高度智能的拟人,我们正跋涉在一条探索人类价值的长路上。

“转载请注明出处”

加载中...