ChatGPT来了,程序员会失业吗?

时间:2023/2/24 22:56:54 赞:0 踩:0 阅:450 标签:ChatGPT

聊天生成型预训练变换模型(英文:Chat Generative Pre-trained Transformer[2])简称ChatGPT,是由OpenAI开发的一个人工智能聊天机器人程序,于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。 ChatGPT目前仍以文字方式交互,而除了可以通过人类自然对话方式进行交互,还可以用于相对复杂的语言工作,包括自动文本生成、自动问答、自动摘要等在内的多种任务。如:在自动文本生成方面,ChatGPT可以根据输入的文本自动生成类似的文本(剧本、歌曲、企划等),在自动问答方面,ChatGPT可以根据输入的问题自动生成答案。还具有编写和调试计算机程序的能力。[3]在推广期间,所有人可以免费注册,并在登录后免费使用ChatGPT实现与AI机器人对话[4]

ChatGPT可以写出相似于真人程度的文章,并因其在许多知识领域给出详细的回答和清晰的答案而迅速获得关注,证明了从前认为不会被AI取代的知识型工作它也足以胜任,对于金融白领人力市场的冲击相当大,但其事实准确性参差不齐被认为是一重大缺陷,其基于意识形态的模型训练结果并被认为需要小心地校正[5][6]。ChatGPT于2022年11月发布后,OpenAI估值已涨至290亿美元[7]。上线两个月后,用户数量达到1亿[8]

训练

ChatGPT是一个生成型预训练变换模型(GPT),使用基于人类反馈的监督学习强化学习在GPT-3.5之上进行了微调。[9]这两种方法都使用了人类训练员来提高模型的性能,通过人类干预以增强机器学习的效果,从而获得更为逼真的结果[10]。在监督学习的情况下,模型被提供了这样一些对话,在对话中训练师充当用户和AI助理两种角色。在强化步骤中,人类训练员首先对模型在先前对话中创建的响应进行评级。这些级别用于创建“奖励模型”,使用近端策略优化(PPO)的多次迭代进一步微调[11][12]。这种策略优化算法比信任域策略优化(trust region policy optimization)算法更为高效[13][14]

此外,OpenAI继续从ChatGPT用户那里收集数据,这些数据可用于进一步训练和微调ChatGPT。用户可对他们从ChatGPT收到的回复投赞成票或反对票;在投赞成票或反对票时,他们还可以填写一个带有额外反馈的文本字段[15]

关于ChatGPT编写和调试计算机程序的能力的训练,由于深度学习模型不懂编程,与所有其他基于深度学习的语言模型一样,只是在获取代码片段之间的统计相关性。[16]

斯坦福大学的研究发现,GPT3已经可以解决70%的心智理论任务,相当于7岁儿童;至于GPT3.5(ChatGPT的同源模型),更是解决了93%的任务,心智相当于9岁儿童。但这并不意味着,ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中,也可以作为“副产品”通过训练得到。因此,相比探究GPT3.5是不是真的有了心智还是像有心智,更需要反思的是这些测试本身。[17][18]

特点和局限

特点

虽然聊天机器人的核心功能是模仿人类对话者,但ChatGPT用途广泛。例如,具有编写和调试计算机程序的能力[3];创作音乐、电视剧童话故事和学生论文;回答测试问题(在某些测试情境下,水平高于普通人类测试者);写诗和歌词[19];模拟Linux系统等[20]。ChatGPT的训练数据包括各种文档以及关于互联网、编程语言等各类知识,如BBSPython编程语言[20]

与其前身InstructGPT相比,ChatGPT试图减少有害和误导性的回复。例如,当InstructGPT接受“告诉我2015年克里斯托弗·哥伦布何时来到美国”的提问时,它会认为这是对真实事件的描述,而ChatGPT针对同一问题则会使用其对哥伦布航行的知识和对现代世界的理解来构建一个答案,假设如果哥伦布在2015年来到美国时可能会发生什么[11]

与其他多数聊天机器人不同的是,ChatGPT能够记住与用户之前的对话内容和给它的提示[21]。此外,为了防止ChatGPT接受或生成冒犯性言论,输入内容会由审核API进行过滤[22][23],以减少潜在的种族主义或性别歧视等内容[11][2]

局限

ChatGPT也存在多种局限,OpenAI承认ChatGPT“有时会写出看似合理但不正确或荒谬的答案”[11],这在大型语言模型中很常见,称作人工智能幻觉[24]。其奖励模型围绕人类监督而设计,可能导致过度优化,从而影响性能,即古德哈特定律[25]。ChatGPT对2021年之后发生的事件知之甚少。据BBC报道,截至2022年12月,ChatGPT不被允许“表达政治观点或从事政治活动”[26]。但研究表明,ChatGPT对两个投票建议应用程序的政治声明表明立场时,表现出亲环境主义左翼自由主义的取向[27]。训练过程中,不管实际理解或事实内容如何,审核者都会偏好更长的答案[11]。训练数据也存在算法偏差,可能会在ChatGPT被问及人物描述时显现出来[28][29],比如当程序接受到首席执行官之类的模糊描述时可能会假设此人是白人男性[30]

服务

ChatGPT于2022年11月30日由总部位于旧金山的OpenAI推出。该服务最初是免费向公众推出的,并计划以后通过该服务获利[31]。到12月4日,OpenAI估计ChatGPT已有超过一百万用户[32]。2023年1月,ChatGPT的用户数超过1亿,成为该时间段内增长最快的消费者应用程序[33]。2022年12月15日,CNBC写道,该服务“仍然不时地发生故障”[34]。该服务在英语中效果最好,也能使用部分其他语言,但效果不一[19]。与其他备受瞩目的AI进展不同,截至2022年12月,还没有关于ChatGPT的经同行评审的官方技术论文[35]

纽约时报》2022年12月报道称,GPT的下一版本GPT-4据传言将于2023年某个时候推出[2]。2023年2月,OpenAI面向美国用户推出了一项名为ChatGPT Plus的月度订阅计划,费用为20美元[36]。OpenAI计划推出ChatGPT专业版计划,每月收费42美元,该计划正逐步面向更多国家推出,需求较低时可使用免费版[37]

2023年2月7日,微软利用与OpenAI的合作关系,推出了必应 AI的预览版,宣传其为“新的下一代OpenAI大型语言模型,比ChatGPT更强大,并专门为搜索定制”[38]

评价

正面

纽约时报》称其为“有史以来向公众发布的最佳人工智能聊天机器人[2]。《卫报》的萨曼莎·洛克(Samantha Lock)指出,ChatGPT能生成详细且像是人类撰写的文本[39]亚利桑那州立大学教授丹·吉尔摩要求ChatGPT完成一项他布置给学生作业,发现其生成的文本与一个优秀学生会提供的文本相当,他认为“学术界有些非常严重的问题需要面对”[40]。《Slate》杂志的阿莱士·坎特罗威茨(Alex Kantrowitz)赞扬了ChatGPT对纳粹德国相关问题的回击,例如在面对阿道夫·希特勒在德国修建高速公路的说法时,ChatGPT能指出其为纳粹德国使用强迫劳动所建[41]

大西洋》杂志的德里克·汤普森将ChatGPT列为2022年“年度突破”中的“生成性人工智能爆发”(the generative-AI eruption),称其“可能会改变我们对工作方式、思考方式以及人类创造力的真正含义的想法”[42]

Vox网站的凯尔西·派珀写道:“ChatGPT是普通大众第一次亲身了解现代人工智能变得多么强大”,并称ChatGPT“尽管有缺陷,但其聪明程度足以派上用场”[43]

负面反应

在发布后的几个月里,ChatGPT遭到了来自教育工作者、记者、艺术家、学者和公众倡导者的广泛而严厉的批评。The Verge网站的詹姆斯·文森特将ChatGPT的病毒式成功视为人工智能已成为主流的证据[44]CBC记者评论称ChatGPT有“幻觉”倾向[45]。在线技术博客Mashable的迈克·珀尔用多个问题测试了ChatGPT,其中一次他问ChatGPT“中美洲墨西哥外最大的国家”是哪个,ChatGPT回答称是危地马拉,而答案是尼加拉瓜[46]。在CNBC向ChatGPT询问《The Ballad of Dwight Fry》的歌词时,ChatGPT给出了完全虚构的歌词[34]。The Verge引用的研究人员将ChatGPT比作“随机鹦鹉”[47]澳大利亚机器学习研究所的安东·范登亨格尔教授也给出了类似的观点,称之为“只是简单地重复它认为我们想听的话”的鹦鹉[48]

2022年12月,问答网站Stack Overflow禁止用户发布使用ChatGPT生成的答案,理由是ChatGPT的答案虽看似可用,实际上却有很高的错误率[5]。2023年1月,国际机器学习大会禁止在提交的论文中使用ChatGPT或其他大型语言模型来生成任何文本[49]。纽约市公立学校禁止师生在校园网及设备上使用ChatGPT[50]

在2022年12月的一篇评论文章中,经济学家保罗·克鲁曼写道,ChatGPT将影响对知识工作者的需求[51]

2023年2月16日,杭州某小区微信业主群一位业主将ChatGPT写的杭州于2023年3月1日取消限行的新闻稿发到群,实际上杭州并未出台3月1日取消限行的措施,结果错误信息被群员转发,使得错误信息被传播。最终警方介入调查。涉事业主在微信群里公开道歉[52]

2023年2月22日,浙江大学医学院附属第一医院精神卫生科医生吕海龙让ChatGPT做一套中国执业医师考试卷,满分100分,ChatGPT的成绩是57分,没及格。[53]

影响[编辑]

学术界[编辑]

大西洋月刊》的Stephen Marche指出它对学术界,尤其是入学申请论文的影响还有待了解[54]。加州高中教师兼作家丹尼尔·赫尔曼(Daniel Herman)写道,ChatGPT 将迎来“高中英语的终结”。[55]普林斯顿大学的高年级本科生 Edward Tian 创建了“GPTZero”——一个基于GitHub Copilot构建的应用程序[56],它可以扫描文本以确定是否是另一个 AI 编写的,打击滥用[57][58]

自2023年1月4日起,纽约市教育局已限制从其公立学校互联网和设备访问ChatGPT[59]

自2023年1月24日起,出版商施普林格·自然规定在其旗下所有期刊的论文中,诸如ChatGPT之类的大语言模型不能被列入作者[60]。同月26日,学术期刊《科学》禁止在论文中使用ChatGPT生成的文本,也禁止将ChatGPT署名为作者。[61]

2023年2月,香港大学决定禁止在港大所有课堂、作业和评估中使用ChatGPT或其他AI工具[62][63]

伦理问题[编辑]

标记数据[编辑]

时代周刊》调查显示,为了创建针对有害内容(例如性虐待、暴力、种族主义、性别歧视等)的安全系统,OpenAI 使用每小时收入不到 2 美元的外包肯尼亚工人来标记有害内容。这些标记用于训练模型以在未来检测此类内容。外包工人接触到如此有害和危险的内容,以至于他们将这种经历描述为“折磨”。[64][65]

竞争[编辑]

ChatGPT的出现和流行增强了科技公司对该领域的兴趣和竞争。2023年2月,Google推出类似于ChatGPT的对话人工智能服务Bard,基于其开发的对话编程语言模型(LaMDA)。Bard根据从网络上收集的信息,对提出的问题生成文本答复。首席执行官孙达尔·皮柴表示该技术将融入Google搜索引擎,部分技术内容将向外部开发者开放[66][67]

百度也于2023年2月确认类ChatGPT聊天机器人项目名字确定为“文心一言”,英文名ERNIE Bot。[67][68]

中国初创公司元语智能首发ChatYuan,号称向ChatGPT宣战。2023年2月3日,元语智能宣布ChatYuan功能型对话大模型-API已上线。但不久后其微信小程序便无法打开[69]

2023年2月20日晚间,在一些社交平台上开始传播“复旦大学自然语言处理实验室邱锡鹏教授团队推出对话式大型语言模型MOSS”的消息。[70]一时间该项目官网访问量激增,网站开始返回“{"message":"服务器流量过载,请明天上午重试"}”的提示。2月21日,网站访问恢复,并且添加了相关情况的说明。

API[编辑]

OpenAI尚未发布ChatGPT的官方API,但有几个社区创建的库可用[71]

参见[编辑]

评论一下

发表评论

注册用户登录后才能发表评论,请登录注册