20231128 盖茨表示GPT-5不会比GPT-4有太大改进
🦉 AI新闻
🚀 盖茨表示GPT-5不会比GPT-4有太大改进
摘要:比尔·盖茨在与德国《商报》的采访中透露,虽然OpenAI内部有人相信GPT-5会优于GPT-4,但他认为目前的生成式人工智能已经达到极限。盖茨对GPT-5未来的发展并不乐观,他更看好AI Agent,认为它将彻底改变人们使用计算机的方式,甚至能使人们每周只工作3天。然而,盖茨的预测并非总是准确的。
🚀 字节跳动成立专注于AI创新业务的新部门Flow
摘要:字节跳动成立了一个专注于AI创新业务的新部门Flow,已推出两款AI对话类产品并在孵化中多个AI相关创新产品。此举是字节跳动在业务和架构调整中的一部分,还从其他业务单元抽调人员参与新产品开发。字节跳动已布局从模型层到应用层的各个层面。该举措显示字节跳动在AI应用层加速推进的决心。评分:影响力25分、公众兴趣25分、新颖性25分、重要性25分。
🚀 浪潮信息发布开源的“源 2.0”基础大模型
摘要:浪潮信息发布了“源 2.0”基础大模型,并宣布全面开源。该模型通过使用高质量的中英文资料降低了互联网语料内容占比,并采用了基于大模型的数据生产及过滤方法,提升了数据质量。在算力方面,采用非均匀流水并行的方法,让模型在流水并行各阶段的显存占用量分布更均衡。源 2.0 在评测上表现中上水平,并已全面开源,可免费下载使用。
🚀 大模型注意力机制再创新:Meta引入“System 2 Attention”提升准确率27%
摘要:Meta推出了一项新研究,通过调整大模型的注意力机制,命名为“System 2 Attention”(S2A),让模型在解决问题前先把无关信息去除,从而提高准确率。这种机制不需要微调或训练,仅靠Prompt就能使大模型准确率上升27%。研究团队在测试中发现,S2A优化后的模型在准确性和客观性方面都有明显增强,与人工精简的提示词接近。该研究给AI加上了一层“护目镜”,并有可能对人类学习思维模式也有帮助。
🚀 维基百科创始人吉米·威尔士称OpenAI开发的ChatGPT写维基百科文章“很糟糕”
摘要:维基百科创始人吉米·威尔士在接受采访时表示,OpenAI开发的聊天机器人ChatGPT-4在写维基百科文章方面表现糟糕,存在遗漏内容、写错事实并编造来源的问题。威尔士认为,超人类的AI可能需要50年才能实现。不过,他愿意考虑使用AI为维基百科提供服务的可能性,如果有一个AI工具能通过比较维基百科文章和来源找出错误,AI将在减少错误信息方面发挥重要作用。然而,目前还没有具体计划。维基百科愿意与一个开源的免费AI公司合作,但必须符合维基百科原则。
🗼 AI知识
🔥 Transformers在组合任务上的局限性和改进方法
这篇文章讨论了大规模Transformer模型在解决复杂问题时的局限性。虽然Transformer在许多任务上表现出色,但在需要多步骤推理的复合问题上往往失败。研究发现,Transformer的性能随着问题复杂度的增加而下降,而且模型很难完全掌握任务。文章还指出,Transformer在解决问题时往往依赖于表面模式匹配而不是真正的推理能力。作者提出了一些改进Transformer性能的建议,包括使用规划模块和迭代改进方法。
🔥 Intro to Large Language Models
OpenAI 的大神 Andrej Karpathy 前几天在他的 YouTube 频道讲了一堂课,系统的介绍了大语言模型,内容深入浅出。
更多AI工具,参考国内chatgpt4me,Github-chatgpt4me