每日自问自答:大模型的使用人数是否在减少?
从 ChatGPT 的访问量曲线谈到自己的使用体感:基座模型进展变慢、幻觉依旧,眼下最好用的方式仍是搜索增强。
- #daily-qna
- #ai
- #llm
- #product
大模型的使用人数确实有所下降,但绝对数量依然庞大。
我查阅了 ChatGPT 的访问量数据,自 2023 年 4 月达到 18 亿月活跃用户(MAU)的峰值后,访问量开始小幅下降并波动,直至 2024 年 4 月再次达到 18 亿 MAU。此后,MAU 急剧下降,3 个月内减少了超过 90%,降至 1.3 亿。尽管如此,ChatGPT 的 MAU 在国内应用中仍处于领先地位,只是与巅峰时期相比有所减少,因此人们感觉大模型不如以前热门,这是正常的。
大模型及其相关产业目前面临诸多挑战。
首先,基座模型在用户可感知的产品上进展缓慢。尽管新模型如 Llama 3.x、GPT 新版本等仍在推出,但频率降低,宣传力度减弱,缺乏突破性进展。大模型的发展方向越来越偏向学术研究,如提高 ARC-AGI 基准测试分数等,对普通用户的实际影响有限。
其次,大模型的问题已广为人知,失去了光环。大模型存在“幻觉”问题,可能是训练数据和方法的问题,也可能是提问不当。我曾使用国内外大模型 API 和本地运行的 7B 模型来实现预期功能,但调教过程困难重重。尽管总结了多 agent 设计技巧,但效果仍难达预期。今年年初的时候,曾尝试用 GPTs 进行调度、GPT 3.5 turbo 处理简单任务、小模型专项工作(如 NLP 实体识别),希望各模型发挥所长,但边缘 case 还是过多,输出可控性较差。大模型确实还没有那么成熟。
最后,我发现现阶段模型的最佳应用是搜索增强,这也是我目前最常用的方式。但大模型尚未替代 Google,因为 Google 在关键词搜索上表现卓越,能迅速提供期望结果,速度上大模型难以匹敌。
我建议的使用方法是:先构思提纲,让大模型补充事实,然后润色,最后输出符合目标格式的文本或代码。
大模型的上下文窗口扩大确实有益,但需注意保持其“注意力”,一次只处理一件事。如果大模型的回答不满意,我宁愿修改问题,而不是通过对话让模型自行修改,以免对话变得冗长且难以聚焦,即使修正了一些细节,后续对话也易产生幻觉。
昨天晚上我就用这种方式快速生成了一份文档供讨论,这种用法确实能极大的提升我输出想法的效率。
欢迎现在还在使用大模型的各位朋友们也交流自己的使用心得与体验。