一AI不是学习，是猜词游戏
AI不是在学习，是在玩猜词游戏
很多人以为AI像学霸一样理解知识，但从技术原理看完全不是这回事。据Google和OpenAI公开发表的论文，大语言模型本质上是一个概率预测器——输入"中国的首都是"，它算出"北京"的概率是87%，"上海"是4%。AI并不"知道"北京是首都，它只是"猜"这个词最有可能出现在那个位置。很多人的做法：直接把AI当权威信息来源。结果就是被"AI幻觉"坑了——它用自信的口气编造出一本正经的错误答案。正确的做法：把AI当"高智商复读机"，它的输出必须交叉验证，尤其是涉及数据、日期、引用时。
二训练一次大模型，够一个家庭用电上百年
训练一次大模型，够一个家庭用电上百年
据斯坦福AI指数报告和Nature发表的论文数据，GPT-3一次完整训练耗电约1,300MWh——相当于一个美国家庭130年的用电量。GPT-4的训练成本推测更高，达5,000MWh以上。据MIT的分析，一次ChatGPT对话的碳排放是单次Google搜索的10倍。AI确实高效，但这个效率的代价是巨大的能源账单——很多人完全忽略了这一面。
三AI严重偏科——微积分95分，小学应用题不及格
AI严重偏科——微积分95分，小学应用题不及格
AI在代码和数学上表现惊人，但在常识推理上经常翻车。据MMLU、HumanEval等公开基准测试，顶尖模型在代码生成上通过率达85%以上，数学正确率超90%。但遇到需要常识的问题时，正确率暴跌到60%-70%。比如"一块钱买了一个瓶子，两块钱卖掉；三块钱买回来，四块钱再卖掉，一共赚了多少钱？"——不少顶级模型都会算错。很多人以为AI什么都擅长，结果在简单逻辑问题上被坑了还不自知。
四90%训练数据是英文，中文是少数派
90%训练数据是英文，中文是"少数派"
据各家公司公开披露的信息，主流大模型训练数据中英文占比普遍在80%-95%。GPT-3的570GB训练数据里，中文不到30GB。这意味着中文提问在AI看来是"少数派样本"，回答的质量和详细程度远不及英文。很多人抱怨"中文AI太笨"，但问题不在模型本身，在训练数据就严重偏科。正确的做法：对重要任务先用英文写提示词，或者在中英文结果之间交叉对比。
五进过AI的数据，永远洗不干净
进过AI的数据，永远洗不干净
据NeurIPS 2023等顶会论文的研究成果，现有大模型无法实现真正的"数据遗忘"。即使重新训练，也无法100%消除某个特定数据点的影响。目前的技术（差分隐私、模型剪枝）只能降低影响，不能彻底抹除痕迹。这对处理敏感数据的人是个铁律：输入给AI的数据某种程度上是不可逆的。
我是AI实干家，每天拆解一个AI实用技巧。明天周日盘点本周AI圈大事，关注了别错过。