无标题无名氏No.69301086 返回主串
2026-08-22(六)21:56:18 ID:lBNsq7w 回应
上周和chatGPT一起看了1994年版的《现代科学基础知识:干部选读》,以2026的视角回顾,当年这本书虽然不是完全的预言,但几乎可以当做发展中国家如何科技强国的教科书了。所以我决定让ChatGPT仿照当年的旧例写一写2026年的现代科学基础知识,看看是否能成为一个有价值的科普读物。欢迎肥肥们一同阅读和探讨!以及如果嫌ChatGPT写的不够深入浅出,也可以压力他一下让他讲清楚点
无标题无名氏No.69569852
2026-10-05(一)21:12:23 ID: lBNsq7w (PO主)
三、为什么训练样本之外的表现更重要
一个模型如果只会认训练时见过的图片,并没有多少实际价值。
真正有用的是,换一个人写,换一支笔,图片稍微变暗,数字向旁边移动几个像素,它仍然能够作出合理判断。这种把训练中形成的能力带到新情况中的表现,通常称为泛化。
泛化并不会因为模型足够复杂就自动出现。
恰恰相反,一个拥有大量可调参数的模型,很可能把训练材料中的偶然细节也学进去。例如一批训练图片中,猫恰好大多出现在沙发上,狗大多出现在草地上。模型完全可能利用背景完成分类,而不是学会我们真正希望它掌握的动物特征。这样,它在训练材料上的成绩可以非常好,一换环境却迅速失效。
如果模型过分适应了训练材料中的这些偶然特点,通常称为过拟合。
更多而且更多样的训练数据,往往是减少这种问题的重要办法。只看几十张照片时,沙发和猫可能总是一起出现;看过不同环境、不同姿态、不同品种的大量图片以后,这种偶然关系就更难一直成立。模型必须找到能够跨越更多变化仍然有效的关系,才容易在新数据上保持表现。
因此,机器学习真正关心的并不是“能不能把已有材料学得足够熟”,而是学到的东西离开原来的材料以后还能不能用。
这也解释了为什么测试模型不能只看一个最高分数。真正需要知道的是:换一些没有参加训练的数据,它还能不能保持能力;如果环境进一步变化,这种能力又能维持多久。
无标题无名氏No.69569854
2026-10-05(一)21:12:40 ID: lBNsq7w (PO主)
四、深度学习改变了什么
早期机器学习已经可以让机器从数据中调整模型,但很多任务仍然需要人先替机器决定“应该看什么”。
识别图像时,工程师可能先设计程序提取边缘、纹理、轮廓和颜色,再把这些人为选择的特征交给后面的分类器。语音识别和其他领域也有类似做法。
深度学习的重要变化之一,是让这种“怎样表示问题”的工作有更大一部分也进入训练过程。
多层神经网络可以让前面的计算先形成某些较简单的内部关系,后面的计算再在这些结果上继续组合。层数增加以后,模型可以逐渐形成越来越适合任务的内部表示,而不必要求工程师预先规定每一种特征应该长什么样。
这并不意味着人退出了设计。网络结构怎样安排,训练目标怎样规定,什么数据进入训练,怎样评价结果,仍然需要大量人为选择。只是其中一部分过去必须直接由工程师写出的表示方法,现在可以通过训练形成。
这件事看起来只是技术路线变化,后果却很大。图像、声音和语言中的大量规律,本来很难逐条写成程序。只要这些规律能够在大量数据中稳定出现,机器就有机会通过训练把它们吸收到内部表示中。
过去一项任务往往需要工程师先理解问题,再把理解翻译成特征和规则;现在,有些原来只能依靠这种人工翻译的步骤,可以交给数据和训练完成。
无标题无名氏No.69570101
2026-10-05(一)21:45:22 ID: lBNsq7w (PO主)
五、规模为什么会改变能力
许多复杂任务之所以直到近年才取得明显突破,一个重要原因正是机器可以利用的数据规模和计算规模发生了巨大变化。
对于手写数字,几万张图片已经能提供相当丰富的变化。但语言面对的是另一种数量级。
一句话的意思不仅取决于其中有哪些词,还取决于词语怎样组合、前后文说了什么、说话的人默认哪些背景知识。同一个词放进不同领域可能含义不同,同一个问题在不同语境中也可能需要完全不同的回答。
如果希望机器只完成一个很窄的任务,需要学习的范围还比较有限。如果希望同一个模型能够阅读新闻、翻译文章、编写程序、解释科学概念、总结文件并回答开放问题,它就必须接触远为广泛的经验。
数据规模扩大带来的不只是“同样的东西看更多遍”。更重要的是,模型接触到的变化范围扩大了。
一种语言怎样写法律文件,怎样写小说,怎样讨论化学,程序员怎样解释错误,历史学家怎样描述一个事件,这些材料之间有很多不同,也有大量共同结构。模型如果能够同时从这些材料中学习,就可能形成一些不只服务于单一任务的内部关系。
近年的一个重要变化,是同一个大型模型开始能够承担许多原本分开的任务。
过去,机器翻译是一套系统,图像识别是一套系统,语音识别和问答又各自发展。今天,它们中的相当一部分开始建立在共同的大模型能力之上。模型先在极大规模的数据上学习较为通用的表示,再通过指令、示例、进一步训练或者外部工具用于不同任务。
这使人工智能逐渐从“一种任务配一套专门模型”,走向一种更通用的信息处理基础能力。
当然,数据很多并不意味着什么数据都同样有价值。同一批材料重复一千遍,不会产生一千倍新的经验;错误、重复或者极度单一的数据,也可能让模型学得更加狭窄。真正重要的,是模型能够接触到多少彼此不同、又与任务有关的有效经验。
这个问题到了大型模型时代,会变得更加重要。因为这时已经不能只问“有多少数据”,还必须问:这些数据究竟是怎样来到这里的。
无标题无名氏No.69570102
2026-10-05(一)21:45:37 ID: lBNsq7w (PO主)
六、为什么预测后面的文字会产生这么多能力
大型语言模型常见的一种训练方法,看起来甚至有些简单:给出一段文字,要求模型判断后面最可能出现什么。
如果材料只有几个词,这种任务确实很简单。但文字规模扩大以后,预测后文需要利用的关系会越来越复杂。
一篇历史文章写到某个人物,接下来发生什么,取决于人物、年代和事件之间的关系;一段程序能不能继续写下去,取决于变量、函数和前面代码的结构;一个科学问题如何回答,则需要利用大量概念以及它们之间的联系。
为了在极其广泛的文本中不断预测后续内容,模型不得不形成越来越丰富的内部关系。
这并不等于它在内部保存了一部可以逐页翻阅的百科全书,也不能说明它以和人完全相同的方式理解这些内容。更准确地说,语言中大量反复出现的结构、事实关系和表达规律,被吸收到模型的内部表示中。
这样训练出来的模型,在使用时可以根据新的输入生成此前没有完整出现过的内容。它可以改写一句话,可以根据资料写摘要,可以完成程序片段,也可以把若干概念组合起来回答一个新问题。
“生成”由此成为一种新的计算接口。
过去使用软件,人通常必须知道某个菜单、命令或者程序提供什么功能;生成式模型则允许人直接用语言描述目标,让机器根据已有能力组织输出。
这显著降低了使用复杂计算能力的门槛,也使许多原来相互分开的软件功能开始集中到同一个交互界面中。
无标题无名氏No.69570105
2026-10-05(一)21:45:56 ID: lBNsq7w (PO主)
七、模型学到的世界,从哪里来
一个模型接触了极其庞大的训练材料,并不意味着它接触了“世界本身”。
现实中的事情首先要发生,然后被人观察、测量或者经历;其中一部分才会被记录下来。记录可能变成书籍、报纸、论文、档案,也可能成为实验数据、病历、企业文件、照片、录音、网页和论坛帖子。记录下来以后,还必须被保存下来;纸质材料可能经过几百年仍然存在,也可能毁于战乱和火灾,数字材料看起来容易复制,却也可能随着网站关闭、数据库迁移或者平台停止维护在几年之内消失。
保存下来的材料还需要能够被机器取得和处理。一部从未数字化的旧书,对今天的模型几乎等于不存在;一批已经扫描但无法可靠识别的档案,也很难直接使用;大量存在于私人组织和企业内部的数据,则可能从来不会进入公共训练材料。
因此,一条知识真正成为人工智能能力的一部分,中间经过的并不是一个简单过程:
事情发生 → 被观察或测量 → 被记录 → 被保存 → 能够取得 → 被转换成机器可处理的形式 → 进入训练
每一步都会留下选择。
哪些事情值得写进正式文件,哪些经验主要靠口传和操作继承;哪些书籍被大量出版,哪些只留下极少副本;哪些语言拥有庞大的出版和网络资料,哪些语言很少数字化;哪些机构愿意长期保存原始数据,哪些只保留最后整理出的报告——这些差异都会影响后来机器能够看到什么。
更重要的是,这些缺失并不是随机发生的。
一个社会怎样生产知识、怎样记录事情、怎样保存档案、什么资料可以长期取得,本身都有稳定的制度和习惯。它们原本并不是为人工智能设计的,但几十年甚至几百年以后,却可能直接决定模型能够从过去学到多少东西。
于是,知识生产、记录、保存和可访问性的制度,会成为人工智能能力的一部分。
这并不是说这些制度被直接写进了模型程序。它们更早地作用于训练材料:决定什么经验留下来了,什么消失了,什么被反复记录,什么几乎没有留下痕迹。模型再从这些材料中形成自己的内部结构。
扩大训练规模可以减少“材料太少”造成的问题,却不能自动恢复没有留下记录的世界。
这也是为什么“读过整个互联网”即使真的能够做到,也不能等同于“读过人类经验”。互联网只是人类记录的一部分;今天还能取得的互联网,又只是过去互联网保存下来的一部分。
无标题无名氏No.69570108
2026-10-05(一)21:46:14 ID: lBNsq7w (PO主)
八、数据记录的,有时不只是我们想研究的对象
数据还有另一层容易忽略的性质。
医院数据库记录疾病,但它同时记录了哪些人能够到医院、医生怎样诊断、哪些检查被做了以及医院怎样保存病历。犯罪数据记录案件,也同时受到报警、立案和统计制度影响。企业销售数据不仅反映消费者,还反映企业过去怎样定义客户、怎样考核员工、哪些失败交易值得记录。
因此,一套数据常常同时包含两种东西:它想描述的现实,以及产生这套数据的制度和过程。
如果模型直接从其中寻找规律,两者可能一起被学进去。
一个地区登记了更多某种疾病,不一定只说明那里疾病更多,也可能说明检测能力更强;某类事件在数据库中很少,也可能因为它很少被记录。
这并不是人工智能特有的问题。统计学、医学和社会科学长期都要处理类似困难。
人工智能让这个老问题变得更加重要,是因为今天的模型能够吞下远超个人阅读能力的数据规模。数量增加以后,人很容易产生一种错觉:资料足够多,局部偏差就会相互抵消。
有些随机误差确实会随着样本增加而减小。但如果记录机制本身持续朝某个方向筛选,更多同类数据只会更加准确地学习这种筛选结果。
无标题无名氏No.69570110
2026-10-05(一)21:46:33 ID: lBNsq7w (PO主)
九、更多资料为什么不自动产生更正确的知识
人工智能很擅长从大量材料中发现反复出现的规律。
但资料更多,只能让模型更充分地学习这些材料中存在的规律,并不能保证这些规律本身正确。
例如,如果我们主要用哥白尼以前的欧洲天文学著作训练一个模型,它学到的自然会是一套以地球为中心解释天体运动的知识体系。它可以非常熟练地解释行星为什么有时看起来向后运动,也可以利用当时已经相当精细的计算方法预测天体位置。
如果把这样的资料增加十倍、百倍,它会把这套知识学得更加完整,却不会因为书读得足够多,就自己得到后来建立起来的现代太阳系图景。
这里缺少的并不是更多旧书,而是新的观测和新的证据。
随着天文测量越来越精确,望远镜带来了过去没有的观察结果,原有理论与新的事实不断发生摩擦,人类才逐渐建立起新的天文学。
人工智能面对已有资料时也是如此。
如果历史记录长期重复同一种错误,模型没有一种站在资料之外的特殊能力,能够仅凭“读得足够多”自动把它纠正过来。相反,它完全可能把这种错误学得非常完整,甚至比任何个人都更熟练地解释和运用整套旧知识。
所以,更多数据解决的是“怎样更充分利用已有经验”的问题,却不能单独解决“已有经验本身是否正确”的问题。
新的知识最终仍然要来自世界本身:新的观察、新的测量、新的实验,以及能够让不同解释接受检验的方法。
人工智能能够大幅提高我们利用已有知识的能力,但学习过去留下的记录,不能代替继续向现实世界取得新证据。
无标题无名氏No.69570114
2026-10-05(一)21:46:55 ID: lBNsq7w (PO主)
十、为什么一个很强的模型仍然不等于一个可用的系统
模型训练完成以后,拥有的是一种处理信息的能力。现实工作却通常要求更多。
一个模型回答企业库存问题,需要取得当前数据库;安排出差,需要访问日历和交通信息;辅助研究,需要读取实验数据;控制设备,则必须接收传感器状态并把结果送给执行机构。
因此,现代人工智能越来越多地和搜索、数据库、普通软件以及其他工具结合。
模型可以负责解释目标、处理非结构化信息、选择下一步操作;传统程序则负责精确计算、查询可靠记录和执行明确动作。
这种组合十分重要。因为模型内部保存的知识可能过时,也可能不够精确。能够实时查询可靠外部资料,就不必要求模型把一切事实永久记在参数中。对于计算、数据库修改和其他需要精确执行的任务,也可以把工作交给更可靠的普通程序。
这使人工智能从“给出一段文字”逐渐走向“完成一项任务”。
但系统越向现实行动靠近,对可靠性的要求也越高。一个模型偶尔把一段广告写错,代价可能很低;如果错误结果直接进入财务系统、生产设备或者医疗决策,完全相同的错误率就可能不可接受。
所以评价一项人工智能应用,不能只问模型是否演示过这种能力。还要继续问:它需要哪些数据?这些数据是否可靠?能否接入现实流程?错误是否容易发现?结果怎样验证?失败以后谁来接管?
这些问题不是给人工智能设置额外障碍。它们本来就是任何技术从“能够工作”走向“成为现实能力”必须经过的过程。
无标题无名氏No.69570199
2026-10-05(一)21:56:05 ID: lBNsq7w (PO主)
十一、人工智能为什么会出现一些很不像人的错误
现代模型有一个很有意思的特点:它可以完成许多人认为相当困难的任务,却仍然可能在一些简单问题上突然失误。
这和它形成能力的道路有关。
人的知识建立在身体经验、长期教育、社会生活和现实行动中。模型则主要从训练材料中形成内部关系。两者都能表现出语言、推理和分类能力,却不必以同一种结构实现。
因此,用人的直觉预测机器在哪些地方会失败,并不总是可靠。
一个模型可以写出复杂程序,却在一个略微改变的问题上漏掉明显条件;可以生成非常流畅的科学说明,却同时编出一个不存在的引用;也可能在多数情况下表现稳定,在一种训练中很少出现的环境中迅速失效。
这并不意味着模型“完全不懂”,也不能因为它偶尔完成了困难任务,就认为所有较简单任务都已经自动解决。
更实用的评价方式,是看某种能力在什么条件下稳定存在。成功率有多高?输入稍有变化会不会失效?失败容易不容易被发现?能否用外部资料检查?错误的代价有多大?
这种判断方式并不只适用于人工智能。任何复杂技术最终都要从演示能力转向可靠性、边界和使用条件。