三、机器怎样把动作稳定下来
知道自己在哪里以后，机器还要让动作真正到达目标。假设机械臂应该移动到某个位置，最简单的办法，是不断测量现在的位置，再和目标比较。如果还差得远，就继续驱动；如果已经接近目标，就减小动作。这种根据结果不断修正行为的方法，就是反馈控制。

但“有误差就纠正”还不够。真实机械结构有质量和惯性，电机产生的力量也不会在发出命令的一瞬间消失。如果机械臂正在高速接近目标，等它真正到达以后才决定减速，往往已经来不及。它会冲过头，再向相反方向纠正，然后又冲回来。如果控制方式不合适，反馈反而会制造振荡。

工业控制中有一类极其常见的方法叫PID控制。它大体同时考虑三件事：现在离目标差多少，偏差是否已经持续了一段时间，以及偏差正在以多快的速度变化。

如果离目标还很远，可以较强地纠正；如果已经快速接近目标，就提前减弱动作；如果长期总是差一点，还可以逐渐补偿这种持续误差。不同系统会使用不同的控制方法，但其中有一个非常普遍的思想：控制不仅要纠正误差，还要考虑这次纠正接下来会造成什么。

无人机保持姿态、汽车控制速度、电机维持转速、工业设备稳定温度和压力，都包含类似的问题。反馈使机器不必事先知道未来会出现的每一个扰动。

无人机受到一阵横风以后，机身开始倾斜。传感器发现姿态变化，控制系统调整几个电机的推力；姿态恢复以后，再减小修正。控制器不必提前知道这阵风什么时候出现。只要偏差能够及时被发现，就有机会在运行中把它纠正回来。

四、现实世界还要求及时反应
反馈控制还有一个容易被忽略的条件：时间。现实中的闭环并不是瞬间完成的。世界发生变化，传感器测到它；数据要传输和处理；计算机作出判断；命令再送到执行机构；电机、液压装置或者其他机构开始动作。每一步都需要时间。

如果整个过程太慢，机器作出的其实是对“过去那个世界”的反应。房间温度变化很慢，晚几秒处理通常没有多大关系。

无人机保持平衡则完全不同。机身正在倾斜时，几百毫秒已经可能很重要。如果所有传感数据都先上传到远方服务器，等复杂计算完成以后再把结果传回来，回来时飞机可能早已处于另一种姿态。高速行驶的汽车也一样。

所以对行动系统来说，计算能力不仅是“能不能算出来”，还包括“能不能及时算出来”。这也是为什么现实机器经常同时存在不同时间尺度的计算。

一些路线规划和复杂判断可以慢一些完成；姿态、速度和电机控制则必须在很短时间内连续运行。很多计算因此必须留在机器本地，而不能全部交给远端。答案是否正确和答案是否及时，在行动系统中往往不能分开。
五、机器进入不断变化的环境
固定工位可以通过夹具、围栏和标准化减少变化，道路却很难这样处理。车辆和行人在运动，光照不断变化，标线可能磨损，道路可能施工，临时障碍随时可能出现。

自动驾驶汽车因此必须一边运动，一边不断感知环境。它需要判断道路在哪里，周围有哪些物体，它们正在怎样运动；还要决定保持速度、减速、停车还是转向。

机器自己的动作又会立即改变下一刻面对的环境。汽车转动方向盘以后，摄像头中的画面会变化；减速以后，与前车之间的距离关系也会变化。于是，一个完整的闭环出现了：感知 → 判断 → 行动 → 世界变化 → 再感知。

自动驾驶之所以成为近年很有影响力的人工智能应用之一，一个重要原因就在这里。它把图像识别、状态估计、预测、规划、控制、计算延迟和安全问题放进了同一个现实系统。这些问题任何一个单独看都不新鲜，真正困难的是它们必须同时工作，而且汽车面对的环境并没有预先替机器整理好。

六、从认识环境到形成行动
传统工程通常喜欢把从感知到行动的过程分得比较清楚。例如汽车可以先从图像中识别车辆，再计算车辆的位置和速度，再预测它可能怎样运动，然后规划路线，最后由控制系统执行。

机械臂也可以先识别一个杯子，测量它的三维位置和朝向，再计算抓取位置，最后控制关节运动。这种结构有明显优点，每一步都比较容易理解，也比较容易单独检查。

机器学习的发展使另一种路线逐渐成为可能。上一节已经看到，神经网络可以从大量输入中形成一些人没有逐项规定的内部表示。这样的表示不一定只用来判断“这是一只猫”或者“这是数字7”，也可以参与形成行动。

例如一个机器人要抓桌上的杯子，它当然可以先明确计算杯子的距离、方向和大小。但通过大量抓取经验，它也可能形成一些更直接服务行动的内部关系：这个位置够不够得到，从哪里抓更稳，需要多大力，向这个方向移动会不会碰到其他东西。

这些内部状态未必能够被人逐项翻译成传统工程量，却仍然可以帮助机器产生正确动作。于是，从计算结构上看，可以出现一种很直接的关系：传感器输入 → 神经网络 → 动作。

这和上一节的“像素 → 神经网络 → 数字判断”在原理上并没有一道无法跨越的鸿沟。机器学习最初大量用于感知，后来逐渐进入预测、规划和动作选择。一些系统还把从感知到行动之间的多个步骤一起训练，这通常称为端到端学习。

现实机器经常采用混合结构。学习模型处理难以写出规则的环境信息，传统控制器负责快速、稳定地执行动作；一些安全限制则仍然可以由独立系统负责。过去必须由工程师事先规定的一部分环境表示和行动策略，现在也可以从经验中形成。

七、机器可以一边行动，一边认识世界
更通用的机器人还会遇到自动驾驶中没有那么突出的一类问题。一个物体离自己多远，可以通过视觉估计；但它究竟有多重、表面有多滑、是否柔软、里面有没有液体，往往不能只靠远距离观察准确知道。

机器人可以先伸手接触。手指碰到物体以后，可以知道表面是否容易滑；稍微抬一下，可以判断它比预计轻还是重；物体开始移动以后，还能发现内部东西是否会晃动。行动本身产生了新的信息。

人也一直这样做。拿起一个不熟悉的箱子时，我们通常不会先测量它的质量，再决定如何发力。我们会先试着提一下，然后根据箱子的反应立即调整力量。

所以机器的感知并不一定在行动以前已经完成。有些信息只能通过行动获得。这使“感知—判断—行动”的关系进一步变成一个连续过程。机器可以为了获得信息而行动，再根据新信息继续调整下一步动作。

对于更通用的机器人来说，环境状态也不一定首先是一份完整的物理说明书。一个机器人未必需要知道某个物体“准确重3.72千克”，才知道它应该双手去拿；也未必需要把所有空间关系换算成一组人能读懂的坐标，才知道一个东西“够得着”或者“过不去”。

机器可以形成直接和行动有关的内部关系。这种能力如果进一步发展，机器面对现实世界的方式就会和传统自动化出现很大差别。传统机械臂要求环境先被整理好；更通用的机器则需要在不断变化的环境中，边感知、边行动、边修正自己对世界的认识。

八、为什么少见情况最难处理
机器进入开放环境以后，会遇到一个很难彻底消除的问题：现实情况的组合几乎没有尽头。正常天气、正常道路、普通车辆可以产生大量数据，也最容易被模型学好，真正困难的往往是少见组合。

强烈逆光下正在施工；货车掉下一件形状奇怪的物体；原有标线和临时标志互相冲突；行人从遮挡物后突然出现；一个熟悉物体以从未见过的姿态出现。每一种情况都很少见，但机器运行得足够久以后，就会不断碰到各种不同的“很少见”。

所以，一个系统在99%的普通场景里表现很好，并不意味着剩下1%的工作也只剩下原来的百分之一。剩下的部分往往更复杂。这些少见、边缘和异常情况，常被称为corner case，或者长尾问题。

一种处理办法，是让真实运行不断产生新的经验。系统一旦在某类场景中表现不好，人们就可以把这些场景收集出来，加入后续训练和测试。自动驾驶尤其容易形成这种循环：大量车辆在真实道路上运行，不断暴露过去没有充分考虑的情况，再把其中一部分变成新的训练材料。

但单靠等待并不够。真正危险的事件往往太少，不能等它自然出现很多次。因此，还可以主动寻找罕见场景，或者在仿真环境中制造强光、暴雨、打滑、传感器故障和突然障碍，让机器反复经历现实中很难大量收集的情况。

无论真实数据还是仿真，都不可能提前列举未来所有组合。因此，可靠系统还需要知道自己的工作边界。如果多个传感器互相严重矛盾，如果输入明显偏离训练中见过的情况，或者系统无法可靠判断接下来应该做什么，就需要进入一种更保守的状态。

九、自主系统怎样真正成为现实能力
一种很自然的想法是：机器负责普通情况，遇到困难以后，把控制权交还给人。这在一些场景中有效，但并不是普遍可靠的安全办法。

如果机器已经连续很长时间自己运行，人可能没有持续保持对当前状态的完整认识。突然要求人在几秒内理解环境、判断机器为什么退出并立即接管，本身就可能很困难。而且机器最希望退出的时候，往往正是环境最复杂的时候。

因此，可靠系统需要预先设计不同的退路。汽车可以减速并寻找安全位置停车；无人机可以先维持稳定姿态；工业设备可以停止动作、释放危险能量；某些系统还可以切换到能力较弱、但行为更容易预测的备用控制方式。

人的接管只是其中一种可能。真正的问题始终是：在当前状态下，哪一个部分拥有足够的信息、能力和反应时间。

开放环境很难，也不意味着所有机器都应该越来越通用。工业机械臂提供了另一条一直有效的路线：继续改造环境。仓库可以规定货架和地面路线；工厂可以使用标准托盘、夹具和定位标记；港口可以限制车辆运行区域。

如果稍微改造环境就能让机器可靠工作，就没有必要要求机器理解无限复杂的世界。道路、家庭、农田、建筑工地和灾害现场则很难完全这样做，这些地方更需要机器自己适应环境。

人形机器人之所以重新受到重视，也可以从这个角度理解。现代建筑、楼梯、门把手、工具和工作台原本就是按照人的身体设计的。如果机器拥有与人相近的身体结构，它理论上可以直接利用很多现成环境。

但人形结构同时带来平衡、能耗、机械复杂度、可靠性和成本等困难。所以现实中的机器发展，很可能长期存在两条并行路线：让机器越来越能适应现实，或者继续把现实设计得更适合机器。

从固定工位上的机械臂，到自动驾驶，再到更通用的机器人，机器行动能力扩展的并不只是“能够做多少种动作”。更重要的是，它能够面对的现实范围越来越大。

固定环境中的机器依靠坐标、反馈和标准化就能获得很高精度；环境开始变化以后，需要更丰富的感知和状态估计；开放环境进一步要求机器在有限时间内判断、行动，再根据结果修正下一步；机器学习又使其中一部分表示和策略可以通过经验形成。

最终，机器行动变成一个持续运行的循环：感知世界，形成足以行动的内部状态，选择动作，改变世界，再从新的世界继续感知。

人工智能正在改变这个循环中越来越多的部分，但物理世界的约束并没有消失。传感器会出错，计算需要时间，控制存在延迟，动作会产生新的扰动，训练数据也不可能覆盖未来的一切情况。

当计算结果不再只是屏幕上的文字和图像，而开始真正变成车辆转向、机械臂运动和机器施加的力量以后，算法最终仍然要回到现实世界接受检验。

下一节将进入另一种更加复杂的对象。计算机和机器人主要处理信息与外部物理世界，而现代生命科学正在使人类获得另一类能力：读取生命系统，并逐步设计、干预和改造其中的一部分。