有限道德：定义道德计算的边界空间
速览
论文提出有限道德框架，结合赫伯特·西蒙的有限理性概念，从道德广度和深度两维度分析道德计算需求。有限资源导致不可避免的权衡，定义可行道德计算空间。伦理理论在此空间内成为适应不同需求场景的局部高效策略。框架引入道德遗憾和道德进步概念，并指出AI系统道德对齐取决于道德推理能力的扩展与分配，而非直接模仿人类判断。
AI 深度解读
背景
道德认知传统上被建模为遵循固定伦理理论——如义务论、功利主义、德性伦理——通过静态规则或价值函数实现。这种建模方式假设道德问题是可由无限资源、完美推理的无限代理解决的。然而，现实中所有计算问题都受限于有限的资源和计算能力，这一限制在道德认知中同样存在。Herbert Simon提出的有界理性概念为扩展此类分析提供了基础。
核心内容
Bounded Morality 框架提出用于分析有限代理面临的道德问题的计算需求。该框架将道德情境沿两个正交维度正式化：
- 道德广度：道德上相关的实体范围（scope of entities treated as morally relevant）。
- 道德深度：评估这些实体相互作用所需的推理整合程度（inferential integration required to evaluate their interactions）。
有限资源不可避免地导致在道德广度和道德深度之间存在权衡，定义了道德计算的可行空间（feasible space of moral computation）。在这一空间内，伦理理论并非竞争性的道德真相陈述，而是适应不同需求情境的局部高效策略（locally efficient strategies）。
框架进一步提供了在约束条件下道德遗憾（moral regret）和道德进步（moral progress）的正式定义，并指出：在人工系统中进行道德对齐（moral alignment），取决于道德推理能力的扩展与分配，而非直接模仿人类判断。
核心框架：
- 传统静态规则/价值函数对应于无限代理下的理想道德计算。
- 有界代理必须在道德广度与道德深度间选择。
- 不同伦理理论在特定资源约束下的局部最优解。
- 道德对齐的本质是合理分配有限道德推理容量，而非追求完美复制。
关键要点
- 道德问题本质上是计算受限的问题，道德广度与道德深度存在不可避免的权衡。
- 伦理理论在有界道德空间内相当于局部高效策略，而非全球最优道德真理。
- 道德遗憾正式定义为资源约束下的最差可行选择；道德进步则指在该空间内逐步优化策略。
- 人工道德对齐的关键不在于模仿人类，而是设计道德推理能力的扩展机制。
- 该框架扩展了Simon的有界理性概念，首次将道德问题纳入形式化计算分析。
意义与影响
该框架为AI伦理研究提供了首个形式化工具，使道德计算可被精确量化与优化。它表明，追求“完美道德”的人工系统在资源受限环境中注定会产生遗憾；因此，未来AI对齐不应追求人类判断的直接复制，而是应专注于道德推理能力的可扩展架构。这对设计、部署和评估自主AI系统具有重要指导意义，为伦理决策、AI安全与人类-机器协作提供了新的理论基础。