来源：科学的历程 

以下文章来源于科技世代千高原 ，作者段伟文

段伟文（中国社会科学院哲学所研究员）

随着数据驱动的智能科技的发展，人们日益觉得自己生活在无处不在的“数据凝视”之下。所谓“数据凝视“，在某种程度上意味着我们就是数据——各种信息记录和数字痕迹将我们的行为转换成了数据，我们成为了福柯笔下作为新知识客体的可测量类型。对身处其中的人来说，并不是所有的人都具有凝视和测量他人的权力，人们大多不知这一过程如何进行，不了解其个人数据怎么被采集与分析。

反思数据洞察与算法决策黑箱

不论我们是否愿意接受，我们正在进入智能监测时代。我们的数据，也就是我们的特征与行为，正在成为无远弗届的各种数据凝视的对象。根据肖莎娜.祖博芙（Shoshana Zuboff）在《监控资本主义》（2019）一书中的观点，谷歌等监控资本主义的运作者通过对用户行为、特征的了解，生成行为数据，并将其转换为行为剩余——用以洞察用户甚至影响用户，获得超级利润。因此，在这一过程中，谷歌等网络数字平台的信息与数据系统最为关注的并非其所提供的内容，而真正热衷的是竭力采集用户的数据痕迹，对其加以深度挖掘和计算。当然，对这种猛烈的批评的恰当性可以进一步讨论，而平台的现实力量取决于不同的制度文化环境。

不论这一过程是计算还是算计，看似涉及哲学中的“他心”问题，也就是我怎么知道别人的心思。但在现实生活中，我们猜人心思的时候，未必需要这种哲学论证。类似地，数据平台之类掌握数据的主体也不是通过论证，而是先运用数据挖掘对用户的特征、倾向和爱好进行揣测，引导其选择和行为，再通过反馈不断修正迭代。其所运用的更像维亨格尔（Hans Vaihingerd）的疑似哲学（philosophy of as if）。疑似哲学是一种接近尼采但同时也有实用主义色彩的观点，它强调我们之所以形成对世界的观念，并不是为了复刻现实，而是借助所获得的大概的认知，使我们对世界的探索变得更容易。据此，当特定的具有揣测能力的主体认为其可能遇到未知的风险时，就会在其权力所及之处，采取“先发制人”的策略，以寻求对未来的不确定性的控制。

换言之，那些能拿人们的数据说事的主体，看似在替我们讲述关于我们的疑似的故事，实则在探索他们的道路而不是我们的道路。以“智能化反恐”为例，它实际上是一种对反映“恐怖分子”特征的“数据标签”实施的打击。通过数据点的采集，在本体论层面，疑似恐怖分子便成为了成千上万数据点构成的数据化客体。在认识论上，这一过程是通过元数据和算法构建的数据模型，即以这些数据模型是否具有类似恐怖分子的“数据签名”，来识别“恐怖分子”。于是，认定一个人是否为恐怖分子，只需要看“数据签名”，而无需确认在现实世界中具体是谁。这一数据世界中的行动的前提是世界的数据化，所谓“草垛寻针”的过程是通过数据流来实现的。在此过程中，存在着一系列的决策，如确定“监测谁，监测什么，数据如何处理以构建数据草垛”。有些情况下，还会根据监测系统运行的结果对数据签名和数据洞察进行更新迭代。但问题是，被监测者对此算法决策过程一无所知，而一旦出现错误的决策，受害者可能会蒙受不必要的损失，甚至遭受无法承受的伤害。

追问数据凝视下的软生命政治

在各种有形与无形的数据凝视下，产生了一种新的对人的治理方式或生命政治——软生命政治。就像在现实世界中人体表面的疤痕记录或昭示了曾经发生的暴力活动一样，在数据凝视之下的人们，甚至会留下“数据疤痕”。所谓数据疤痕并不难想象：当数据成为人的新的皮肤，每个人与他人和某个地方的联系都会留下数据足迹，而其中有些不那么好或有嫌疑的数据，一旦留下印记便会被人观察到，且难以消除，就会成为数据皮肤上的无法删除和被遗忘的疤痕。而这种数据疤痕会对其拥有者的未来产生深远的不确定性影响 。例如，如果某人曾经租住的区域或者有过一定交往的人一旦作为数据记录下来，相关区域和人若是与某些不好的人或事情联系上，就有可能使这个人的数据出现污点甚至产生疤痕，进而对其未来的机会和行为造成不可预测的负面影响 。

伴随着深度智能化发展，当下的社会已经进入德勒兹讨论过的“控制社会”，而非传统的福柯意义上的“规训社会”，社会管理与治理模式亦正在从生命政治过渡到软生命政治。其中一个重要的表现是，社会管理与治理更多地依靠数据洞察和算法决策。比如，从数据来看，如果喜欢看阿根廷足球的男性较多，则一旦发现某用户的数据显示他/她喜欢看阿根廷足球，则很有可能因为这类观众大概率是男性，而不论其真实性别都会先将其数据签名设定为男性。而如果说，数据显示某场球赛因为运动员很帅，女粉丝占比例占多半，这场比赛的观众的身份则有可能先被设定为女性。

在这种软生命政治的运作中，真正值得关注的是智能机器参与数据洞察和算法决策所带来的结构性的根本改变。比方说，有些人往往会担心通话或聊天记录之类的数据会不会被泄露，但其实在数据洞察中所用的是通话时间、长度、地理位置之类的元数据，因为这是目前智能机器相对容易处理的数据。类似地，脸书等社交媒体平台所带来的真正的挑战并非对某个具体个人的助推与引导，而是这种新的平台可能找到有效掌控人的情绪和左右舆论的运作机制。特别是在平台导流的情况下，某个信息可以在一瞬间为数百万人同时关注，这种只有机器才能处理的大规模交互与传播所带来的颠覆性影响无疑值得进一步探讨，既不容小觑，也应避免因为惧怕而夸大其力量。

正视深度科技化时代的文化滞后

人工智能和大数据等新兴技术所带来的颠覆性改变与冲击，可以用技术社会学奥格本所说的“文化滞后”（culture lag）现象来解释。所谓文化滞后，是指当物质文化变迁过快时，难免导致那些对物质文化加以调节的非物质文化的相对滞后。这些非物质文化又称为适应文化，包括用于调节物质文化的技术、宗教、伦理、法律、信仰等。当某些技术驱动下的物质文化，如当前由数据智能驱动的数据智能监测文化发展过快时，现行的伦理法律跟不上，甚至落差不断加大，自然就出现了各种价值冲突、伦理抉择和法律碰撞。

因此，作为人文哲学与科技伦理所关注的问题是，在技术、法律和伦理的发展进入新的稳定态之前是否能减少对人的伤害。比如，能否避免网约车司机与跳车女乘客因相互不信任导致的悲剧。为此，应该深入理解人工智能等颠覆性的技术所带来的物质文化变迁。在社会生活中，人们的命运以往大多取决于各种把关人，比方说人事部门可以决定是否接受你的简历。但现在，从位置与医疗信息搜索到各种查询与紧急呼救，越来越多地由机器来决定我们的命运，这使得我们必须认真研究智能机器的无意识认知机制，追问智能机器所拥有的非人格权力的广泛行使所带来的全新挑战。

当前，我们必须认识到智能机器在认知上的局限性，谨防其非人格权力的滥用。正如约翰.切尼-利波尔德（John Cheney-Lippold）在《数据失控》（We Are Data）一书中所指出的那样，自动化智能决策与个体命运的关系可以由“x=1-N”的公式进行概括，机器通过数据将我们测定为某个可测量值x，但真实世界中的我们是1，而数据中的x总是比1小的。或许在绝大多数情况下机器的错误和影响不大，或可能在人机系统中被自然消除或削弱，但在一些特定的场景，这些错误可能难以消除，甚至会带来不可逆的风险或难以承受的灾难。比方说，有一个人因身体出现不适而向急救中心呼救，不曾想接线生是智能机器，由于呼救者所描述的身体异常状况不在急救状况清单上，这个人终因机器客服不同意派救护车而在无助中死去。简言之，我们必须认真对待这类悲剧，探讨应该如何赋予智能机器以决策权，考量如何保障智能机器恰当行驶其所具有的非人格权力。

面向未来的社会技术想象与智慧

鉴于上述，面对日益智能化的未来社会，是时候对一些根本性的问题展开讨论了。其中包括一些可能会导致高度争议的结构性问题。例如，可不可以对社会实施“可能性管理”，即能不能根据过去的数据和行为评分决定人们当下的机会和未来的可能性。而这些问题往往又是十分复杂的，很难从现有的法律伦理和社会文化中找到答案，但至少不能盲目滥用，并且应有纠错机制。

以特斯拉导致的数据安全争议为例，智能辅助驾驶与将来的自动驾驶技术的发展本身就是建立在信息监测之上的，对道路环境与车内情况进行实时动态的高精数据收集与监控是其运行的前提条件，这对数据安全和数据隐私带来的挑战其实是现有法律伦理无法简单予以应对的。如果说未来我们必将进入数据和智能监测社会，那么就不能不探寻其必要性与公正性的伦理和法理，通过社会审议和公众协商，订立一种可以为普通人接受的新的社会契约。唯其如此，才可能在推动技术创新与控制伦理社会法律等风险之间找到新的平衡点。

为了回应人工智能所带来的未来挑战，必须正视数据凝视下的各种伦理法律及社会文化层面的焦虑，运用由此带来的忧惧激发人们的价值敏感性，促进其对科技未来的社会技术想象，促使每个人认真思考什么是我们真正想要的未来。

在此过程中，需要充分借鉴人们在技术的社会应用中已经获得的一些经验性的认知与智慧。以智能监测及相应的行为奖惩矫正系统为例，古德哈特定律（Goodhart’s law）指出，在相关权威机构用指标衡量目标行为时，被评价者往往只会针对指标主动进行改进，而非做实质改变，而这往往容易为科层文化所接纳。其实，学术界的“四唯”所造成的弊端就是明例。因此，对各种基于数据和算法的智能评分及具有社会评价与奖惩矫正功能的数“码”的运用，应该进一步考虑其真实效果和长期影响。最近，根据欧盟出台的最新人工智能法律，将禁止运用人工智能对个人社会信用评分，这一法规是否恰当、其背后有哪些伦理社会法律考量，等等，无疑值得进一步探讨。

总之，不论技术发展到哪一步，一个最基本的智慧是，技术赋能管理和治理固然可以更有效地解决各种人与社会的问题，但仅仅依赖技术而诉诸技术解决主义是行不通的。在拥抱人工智能等深度科技化发展所带来的美好生活的同时，必须对可能滋生的各种机器官僚主义与技术解决主义保持高度的警惕。