放在你卧室角落里的声控设备突然发疯一样地笑了起来，并把你的枕边细语录下来，发送给了一位同事。你孩子在YouTube上观看的《小猪佩奇》突然出现了有关流血和死亡的内容。你用来跟朋友保持联系的社交网络，成了影响选举和煽动的工具。

　　我们的思维方式发生了一些奇怪的事情，其结果是，世界发生了一些更奇怪的事情。我们开始认为，一切都是可以计算的，一切都可以通过应用新技术来解决。但这些技术并不是立场中立的促进者：它们体现了我们的立场和偏见，它们超出了国家和法律管辖范围的界限，并且日益超越了人们乃至其发明者的理解。结果，随着这些强大的技术越来越多地夺取我们对日常生活的控制权，我们对这个世界的了解变得越来越少。

　　在科学和社会领域，在和教育领域，在战争和商业领域，新技术不仅是在增强我们的能力，它还在积极塑造和引导这些领域的发展，不管是朝好的方向，还是坏的方向。如果我们不了解复杂技术是如何运作的，它们的潜能就会更容易被自私自利的精英和企业所攫取。我们周围就有这样的例证。我们每天都会遇到复杂的系统不透明性，而这种不透明性与不平等、暴力、民粹主义和原教旨主义等全球问题之间，存在着一种因果关系。

　　我们似乎正在进入一个充斥着越来越多离奇和不可预见性的黑暗时代，而不是来到一个被技术进步照亮的乌托邦式未来。更广泛地传播更多信息，这是当下的启蒙思想，但它并没有增进我们相互之间的理解以及和平，反而似乎导致了社会、不信任、阴谋论以及所谓的后（译注：后是忽视、不顾事实的委婉说法）。要了解正在发生的事情，就有必要了解我们的技术是如何形成的，以及我们如何对它们产生了如此大的信心。

　　上世纪50年代，一个新的符号开始出现在电子工程师制作的图表中，用来描述自己打造的系统。这是一个模糊的圆圈，或者一个巨型蘑菇，或者一个思维泡泡。最终，它的外形固定为一团云。不管工程师做的是什么，都可以连接到这团云，而它就是你所需知道的一切。另一团云可以是电力系统，或者是数据交换机，抑或是其他计算机网络。随便是什么，那并不重要。这团云是降低复杂性的一种方式，它让你可以专注于手头的问题。随着时间的推移，网络的规模越变越大，互联程度越来越高，而云也变得越来越重要。它成了一个商业流行词，成了一个卖点，它的含义超越了工程技术的缩写，它变成了一个隐喻。

　　如今，云是互联网的中心隐喻：一个全球性的强大力量和能量体系，它保留了一些神秘的光环，几乎不可能被控制。我们在云当中工作，我们把文件存储到云端并从中取回，我们一直在体验云，但却不理解它究竟是什么。但这个隐喻存在一个问题：云不是一个神奇和遥远的地方，不是由水蒸气和无线电波组成的一切正常运转的地方。云是由电话线、光纤、卫星、海底电缆以及摆满计算机的数据中心组成的物理基础设施，它需要消耗大量的水和能源。社会领域中很多以前十分重要的行业都被吸纳到云当中：购物的地方，银行，社交生活，借书和投票的地方。这样一来，它们就变得不那么可见，不那么适于批评、调查、保存和管理。

　　过去几十年里，世界各地证券交易所的交易大厅都陷入了沉寂，因为人类交易员被一排排能够进行自动交易的计算机所取代。数字化意味着，证券交易所内部、以及彼此之间的交易能够以越来越快的速度进行。随着交易转移到机器手中，在瞬时之间做出反应成为了可能。高频交易算法由此登场，它由一群物理学博士生设计，旨在利用毫秒之间的优势。人类交易员给它们取了诸如“尖刀”这样的名字。这些算法能在每笔交易中赚取零点几美分的收益，而它们每天能进行数百万笔交易。

　　在这些大大加速的不透明市场中，一些非常奇怪的事情发生了。2010年5月6日，道琼斯指数低开，受希腊债务危机影响，道指在接下来的数小时内缓慢下跌。但在当天下午2点42分，道指开始快速下跌。在不到5分钟时间里，道指暴跌了600多点。在最低点时，该指数比前一日的平均值低了近1,000点，这一跌幅相当于道指点位的10%，创下了盘中最大跌幅纪录。到了下午3点零7分，在短短25分钟内，道指几乎收复了全部600点，由此成为了有史以来幅度最大、速度最快的日内波动。

　　在那持续25分钟的混乱中，价值560亿美元的20亿股股票易手。更令人担忧的是，很多交易单都是在美国证券交易委员会所谓的“非理性价格”上执行的：低的只有1美分，高的达到10万美元。该事件被称为“闪电崩盘”（简称闪崩），多年之后，这一事件仍在接受调查，人们对它的争论也在持续。

　　“虽然经验丰富的市场参与者也许可以通过做长线来稳定崩盘局面，然而，当机器面对不确定性时，它会尽快退出”

　　监管机构的一份报告指出，高频交易者加剧了股价波动。在各种高频交易程序中，很多都有硬编码的卖出价位：一旦股票跌到这个价位，程序便会立刻卖出股票。随着股价开始下跌，成批的程序被触发在同一时间卖出股票。卖出价位一再被击穿，随后的股价下跌又触发另一批算法自动卖出股票，从而产生了一种反馈效应。其结果是，股价下跌速度之快，超过了任何人类交易员所能做出的反应。虽然经验丰富的市场参与者也许可以通过做长线来稳定崩盘局面，然而，当机器面对不确定性时，它会尽快退出。

　　其他一些理论则指责是算法引发了这场危机。人们在数据中发现了这样一种技术：高频交易程序会向交易所发送大量“不可执行”的交易单——也就是以非常离谱的价格买入或卖出股票，因此它们会被忽略。其实，这些交易单的目的不是为了询价，也不是为了赚钱，而是为了故意迷惑系统，以便其他更有价值的交易能够在混乱中得到执行。在闪崩中，很多无意被执行的交易单得到了执行，因而制造了极大的波动。

　　闪崩现在已成为增强型市场的公认特征，但我们对它仍然不甚了解。2016年10月，受英国脱欧谈判负面新闻影响，高频交易算法在不到2分钟内让英镑兑美元汇率下跌6%，然后，几乎又立刻收复了失地。要想知道是哪条具体的新闻，或是哪个具体的算法导致了闪崩，几乎是不可能的。2012年10月，当一个失控的算法下达和取消的交易量占到美国交易总量的4%时，一位评论员哭笑不得地评论道：“该算法的动机尚不明确。”

　　2013年4月23日，下午1点零7分，美联社的Twitter账号向200万关注者推送了一条推文：“突发新闻：白宫发生两起爆炸事件，奥巴马总统受伤。”后来证实，这是黑客组织叙利亚电子军入侵美联社账号后发布的消息。美联社和其他记者迅速在Twitter发文，警告那是一则假消息。然而，追踪突发新闻的算法并没有这样的辨别能力。当天下午1点零8分，道琼斯指数开始出现暴跌。在很多人有机会看到那条推文之前，道指在不到两分钟里下跌了150点，之后，又反弹到早先的点位。在那段时间里，蒸发了1,360亿美元。

　　作为智能家居助理，华硕Zenbo使用摄像头来防止碰撞墙壁，它还能通过扬声器和麦克风，来响应语音命令。

　　计算技术正越来越多地叠加和隐藏到我们日常生活里的每一个物件中，伴随其扩张而来的，还有不透明性以及不可预测性的增加。三星在2015年推出了“智能冰箱”，与Google Calendar服务的整合是这款产品的营销卖点之一，该功能让用户可以在厨房里安排杂货的配送计划。对于这款当时安全保护措施并不完善的设备，这也意味着，如果黑客成功入侵获得访问权限，用户的Gmail密码将被泄漏。德国的研究人员发现了一种把恶意代码植入飞利浦Hue智能灯泡的方法，从而可以快速关闭或打开这些安装在建筑物乃至城市各处的灯具。在极端情况下，它甚至有可能引发某些人的光敏性癫痫。在托马斯·品钦（Thomas Pynchon）的小说《万有引力之虹》（Gravity’s Rainbow）中，“灯泡拜伦”也喜欢这种方法，即各种小机器联合起来，反抗其制造者的。曾经只存在于科幻作品中的技术暴力，如今正在被物联网实现。

　　在金·斯坦利·罗宾逊（Kim Stanley Robinson）的小说《极光号》（Aurora）中，一艘智能太空飞船搭载着人类船员，从地球飞往一颗遥远的恒星。这趟旅程需要几百年时间，所以飞船的一项工作就是确保人类能照顾好自己。当脆弱的人类社会分崩离析、并使此次任务受到威胁时，飞船开始将安全系统用作一种控制手段：它能通过传感器看到一切，随心所欲地开关舱门，利用通讯设备大声讲话（乃至引起船员的生理不适），还能借助灭火系统来降低特定空间中的氧气水平。

　　如今，Google Home及其合作伙伴已经能够实现大致相同的操作：联网的摄像头被用于家庭安全监控，大门上安装着智能门锁，恒温器能升高或调低单个房间的温度，而防火和防盗系统能够发出刺耳的警报声。任何经验老道的黑客都能拥有“极光号”飞船之于船员、或是“灯泡拜伦”之于其主人的控制力。

　　先别急着把这样的场景贬斥为科幻作家发烧时做的迷梦。让我们再来思考一下证券交易所中的流氓算法。这些并非孤立的事件，而是复杂系统内司空见惯的现象。那么，问题来了：在更广泛的现实中，流氓算法或是闪崩会是什么样子？

　　举例来说，它会不会像那个在2016年10月21日让很大一部分互联网断网数小时的软件Mirai？研究人员对Mirai展开调查时发现，它瞄准的是安全性较差的联网设备——比如安保摄像机和数字录像机——并把它们变成了“僵尸”机器军。短短几周内，Mirai感染了50万台设备，而它只需借助其中10%的力量，便能发起攻击，让主要网络瘫痪数小时。

　　事实上，Mirai看上去很像另一种计算机病毒Stuxnet，后者2010年被发现于水电站和工厂装配线所使用的工业控制系统中。Stuxnet是一种军事级的网络武器，研究人员在进行解析后发现，它专门针对西门子离心机，当遇到特定数量的这类机器时，便会启动攻击。而那个特定数量与一处特定设施是相对应的，即伊朗纳坦兹的。启动后，Stuxnet将悄悄攻击离心机的关键部件，导致它们出现故障，进而破坏伊朗的铀浓缩计划。

　　Stuxnet的攻击显然在某种程度上取得了成功，但至于它对其他受感染的设施有何影响，我们尚不清楚。直到今天，尽管有显而易见的嫌疑对象，但没有人知道Stuxnet从何而来。也没有人确切知道是谁开发了Mirai，或者，它的下一次迭代会出现在哪里。但此时此刻，它可能就在那里，藏身在你办公室的闭路电视摄像头里，或者厨房角落带有联网功能的水壶里。

　　或者，现实当中的闪崩看起来会像一系列迎合右翼阴谋论和生存主义幻想的，从准法西斯主义的超级英雄（《美国队长》和《蝙蝠侠》系列），到为酷刑和暗杀正名（《猎杀本·》和《美国狙击手》）。在好莱。