文学作品阅读有话要说:点击屏幕中间,可以看到当前章节及切换阅读主题!

第三部分 智人失去控制权

第11章 信数据得永生

数据主义认为,宇宙由数据流组成,任何现象或实体的价值就在于对数据处理的贡献。读者可能觉得这实在是胡言乱语,但事实上,大部分的科学机构都已经改信了数据主义。数据主义是由两大科学潮流爆炸性汇流而成。在达尔文发表《物种起源》150年后,生命科学已经认为生物体都是生化算法。此外,在图灵想出“图灵机”(Turing Machine)这个概念的80年后,信息科学家也已经学会写出越来越复杂的电子算法。数据主义指出,同样的数学定律同时适用于生化算法及电子算法,于是让两者合而为一,打破了动物和机器之间的隔阂,并期待电子算法终有一天能够解开甚至超越生化算法。

对于政府、企业或一般消费者来说,数据主义提供了突破性的技术和强大的全新力量。对于学者和知识分子来说,它也能提供几个世纪以来渴求的科学圣杯:从文学、音乐学、经济学到生物学,所有科学学科都能统一在单一理论之下。根据数据主义,贝多芬的第五交响曲、股市泡沫和流感病毒不过是数据流的三种不同模式,能够使用同样的基本概念和工具来分析。这个想法十分吸引人,可以让所有科学家讲一种共通的语言,在学术的鸿沟上搭起桥梁,并轻松让某种见解跨越不同学科。终于,音乐学家、经济学家和细胞生物学家也能互相理解和沟通了。

在此过程中,数据主义将传统的学习金字塔彻底翻转。在这之前,大家认为数据只是智力活动这个漫长过程的第一步,我们要把数据转化为信息,信息转化为知识,最后把知识转化为智能。但数据主义者认为,数据的流动量已经大到非人所能处理,人类无法再将数据转化为信息,更不用说转化成知识或智能。于是,处理数据的工作应该交给能力远超人类大脑的电子算法。实际上,这也就代表着数据主义对人类知识和智能有所怀疑,而倾向于信任大数据和计算机算法。

最坚信数据主义的正是它的两个母学科:计算机科学与生物学。两者之中,又以生物学更为重要。生物学拥抱了数据主义,才让计算机科学的小小突破撼动了整个世界,可能彻底改变生命的本质。要说所有生物都是算法,不管是长颈鹿、番茄或人类都只是不同的数据处理方式,你可能并不以为然。但这里必须强调,现在的科学教条就是如此,而且对整个世界的改变难以想象。

今天,我们视为数据处理系统的不只是单一生物,还包括蜂箱、细菌的菌落(colony)、森林和人类城市之类的社会。经济学家也越来越常用数据处理系统的概念来诠释经济。一般人看来,经济就是有农民种小麦,有工人做衣服,有顾客买面包和衣服。但在专家眼中,经济机制就是收集关于欲望和能力的数据,再转化为决策。

根据这种观点,自由市场资本主义和国家控制共产主义就不是意识形态、伦理教条或政治制度上的竞争,而根本是不同数据处理系统间的竞争。资本主义采用分散式处理,而苏联式共产主义则是集中式处理。资本主义让所有的生产者和消费者直接相连,并允许他们自由交换信息、独立做出决定来处理数据。自由市场上的面包价格如何确定?每家面包店爱做多少就做多少,价格爱定多高就定多高。而顾客只要能够负担,一样可以爱买多少就买多少,或是直接去其他面包店购买。一根法棍面包1000美元并不犯法,只是大概没人会买。

让我们把规模放大,假设投资者预测面包需求将增加,就会买入研发高产量转基因小麦的生物科技公司股份。资金流入,该公司就能加速研究,更快提供更多小麦,以避免面包短缺。就算哪家生物科技巨头半路夭折,也可能有竞争对手实现这项突破。因此,自由市场资本主义是将分析数据和做决定的工作分发下去,交给许多各自独立但又相互连接的处理器。正如奥地利经济学家弗里德里希·哈耶克(Friedrich Hayek)所说:“在一个把相关事实的知识分散给许多人的系统中,可以靠价格协调不同人各自的独立行动。”

根据这个观点,证券交易所正是人类迄今创立的最快、最有效的数据处理系统。每个人都可以直接加入,或是通过银行或退休基金加入。证券交易所推动着全球经济,在地球,甚至外太空发生的事情,无不纳入考虑。不管是科学实验成功、日本传出政治丑闻、冰岛火山喷发,甚至太阳表面有不规则活动,都会影响股价。而为了让系统运作顺畅,就需要让尽量多的信息尽可能地自由流动。如果全球有数百万人都能获取所有相关信息,就会通过买卖来决定石油、现代汽车股票或瑞典政府债券最准确的价格。据估计,证券交易所只要根据15分钟的交易信息,就能确定《纽约时报》某个头条对于大多数股价的影响。

这种数据处理的概念,也能够解释为何资本家喜欢降税。重税代表可用资本有一大部分集中在单一地点(国库),也就有越来越多决策必须由单个处理器(政府)来决定。这样一来,整个数据处理系统就会过度集中。假设税收高到离谱,几乎所有资本都流到政府手中,一切由政府决定,包括面包的价格、面包店的位置,以及研发预算。在自由市场中,如果某个处理器做出错误的决定,立刻就会有人乘虚而入。但如果几乎所有决定都操纵在单一处理器手中,一犯错就可能是场大灾难。

这种所有数据都由单处理器来处理并决定的极端情况,就是苏联式共产主义。在苏联经济里,号称要让人人“各尽所能、各取所需”。换句话说,政府会把你的利润全部取走,再判断你有什么需求,并提供给你。虽然这种极端方案并没有真正实现,但苏联及东欧可说是尽力逼近。它们放弃了分散式数据处理的原则,转换为集中式数据处理,苏联各地的所有信息都流向莫斯科一处,也是由莫斯科做出所有重大决定。生产者和消费者无法直接沟通,而且必须服从政府的命令。

例如,苏联的经济部门可能会决定:所有店里的面包价格都是2卢布又4戈比(kopek);敖德萨州(Odessa Oblast)的某个集体农场本来种小麦,但现在要改成养鸡;另外,莫斯科的红色十月面包店每天要生产350万个面包,一个也不准多。与此同时,苏联的科学部门也会命令苏联所有生物科技实验室接受特罗菲姆·李森科(Trofim Lysenko)的理论。李森科素负恶名,执掌列宁农业科学院(Lenin Academy for Agricultural Sciences),但他不相信当时主流的基因遗传理论。他坚信,如果某个生物这辈子得到了新的性状,就能直接传给后代。这种想法完全违背正统达尔文学说,却与苏联的教育原则十分吻合,意味着只要训练小麦承受寒冷的天气,后代的小麦也能够耐寒。于是,李森科把几十亿株“反革命”的小麦送到西伯利亚接受再教育;只不过,苏联很快就被迫从美国进口越来越多的面粉。

资本主义之所以胜出,并不是因为资本主义更符合伦理、个人自由神圣无比,又或者上帝对这些共产主义者降下怒火。资本主义能够赢得“冷战”,是因为至少在这个科技加速改变的时期,分散式数据处理的效果就是比集中式数据处理更好。20世纪末期的世界变化实在太快,苏联共产党中央委员会无法处理。像这样把所有数据都集中起来、所有重大决策都由一群官员决定,虽然能够生产出原子弹,却绝不可能打造出苹果或维基百科。

有一个故事(可能是假的,但精彩的故事多半都是假的),讲的是戈尔巴乔夫为了让苏联经济起死回生,派出一位主要副手到伦敦,想了解撒切尔主义(Thatcherism)是什么,资本主义制度又是如何实际运作的。东道主带着这位苏联来的贵宾参观伦敦,前往伦敦证券交易所和伦敦政经学院参观,与银行经理、企业家和教授长谈。这位苏联专家忽然忍不住说:“抱歉,请先停一下。先别管所有这些复杂的经济理论了。我们在伦敦来来回回一整天,有件事我一直不懂。在莫斯科,我们派了最聪明的人来研究面包供应制度,但每家面包店和杂货店还是大排长龙。而在伦敦,这里有数百万人口,我们今天经过了许多家店和超市,却没有一个地方需要排队。请带我去见一下在伦敦负责供应面包的人,我一定得学学他的秘招。”东道主抓了抓头,想了一下,说道:“可是,没人负责供应面包给伦敦啊。”

这正是资本主义的成功秘诀。并没有中央处理单元垄断关于伦敦面包供应的所有数据,而是信息在几百万名消费者和生产者、面包师和企业家、农民和科学家之间自由流动,市场力量决定面包的价格、每天烘焙的数量,以及研发的顺序。如果市场力量做出不当的决定,也能很快自我修正。我们现在的重点并不在于这种资本主义理论是否正确,而在于用数据处理的概念来了解经济学。

所有的权力都去了哪儿?

政治科学家也逐渐把人类政治结构理解成数据处理系统。民主和专制在本质上是两套关于收集和分析信息的对立机制。专制使用集中式处理,而民主则喜欢分散式处理。民主在过去几十年里占得上风,是因为在20世纪晚期的具体情境中,分散式处理的效果更佳。如果换一个情境(比如古罗马帝国时代),反而可能是集中式处理拥有优势,让罗马共和国衰落,权力从元老院(Senate)和公民大会(Popular Assemblies)转移到专制皇帝的手中。

这意味着,如果数据处理的情境在21世纪再次改变,民主制度也可能衰败,甚至消失。随着数据量和流通速度双双提升,选举、政党、国会这些制度就可能遭到淘汰;原因不在于不符合伦理道德,而是无法有效处理数据。当时这些机构发展的背景,是政治的脚步走得比科技更快。在19世纪和20世纪,工业革命发展的速度够慢,于是政客和选民仍能领先一步,规范及操纵发展的路线。然而自蒸汽时代以来,政治的节奏没有多大改变,但科技已经从一挡切换到四挡。科技革命的脚步快到让政治追不上,不管是国会议员还是选民,都失去了对科技的控制。

互联网的兴起,能让我们一窥未来。现在对我们的日常生活、经济及安全来说,网络空间都不可或缺。但讲到网络设计的各种不同选项,虽然仍牵扯到主权、边界、隐私、安全等传统政治议题,却并未借助民主政治过程来决定。有人曾经投票决定网络空间该是什么形状吗?网络设计者的种种决定未受公众监督,因此今日的互联网成了一个不受法律管束的自由区域,侵蚀国家主权、无视边界、破坏隐私,可能正是最可怕的全球安全风险。10年前还几乎没人想过这种可能性,但今日的政府官员忧心忡忡,认为网络“9·11”已经一触即发。

于是,政府和非政府组织热议重组互联网的可能,但错过了在一开始干预的时机,现在木已成舟,要改变现有制度就难上加难。此外,等到笨重的政府终于下定决心进行网络监管,互联网早已又演进了10次。政府这只乌龟,永远追不上科技这只野兔,就这样被数据压得无法动弹。美国国安局或许能够监控每个人说的每句话,但看到美国外交纰漏不断,就知道华盛顿虽然拥有所有数据,却没人知道该怎么运用。对于世界上正在发生什么事,历史上从来没有任何政府能像现在的美国这样知道得如此清楚,但也鲜有政府能够像现在的美国一样反应笨拙。这就像打牌的时候明明知道对手有什么牌,却不知怎么搞的,总是一输再输。

在未来几十年间,我们很可能还会看到更多类似互联网的革命,而科技会抢走政治的所有风头。人工智能和生物科技可能即将彻底变革人类社会和经济,甚至是人类的身体和心智,但当前的政治对此却几乎毫无警觉。现今民主制度收集和处理相关数据的速度太过缓慢,而且大多数选民对生物学和控制论(cybernetics)的认识也不足,无法形成切中要点的意见。因此,传统民主政治正逐渐失去控制,也提不出有意义的未来愿景。

普通选民也开始意识到,民主机制已经不再能够为他们带来权力。世界正在变化,但他们摸不清变化的方式和原因。权力正在转移,但选民不知道权力去了哪儿。在英国选民的想象中,权力被欧盟夺走了,所以他们投票脱欧。而在美国选民的想象中,是既得利益者垄断了所有权力,所以他们支持反体制的候选人,比如伯尼·桑德斯(Bernie Sanders)和唐纳德·特朗普(Donald Trump)。但可悲的事实是,没有人知道所有的权力去了哪儿。就算英国离开欧盟、特朗普接掌白宫,权力也绝对不会回到普通选民身上。

这并不代表20世纪的独裁统治将会重演。就算是专制政权,似乎同样无力应对科技发展的脚步或数据流的数量和速度。在20世纪,独裁者对未来自有一套宏伟愿景,例如法西斯主义,希望彻底摧毁旧世界,再建起新世界。不论你对希特勒等独裁者有何看法,都不可能说他们没有愿景。而到了今天,理论上领导者的愿景应该会更为宏伟,毕竟过去的纳粹不过是有了蒸汽机和打字机,就想打造出新的社会,今天我们可还有生物科技和超级计算机任君使用呢。

在科幻电影的剧情里,希特勒一样的政客,一心夺取各种新科技,用来实践各式极端政治理想。但回到21世纪早期,就算在俄罗斯、伊朗或朝鲜这些国家,实际的领导人和好莱坞电影里的形象根本是两回事。那些人看起来可没有什么美丽新世界的愿景。就算是金正恩或伊朗最高领袖哈梅内伊(Ayatollah Ali Khamenei),他们做过的最疯狂的梦仍然不过就是原子弹和弹道导弹之类的,还完全停留在“二战”时期。普京似乎也只是想重建旧的苏联集团,甚至是更早的沙皇帝国。与此同时,偏执的美国共和党人大骂奥巴马是个无情的独裁者,说他阴谋破坏美国社会的基础,但过了8年总统任期,奥巴马费尽心力也只是勉强推动了一个小小的医疗保险体制改革,不论是创造新世界还是新人类,都完全不在他的议题之列。

正因为科技进步如此迅速,不论议会还是独裁者都被来不及处理的数据压得喘不过气,现今政治人物的眼界,要比一个世纪前狭窄太多。于是,到了21世纪早期,政治已不再有宏伟愿景,政府就只剩下行政功能,维持着国家现状,却不再能够带领人民向前。政府确保教师每月拿到薪水、下水道不会堵塞,却不知道20年后国家该走向何方。

在一定程度上,这或许是好事。有鉴于20世纪某些宏大政治愿景导致了奥斯维辛集中营、广岛原子弹爆炸,或许官僚系统胸无大志也是种幸福。有了神一般的科技,再加上狂妄自大的政治人物,几乎肯定是场灾难。许多新自由主义经济学家和政治学家认为,所有重大决策最好都交给自由市场来决定,结果这就成了政客无为和无知的借口,还认为这种做法是大智慧。对政客来说,反正一切交给市场就好,自己何必要懂这个世界呢?这可真是太方便了。

然而,科技已有了神一般的能力,政治却短视而无远景,这样的搭配仍有问题。毕竟愿景不一定是坏事,而缺乏愿景也不一定是好事。20世纪,反乌托邦的纳粹愿景并不是自己分崩离析,而是被自由主义同样宏伟的愿景击败。之所以不该将未来完全交给市场力量来决定,是因为这些力量造成的结果可能只利于市场,而不见得有利于人类或全世界。市场那只手不仅人类看不见,而且它本身也是盲目的。如果完全不加约束,面对类似全球变暖的威胁或人工智能的潜在危险时,市场就有可能毫无作为。

有些人相信,这一切的背后有黑手。可能不是民主政客或独裁统治者,而是一小群亿万富翁,现在正偷偷掌控着这个世界。然而这种阴谋论太过轻视系统的复杂度,站不住脚。只是几个亿万富翁在小房间里抽着雪茄、喝着苏格兰威士忌,是绝不可能了解世界上发生的一切的,更不用说要控制一切了。在现在这个混乱的世界,那些冷酷的亿万富翁和少数利益集团之所以能够蓬勃发展,并不是因为他们更能看清全貌,反而是因为他们的目标非常狭隘。在混乱的系统中,集中视野反而有其优势,而亿万富翁的权力大小又与目标大小息息相关。世界上最富有的人,想再赚10亿美元简直易如反掌,只要轻松操弄一下相关系统就能办到。但如果是想消弭全球的不平等、阻挡全球变暖,这些系统太过复杂,就算最富有的一群人也做不到。

然而,权力真空的状况并不会持续太久。如果传统政治结构在21世纪无法迅速处理数据,形成有意义的愿景,就会出现更有效率的新结构,取代它们的地位。这些新的结构可能完全不同于任何先前的政治制度,既非民主,也非专制。这里唯一的问题,就是由谁来建立并控制这些结构。如果人类自己完成不了这项任务,或许该让其他候选者来试试。

概括历史

根据数据主义的观点,可以把全人类看作单一的数据处理系统,而每个个人都是里面的一个芯片。这样一来,整部历史的进程就要通过4种方式,提高系统效率:

1.增加处理器数量。拥有10万人口的城市,运算能力会高于拥有1000人口的村庄。

2.增加处理器种类。处理器不同,运算和分析数据的方式就不同。因此,如果单一系统拥有不同种类的处理器,就能增加其动力与创意。农民、祭司和医生对话中所产生的想法,可能是狩猎采集者之间怎么谈都不会谈到的。

3.增加处理器之间的连接。如果只是增加处理器数量和种类,但彼此之间无法连接,仍然没有意义。10个有贸易网络连接的城市,产出的经济、科技与社会创新通常会高于10个孤立的城市。

4.增加现有连接的流通自由度。如果数据无法自由流通,仅仅连接处理器也不会有什么用处。这就像是在10个城市之间修建了道路,但路上满是劫匪,商人或旅行者难以通行,这条路的作用也就会大打折扣。

这4种方法常常互相矛盾。处理器的数量和种类越多,自由连接就越困难。因此,智人数据处理系统的建构分成四大阶段,各自强调不同的方法。

第一阶段始于认知革命,开始能够将大量智人连接为单一数据处理网络。这一点让智人拥有超乎其他人类及动物物种的关键优势。对尼安德特人、黑猩猩或大象来说,能够连接成单一网络的个体数量有限,但智人却打破了这个限制。

智人运用其数据处理优势,走向了世界各地。但随着智人分散到不同区域、感受不同气候,就开始彼此失去联系,经历不同的文化变革,形成各式各样的人类文化,各有其生活方式、行为模式及世界观。因此,历史的第一阶段就是增加人类处理器的数量及种类,但同时牺牲了连接:两万年前的智人数量远多于7万年前,但欧洲智人处理信息的方式不同于中国的智人。当时,欧洲和中国之间并无连接,也几乎不可能在某天所有智人连接成单一的数据处理网络。

第二阶段从农业革命开始,持续到大约5000年前,其间发明了文字和金钱。农业加速了人口增长,使人类处理器数量急剧上升。同时,农业让更多人能够生活在一起,形成密集的地方网络,各自拥有数量空前的处理器。此外,农业也为各个网络创造动机和机会,鼓励彼此贸易沟通。但即使到了第二阶段,仍然是离心力唱主角。因为没有文字和货币的概念,人类难以建立城市、王国或帝国,仍然只是分散在无数个小部落,各有自己的生活方式和世界观。要说所有人类会团结形成一体,在当时简直是痴人说梦。

第三阶段始于大约5000年前,当时发明了文字和货币,结束于科学革命开始前。有了文字和货币之后,人类合作的重力场最终摆脱了离心力,让各个团体融合起来,形成城市和王国,而各个城市和王国的政治和商业联结也更为密切。至少在公元前1000年(出现了钱币、帝国和普世宗教)之后,人类已经开始有意识地想象着要建立涵盖整个地球的单一网络。

到了第四也是最后一个阶段,大约始于1492年,这个梦想成为现实。早期的现代探险家、征服者和交易商,一起编织出了覆盖整个世界的最初的几条线。到了现代晚期,这些线变得更加结实紧密,哥伦布时期已如同蛛网,到了21世纪更是形成了钢铁和沥青构成的网络。更重要的是,信息能够在这个全球网络里越来越自由地流动。哥伦布刚刚把欧亚网络和美洲网络相连时,每年只有极少的信息能够越过海洋,还得应付各种文化偏见、严格审查和政治打压。但渐渐地,不论是自由市场、科学社群、法治概念还是民主传播,都有助于消除种种障碍。我们常常想象,民主和自由市场之所以获胜,是因为它们比较“好”。但事实上,它们之所以胜出,是因为改善了全球数据处理系统。

于是,在过去的7万年间,人类先扩散,再分成不同群体,最后再次合并。但合并并不代表一切回到原点。过去的多元族群融入今天的地球村时,各自都带着思想、工具和行为上的独特传承,呈现一路走来的收集与发展成果。在现代的食品柜里,就有中东的小麦、安第斯地区的马铃薯、新几内亚的糖,以及埃塞俄比亚的咖啡。同样,我们的语言、宗教、音乐和政治,也蕴含着地球各地的万世瑰宝。

如果人类整体就是单一的数据处理系统,它的产出是什么?数据主义者会说,其产出会是一个全新的甚至效率更高的数据处理系统,称为“万物互联网”(Internet-of-All-Things)。只要这个任务完成,智人就会功成身退。

信息渴求自由

一如资本主义,数据主义一开始也是一个中立的科学理论,但正逐渐成为要判别是非的宗教。而对这个新宗教来说,最高的价值就是“信息流”。如果生命就是信息流,而我们又认为生命是好的,下一步就是让全宇宙的信息流更深、更广。数据主义认为,人类的体验并不神圣,智人并非造物主的巅峰之作,也不是未来智神的前身。人类只是创造万物互联的工具,而万物互联可能从地球这个行星向外扩张,扩展到整个星系,甚至整个宇宙。这个宇宙数据处理系统如同上帝,无所不在、操控一切,而人类注定会并入系统之中。

这种概念让人回想起某些传统宗教愿景,印度教相信人类能够也应该融入整个宇宙共有的灵魂(atman);基督教教徒则相信,圣人死后会获得上帝的无限恩典,而罪人则是切断了与上帝的联结。事实上在硅谷,数据主义的先知就在刻意运用传统上的各种救世说词。例如雷·库兹韦尔的预言书就叫作《奇点临近》(The Singularity Is Near),呼应施洗约翰的呼喊“天国近了”(《马太福音》3:2)。

数据主义者告诉那些还崇拜着血肉之躯的人:你们太依赖一种过时的科技了,智人就是个该淘汰的算法。这么说吧,人类有什么能胜过鸡的地方呢?唯一的一点,就是人类的信息流模式比鸡复杂得多。人类能够吸收更多数据,处理信息的算法也优于鸡。(一般来说,人类有更深的情感、更高的智力。但请别忘记,就现在的生物科学看来,情感和智力也不过都是算法罢了。)这样一来,如果我们创造出某个数据处理系统,能够比人类吸收更多的数据,处理信息算法的效率也比人高,是不是这个系统就能胜过人,正如人类胜过鸡?

数据主义不只是空谈理论,而是像每一种宗教一样都拥有实际的诫命。最重要的第一条诫命,就是数据主义者要连接越来越多的媒介,产生和使用越来越多的信息,让数据流最大化。数据主义也像其他成功的宗教,有其传教使命。它的第二条诫命,就是要把一切连接到系统,就连那些不想连入的异端也不能例外。而且这里指的一切并不只是人,而是一切事物。人类的身体自不必说,还包括街上行驶的车、厨房里的冰箱、鸡舍里的鸡、树林里的树,一切都要连接到万物互联网上。以后,冰箱就会监视鸡蛋还剩几颗,并在需要补货时自动通知鸡舍。汽车能够互相交谈,树木则会报告天气和二氧化碳含量。我们不会容许宇宙的任何部分与这个伟大的生命网络分开,而如果斗胆阻碍数据的流通,就是犯了大罪。信息不再流通,与死亡有何异?因此对数据主义来说,信息自由就是最高的善。

人类很少真正能够想出全新的价值观。上一次提出已经是18世纪,人文主义革命开始宣扬人类自由、平等、博爱这种种令人激动的理想。而自1789年以来,虽然也有许多战争、革命和动荡,人类却并未想出什么新的价值观。后来的各种冲突及斗争,都是以前面提过的三种人文主义价值观为名,或者基于更早的价值观,例如要服从上帝、服务国家。数据主义是自1789年以来第一个真正创造新价值观的运动,而这个新价值观就是“信息自由”。

新的“信息自由”与过去自由主义所谈论的“言论自由”不能混为一谈。言论自由赋予的对象是人类,保护的是人类思考及说出自己心中所想的权利,当然也保护他们缄默、把想法放在心中的权利。相较之下,信息自由所赋予的对象并非人类,而是信息。而且在这种新价值观看来,信息自由流通的权利应该高于人类拥有并限制数据流通的权利,因此可能侵犯到人类传统的言论自由。

2013年1月11日,数据主义出现了第一位殉道者:艾伦·施瓦茨(Aaron Swartz)。这位26岁的美国黑客在自家公寓自杀身亡。施瓦茨是个罕有的天才,14岁就协同开发出了关键的RSS(简易信息聚合)通信协议。而他也是信息自由的坚定信徒,曾在2008年发表《游击队开放访问宣言》(Guerilla Open Access Manifesto),呼吁应让信息流完全自由、不加限制。施瓦茨在宣言中表示:“无论现在信息储存在何处,我们都必须获得这些信息,复制并与全世界分享。我们必须收集没有版权限制的内容,并为这些内容建档。我们必须购入那些未公开的数据库,将内容公布在网上。我们必须下载科学期刊,上传到文件共享网络。我们必须为了开放访问,如游击队般奋战。”

施瓦茨说到做到。用户必须向期刊数据库JSTOR付费,才能获得论文,这让他十分恼火。JSTOR数据库有数百万份科学论文和研究成果,完全支持科学家和期刊编辑享有言论自由,但也支持这些人认为想读文章就该付钱的自由。JSTOR认为,在作者研究创造出某种想法之后,如果想以此获得部分报酬,应该是作者的权利。施瓦茨不这么认为。他相信信息也想要自由,这些想法并不属于创造它们的人,把信息锁在墙后、必须付费才能获得的做法是错误的。于是,他利用麻省理工学院的计算机网络进入JSTOR,下载了数十万份科学论文,打算全部公开到互联网上,让人人可以自由阅读。

施瓦茨遭到逮捕,被送上法庭。他在知道自己可能会被定罪并入狱之后,便上吊自杀了。对于控告施瓦茨侵犯信息自由的学术和政府机构,黑客们发动了各种请愿和攻击。面对这种压力,JSTOR对自己在这起悲剧中扮演的角色表示歉意,并开放了许多(但仍非全部)数据内容供免费使用。

为了说服那些犹豫不定的人,数据主义的传教士一再解释信息自由有多大的好处。就像是资本主义相信一切的善都来自经济增长,数据主义相信一切的善(包括经济增长)都来自信息自由。为什么美国增长比苏联快?因为信息流动在美国更自由。为什么美国人比伊朗人或尼日利亚人更健康、更富有、更幸福?都是多亏了信息自由。所以,如果想要创造一个更美好的世界,关键就是要释放数据,给它们自由。

我们已经看到,谷歌能够比传统卫生机构更快察觉到流行病的暴发,但前提是我们必须允许谷歌自由存取我们产出的信息。数据如果能自由流动,同样也能减少污染和浪费。例如通过信息自由,让交通运输系统效率更高。2010年,全球的私家车已经超过10亿辆,而且还在不断增加。这些车辆污染地球,浪费大量资源,更别说还得为此不断拓宽道路、增设停车位。民众已经习惯私家车的便利,不太可能再回头搭公交车和火车。但数据主义指出,民众真正想要的并不是车辆本身,而是移动的便利,只要有优秀的数据处理系统,就能简单又有效地提供这种移动的便利。

我自己也有一辆车,但多半就是停着。就我平常的一天来说,早上8点04分开车,半小时到大学,把车停好,就放着一整天。18点11分我又回到车上,开车半小时回家,就这样。所以,我每天只有1个小时会用到车,何必另外23小时还要把车留着呢?如果有个智能共乘系统,就能解决这个问题。我能让计算机知道我需要在8点04分离开家,由计算机在那个时候把最近的无人驾驶汽车调过来,准时让我上车。把我送到大学之后,这辆车就能用于其他目的,而不用在停车场白白等待。到了18点11分,我走出大学校门,就会有另一辆全民共享的无人驾驶汽车停在我旁边,带我回家。这样一来,只要有5000万辆共享的无人驾驶汽车,就能取代10亿辆私家车,而且所需的道路、桥梁、隧道和停车空间都会大大减少。但如果想达到这样的目的,我就得放弃隐私,允许算法永远知道我身在何处、想去何方。

记录、上传、分享!

但也有可能,你根本早就信奉了数据主义(特别是20岁以下的人)。有些人其实很愿意成为数据流的一部分,就算这代表着放弃隐私、自主性和个别性,他们觉得这无伤大雅。人文主义艺术推崇个别的天才,所以就算毕加索在餐巾上随笔涂鸦,也能在苏富比拍卖会上卖出几百万美元。人文主义科学赞扬的是个别的学者,因此每个学者都希望自己哪天能成为在《科学》(Science)或《自然》(Nature)杂志上发表论文的第一作者。然而,现在已经有越来越多的艺术和科学创作成于“所有人”的不断合作。是谁丰富了维基百科?我们所有人。

“个人”正逐渐成为一个巨大系统里的微小芯片,而这个巨大系统却没人真正了解。每天我通过电子邮件、电话和文章吸收无数数据,处理这些数据,再通过更多电子邮件、电话和文章,传回新的数据。但我真的不知道,在整个宏观的架构中,我究竟身处何处?我所产出的那些数据,又如何与其他几十亿人或计算机产出的数据连接?而且我也没有时间找出答案,因为光是回复电子邮件就已经耗尽我的时间。而随着我提升效率,能够更有效地处理更多信息,也就是回复更多电子邮件、打更多电话、写更多文章,反而让身边的人淹没在更多的数据之中。

这种无情的数据流带来了新的发明和破坏,而且不在任何人的计划、控制或理解之中。没有人能真正理解全球经济如何运作,也没有人知道全球政治将走向何方。但也没有人真的需要理解这一切。你该做的,就只是回信回得更快(而且允许系统存取这些内容)。正如自由市场资本主义相信市场那只看不见的手,数据主义相信数据流也有一只看不见的手。

随着全球数据处理系统变得全知全能,“连接到这个系统”也就成了所有意义的来源。人类之所以想要融入这个数据流,正是因为只要成为数据流的一部分,你就会加入一个比自己更伟大的计划。传统宗教向你保证,你说的每个字、你的每个举动,都是某个伟大宇宙计划的一部分,上帝一直看着你,也在意你的所有想法与感受。至于现在的数据宗教则说,你说的每个字、你的每个举动,都是伟大数据流的一部分,算法一直看着你,也在意你的所有想法与感受。大多数人都对此非常满意。对于真正的信徒来说,要他们脱离数据流,就等于是要冒着失去生命意义的风险。如果你有了某种感受,而别人都不知道,也并未对全球信息交换有任何贡献,又有什么意义呢?

人文主义认为所有的体验发生在我们心中,我们要从自己的心里找出一切事物的意义,进而为宇宙赋予意义。数据主义则认为,体验不分享就没有价值,而且我们并不需要(甚至不可能)从自己心里找到意义。我们该做的,就是要记录自己的体验,再连接到整个大数据流中,接着算法就会找出这些体验的意义,并告诉我们接下来该怎么做。

20年前,日本游客因为总是拿着相机照个不停,曾经受到全世界的嘲笑,但现在人人都是如此。如果你现在去印度看到一头大象,你不会看着这头大象问问自己心中的感受,而是会手忙脚乱掏出智能手机,赶快照张相,上传到脸谱网,再每隔两分钟就检查一下,看看集到了多少个赞。在前几代人中,写日记只给自己看是很常见的人文主义习惯,但现在很多年轻人会觉得这完全没道理。如果没有其他人读到,写了岂不是白写?现代的新座右铭是:“如果你体验到了什么,就记录下来。如果你记录下了什么,就上传。如果你上传了什么,就分享。”

我们在这本书里不断问着,究竟是什么让人优于其他动物?数据主义有一个全新而又简洁的答案。就个体而言,人类的体验并不比狼或大象的体验来得优越。只要是数据,都无高下之别。然而,人类可以把自己的体验吟成诗、写成博客,再发表到网络上,使全球数据处理系统更为丰富。就是这样,才让他们的数据有了意义。狼做不到这件事,因此虽然狼的各种体验可能一样深远复杂,却毫无价值。这也就难怪我们会急着将自己的体验转化为各种数据。这不是赶不赶流行的问题,而是个生存问题。我们必须向自己和系统证明自己仍然有价值,而且价值不在于单纯拥有体验,而在于能将体验转化为自由流动的数据。

顺便提一下,就算是狼(至少是与它们血缘很近的狗)的体验,现在也可能会产生意义。现在已经有一家名为“不再只是汪汪汪”(No More Woof)的公司,正在开发一种能够读懂犬类体验的头盔。这个头盔会监测狗的脑波,再用计算机算法把一些简单的情绪(比如“我很生气”)翻译成人类语言。所以,你的狗可能也快要有它的脸谱网或推特账户了,搞不好还会比你得到更多赞或是有更多粉丝。

认识你自己

数据主义既非自由主义,亦非人文主义。但要特别强调一点:数据主义并不反对人文主义。数据主义对人类的体验并没有什么恶意,只是并不认为体验在本质上有何价值。前面审视三大人文主义教派时,我们曾问过哪个体验最有价值:是聆听贝多芬的命运交响曲、查克·贝里、矮人进行曲还是狼嚎?就数据主义看来,这整件事根本是抓错重点,因为衡量音乐的价值,该看的是它带来多少数据,而不是它创造了什么体验。举例来说,数据主义认为,如果与矮人进行曲相比较,命运交响曲用了更多和弦和音阶,而且创造出更多在不同音乐风格间的对话,于是你需要更多的运算能力才能解读命运交响曲,由此也会获得更多的知识。

根据这个观点,音乐也是数学模式,也就能用数学来描述每个音乐作品,以及任何两首曲子之间的关系。这样一来,所有的交响乐、歌曲和嚎叫都能测量出精确的数据值,确定哪个最为丰富。至于它们对人类或狼所创造的体验,其实并不重要。的确,在过去大约7万年间,人类的体验是整个世界最有效的数据处理算法,确实有理由多加推崇。但我们可能很快就会到达临界点,人类算法将被取代,甚至成为负担。

人类是从数万年前的非洲大草原上开始进化,这套算法并非天生用来应付处理21世纪的数据流。我们可以试着升级人类数据处理系统,但光这样还不够。万物互联网可能很快就会创造出庞大而快速的数据流,就算是升级后的人类算法也无法处理。汽车取代马车,我们并不是让马升级,而是直接让马退休。或许,智人也到了该退休的时候。

数据主义对人类采用严格的功能观点,完全依据能在数据处理机制上发挥多少功能来评估人类体验的价值。如果我们研发出能够具备相同功能而又更有效率的算法,“人类体验”这套算法就会失去价值。因此,如果不只是出租车司机和医生,就连律师、诗人和音乐家都能被更厉害的计算机程序取代,又何必要在意这些程序有没有意识、有没有主观体验呢?如果人文主义又开始赞颂人类体验的神圣,数据主义会觉得这是个打着情感牌的谎言。“你所称赞的体验,只是一种过时的生化算法。在7万年前的非洲大草原,这种算法可说是顶尖,而且就算到了20世纪,仍然对军队和经济至关重要。但我们很快就会有更好的算法。”

在许多好莱坞科幻电影的高潮里,人类面临外星人入侵舰队的机器人大军,又或是要消灭全人类的全知超级计算机,一切看来人类注定会灭亡。但人类总在最后一刻反败为胜,而要感谢的就是所有外星人、机器人和超级计算机所未曾怀疑也无法看穿的东西:爱。就像在《黑客帝国》(Matrix)里,主角原本完全被超级计算机玩弄于掌心,被邪恶的机器人射了满满一轮子弹,但受到爱人的启发,就忽然大显神威,彻底扭转局势。就数据主义看来,这整个场景实在太荒谬了。它会对好莱坞编剧嗤之以鼻:“拜托,你就只能编出这种玩意儿啊?爱?而且还不是什么柏拉图式的大爱,只是两只哺乳动物的肉体吸引?你还真以为,如果全知的超级计算机或外星人都要征服整个星系了,还会被激素暴发这种小事糊弄?”

数据主义将人类体验等同为数据模式,也就破坏了我们的主要权威和意义来源,带来自18世纪以来从未有过的重大宗教革命。在洛克、休谟和伏尔泰的时代,人文主义认为“上帝是人类想象力的产物”。但现在数据主义以其人之道还治其人之身,说道:“没错,上帝是人类想象力的产物,但人类的想象力一样只是生化算法的产物。”在18世纪,人文主义从以神为中心的世界观走向以人为中心,把神推到了一旁。而在21世纪,数据主义则可能从以人为中心走向以数据为中心,把人推到一边。

数据主义革命可能需要几十年,甚至一两个世纪才能成功,但人文主义革命也不是一夜之间忽然成功。一开始,人类一直相信上帝,认为人类之所以神圣,是因为人类由神所创,有某种神圣的目的。要到许久之后,才有一些人敢说人类的神圣是靠自己,而上帝根本不存在。同样,今天大多数的数据主义者认为,万物互联网之所以神圣,是因为它由人所创,要满足人类的需求。但到最后,万物互联网可能只要靠自己就有了神圣的意义。

从以人为中心的世界观走向以数据为中心的世界观,这种转变并不只是一场哲学意义上的革命,而是会真真切切地影响我们的生活。所有真正重要的革命,都会有实际的影响。人文主义认为“人类发明了上帝”,这件事之所以重要,正是因为有深远的实际影响。同样,数据主义认为“生物是算法”,这同样有深远的实际影响,不容小觑。所有的想法都要先改变我们的行为,然后才会改变我们的世界。

在古巴比伦,每当人们面临两难时,都会在黑暗的夜里爬到神庙顶,仰望天空。人们相信是星星控制他们的命运,预测他们的未来,于是会用观星的结果决定是否结婚、耕田、发动战争。原本的哲学信念,转化成非常实际的日常作为。

但像犹太教和基督教等《圣经》宗教,则讲了一个不一样的故事:“这些星星会说谎。星星是由上帝所创,而上帝早在《圣经》里就揭示了完全的真理。所以不要再观星了,读读《圣经》吧!”而这也是个非常实际的建议。每当人们不知道如何选择结婚对象或职业,又或是否应该开战,就会遵照《圣经》的指示。

但接着出现了人文主义,又讲了一个全新的故事:“是人类发明了神,写了《圣经》,而且用了上千种方式加以诠释。所以,人类本身才是一切真理的本源。虽然可以把《圣经》当作一部颇具启发性的人类作品来读,但其实不一定需要这样。如果你面临两难局面,只要聆听自己,听从你内心的声音就够了。”接着,人文主义也提供各种详细的实际指导及建议,告诉你如何聆听自己,比如看日落、读歌德的作品、写个人的私密日记、和密友谈心,还有举行民主选举。

几个世纪以来,科学家同样接受了人文主义的这些指导。就算是物理学家想知道该不该结婚,也会去看看日落,想多多聆听自己的内心。就算是化学家考虑该不该接受某个似乎有麻烦的工作机会,也会写日记、找好友谈心。就算是生物学家争论该不该开战或签署和平条约,也会进行民主投票。就算是脑科学家要把自己震惊四座的发现写成书,也常常在第一页引用歌德的诗句。这正是人文主义与科学之间现代联盟的基础,维持了现代微妙的阴阳平衡:情感与理性,博物馆与实验室,超市与生产线。

科学家不仅认为人类的感觉是神圣的,甚至还为此找出了很好的进化理由。在达尔文之后,生物学家开始提出解释,认为所谓感觉也是通过进化千锤百炼的复杂算法,能够帮助动物做出正确的决定。人类的爱情、恐惧和热情,并不只是能用来写诗的暧昧灵性,反而是体现了几百万年来的务实智慧。读《圣经》,收获的是古代耶路撒冷几位神父和拉比的建议;相较之下,聆听内心的声音,遵循的是几百万年进化而成的算法,而且这套算法已经通过了自然选择的最高规格测试。你的感觉正是几百万祖先的声音,而且他们都撑过了严酷的环境,成功生存和繁衍下来。当然,你的感觉并不见得总是准确,但已经比大多数其他指导更可靠。几百万年以来,人的感觉就是全世界最好的算法。因此,就算是在孔子、穆罕默德或斯大林的时代,人也应该聆听自己的感觉。

但到了21世纪,感觉不再是全世界最好的算法。我们正在开发更优秀的算法,能够充分利用前所未有的运算能力和庞大的数据库。谷歌和脸谱网的算法不仅完全知道你的感觉,还知道许许多多你自己浑然未觉的事。所以,别再聆听自己内心的感觉,听听这些外部算法怎么说。等到算法不仅能知道每个人的投票意向,甚至还能从根本的神经原因分析为何某人投民主党、另一人投共和党时,又何必举行什么民主投票呢?过去的人文主义呼吁着:“聆听自己内心的声音!”而现在的数据主义则呼吁:“聆听算法的意见!”

在你考虑结婚对象或职业又或是否应该开战的时候,数据主义告诉你,别再浪费时间爬上高山看落日了。至于去博物馆、写日记或与朋友谈心也是多此一举。没错,想做出正确决定,你确实要进一步认识自己。但在21世纪,已经有了比登山、去博物馆或写日记更好的办法。以下是一些实用的数据主义指示:

“你想了解真实的自己?”数据主义这么问,“不用爬山或去博物馆了,做DNA测试了没?还没?!你在等什么?今天就去做!而且还要告诉你的爷爷奶奶、爸爸妈妈、兄弟姐妹,大家都要去做。他们的数据对你也非常重要。另外,听说过这些可穿戴式的生物计量装置吗?这些装置会每天24小时测量你的血压和心跳。听过?很好,那就去买一个,连接到智能手机上。另外,顺便买个便携式摄像机和麦克风,把你做的一切都记录下来,放到网络上。还有,要允许谷歌和脸谱网存取你所有的电子邮件,监测所有聊天记录和邮件,并且记录你所有的点赞和网络点击。只要这些都做到了,万物互联网的伟大算法就能告诉你该跟谁结婚、挑什么工作,以及是否开战。”

这些伟大的算法都是从哪儿来的?这就是数据主义的神秘之处了。就像基督教认为人类无法理解上帝和他的计划,数据主义也认为人类的大脑无法理解新的终极算法。当然,目前的算法多半是由人类黑客所写的,但那些真正重要的算法(比如谷歌搜索的算法),背后都有巨大的开发团队。每个成员只懂拼图的一小块,没有人真正能够全盘理解整个算法。另外,随着机器学习和人工神经网络兴起,有越来越多算法会独立进化、自我改进、从自己的错误中学习。这些算法分析的数据量是天文数字,绝非人力可及,而且它们也能找出人类找不出的模式,采用人类想不到的策略。最早的种子算法或许是由人类开发的,但随着算法逐渐发展,就会走出自己的路,前往人类未曾踏足之地,而且人类也无力追寻。

数据流里的一片涟漪

数据主义当然也会面临批评及异见。正如我们在第3章所见,生命究竟能不能简化为数据流,还有待商榷。特别是我们也还不清楚,数据流究竟如何或为何能够产生意识和主观体验。或许在未来20年,我们就能得到一个很好的解释,但也许我们会发现,原来生物与算法还是不同。

同样有待商榷的一点,在于生命是否真的只是做出各种决策。在数据主义的影响下,生命科学和社会科学一心投入研究决策过程,仿佛这就是生命的全部。但是否真的如此?知觉、情绪和想法当然对决策很重要,但这就是它们唯一的意义吗?数据主义越来越了解决策过程,但对于生命的看法却可能越来越偏狭。

要对数据主义提出批判,可能不仅是21世纪最大的科学挑战,更是最急迫的政治和经济议题。生命科学和社会科学的学者应该自问,把生命当作数据处理和决策时,是否遗漏了什么因素?在这世界上,会不会有什么无法简化成数据?如果在所有已知的数据处理任务上,无意识算法终于完全胜过了有意识的人类智能,一旦我们用前者取代后者,可能会失去什么?

当然,就算数据主义有错,生物不只是算法,也不一定能阻止数据主义接管世界。过去就有许多宗教,虽然在事实上不尽正确,却也是大受欢迎、大权在握。如果基督教和政治风潮都能如此,数据主义何独不然?而且,因为数据主义正传播到所有科学学科,前景一片光明。只要能成为统一的科学范式,就很容易成为一个难以撼动的教条。要反驳科学范式并非易事,但到目前为止,从没有哪个科学范式真正得到整个科学界一致的采用。于是,某个领域的学者总是能从外部带入一些异端观点。但如果包括音乐学家和生物学家在内的每个人都采用了同样的数据主义范式,各种跨学科研究只会让这个范式不断增强。这样一来,就算范式本身仍有缺陷,趋势也极难抵抗。

如果数据主义成功征服世界,人类会发生什么事?一开始,数据主义可能会让人文主义加速追求健康、幸福和力量。数据主义正是通过承诺满足这些人文主义愿望而得以传播。而为了获得永生、幸福快乐、化身为神,我们就需要处理大量数据,远远超出人类大脑的能力,也就只能交给算法了。然而,一旦权力从人类手中交给算法,人文主义的议题就可能惨遭淘汰。只要我们放弃了以人为中心的世界观,而秉持以数据为中心的世界观,人类的健康和幸福看来也就不再那么重要。都已经出现远远更为优秀的数据处理模型了,何必再纠结于这么过时的数据处理机器呢?我们正努力打造出万物互联网,希望能让我们健康、快乐,拥有强大的力量。然而,一旦万物互联网开始运作,人类就有可能从设计者降级成芯片,再降成数据,最后在数据的洪流中溶解分散,如同滚滚洪流中的一块泥土。

于是,数据主义对人类造成的威胁,正如人类对其他动物所造成的威胁。在历史进程中,人类创造了一个全球性的网络,不论面对任何事物,都以它在这个网络中有何功能来给予评价。几千年来,这让人类充满了傲慢与偏见。人类在这个网络中执行着最重要的功能,也就很容易认为自己是这个网络所有成就的主要功臣,并认为自己就是造物的巅峰。至于其他所有动物,因为它们执行的只是网络中次要的功能,于是其生命和体验都遭到低估;只要动物不再能发挥任何功能,就躲不开惨遭灭绝的命运。然而,一旦人类对网络也不再能发挥重要功能,就会发现自己到头来也不是造物的巅峰。我们自己设定的标准,会让我们也走上猛玛象和白鳍豚的灭绝之路。到时回首过去,人类也只会成为宇宙数据流里的一片小小涟漪。

我们无法真正预测未来,因为科技并不会带来确定的结果。同样的科技,也可能创造出非常不一样的社会。举例来说,火车、电力、无线电、电话这些工业革命时期出现的科技,就能催生出法西斯政权或自由民主政体。让我们以朝鲜半岛两国为例:两国曾经可以获得相同的科技,但最后选择的用法只能说是南辕北辙。

人工智能和生物科技的兴起肯定将改变世界,但并不代表只会有一种结局。书中讲到的一切情境,都只是可能性,而非预言。如果你觉得某些可能性令你反感,欢迎运用各种新思维或采取新行动,让那些可能性无法实现。

然而,因为我们的思想和行动通常会受限于当今的意识形态和社会制度,要以新的方式来思考或行动并非易事。本书追溯了目前各种制约条件的起源,希望能够让我们稍微从中松绑,以更丰富的想象力思考我们的未来。本书所做的,并不是断言未来必会如何而让我们的视野变得更窄,而是希望让我们把视野放宽,体察到还有其他更多选项。正如我一再强调的,没有人真正知道2050年的就业市场、家庭或生态将会是什么样子,又或是由哪些宗教、经济和政治制度主导世界。

但放宽视野也可能造成副作用,让我们比以往更加困惑和不知所措。面对这么多情况和可能性,该注意些什么?这个世界的变化速度比以往更快,而我们又已被海量的数据、想法、承诺和威胁所淹没。人类正逐渐将手中的权力交给自由市场、集体智慧和外部算法,部分原因就在于人类无力处理大量数据。过去想阻挡思想言论,做法是阻挡信息流通。但到了21世纪想阻挡思想言论,反而靠的是用不相关的信息把人淹没。我们已经不知道该注意些什么,常常浪费时间研究辩论无关紧要的议题。在古代,力量来自有权获得资料。而到今天,力量却是来自知道该忽略什么。所以,面对这个混沌世界的一切,我们究竟该注意什么?

如果思考的是未来几个月的情形,注意的可能就是当下的问题,比如中东动乱、欧洲难民危机、中国经济增长趋缓。如果思考的是未来几十年的情形,注意的就是全球变暖、不平等的恶化,以及就业市场的破坏。但如果把视野放大到整个生命,其他的问题或发展的重要性,都比不过以下三项彼此息息相关的发展:

1.科学正逐渐聚合于一个无所不包的教条,也就是认为所有生物都是算法,而生命则是进行数据处理。

2.智能正与意识脱钩。

3.无意识但具备高度智能的算法,可能很快就会比我们更了解我们自己。

这三项发展提出了三个关键问题,希望读者在读完本书之后,仍能常挂于心:

1.生物真的只是算法,而生命也真的只是数据处理吗?

2.智能和意识,究竟哪一个才更有价值?

3.等到无意识但具备高度智能的算法比我们更了解我们自己时,社会、政治和日常生活将会有什么变化?

未来简史》_第三部分_智人失去控制权_第11章_信数据得永生_转载于网络 - 文学作品阅读

首页

未来简史第三部分_智人失去控制权_第11章_信数据得永生

书籍
返回细体
20
返回经典模式参考起点小说手势
  • 传统模式
  • 经典模式