在不确定性极高的世界里,如何像贝叶斯一样思考?
来源:《贝叶斯认识论基础》
你可能经常会被人问起:你相信什么。比如你相信上帝吗?你相信有外星人吗?你相信死后还有生命吗?人们也会经常告诉你,你的信仰构成了你身份的核心,以及你应该做什么,即“做你相信正确的事。”
这些关于信仰的问题要求非黑即白的答案,但生活的许多方面比这更加复杂。 你可能不信上帝,但也可能不愿意完全排除神的存在。这就是不可知论的意义所在。
对于许多重要的问题,即使有三个选项也不够。现在,我正试图弄清楚我的家庭能够负担得起我孩子的哪些类型的大学。
我的孩子的选择将取决于许多变量:
他们能够进入哪些类型的学校?
哪些学校可能适合他们?
如果我们以各种方式投资我们的钱,这将在接下来的两年、五年或十年内带来什么样的回报?
假设有人试图帮助我解决这个问题,说:“看,这很简单。只告诉我,你相信你的大女儿能进入当地的州立学校,还是相信她不能?”对于这个问题,我不知道该怎么回答。我不相信她会进入那所学校,但我也不相信她不会。我可能比五五开略微有些自信她会进入,但远未到完全确定的程度。
过去几十年中一个最重要的概念性发展是意识到信念有不同的程度。我们不是仅仅相信或不相信某件事:我们的许多思考和决策是由不同水平的信心驱动的。这些信心水平可以作为概率来衡量,从零到100百分比的范围内。
当我投资我为孩子们的教育所保存的资金时,专注于诸如“我相信在接下来的十年里,股票会比债券表现得更好吗?”这样的问题是一个过于简化的看法。我不可能确切知道。但我可以尝试给这些可能的结果分配基于教育的概率估计,并根据这些估计来平衡我的投资组合。
我们知道,经过多年的研究,用概率来推理是困难的。我们中的大多数人都被教导以全有或全无的方式来推理 。我们能够表达对事件的中等程度的信心,但我们在使用这些概率进行推理时非常糟糕。一次又一次,研究揭示了普通人在概率思维上的系统性错误。
幸运的是,曾经有一个活在18世纪叫做托马斯·贝叶斯的牧师,他在概率数学上的工作激发了我们现在称为贝叶斯统计的一场运动。
你可能在对话中听到过“贝叶斯”的讨论,或在新闻文章中提到过。其核心,贝叶斯主义是一套用于概率推理的工具箱。它告诉你如何数值化地测量信心水平,如何测试这些水平以查看它们是否有意义,然后如何随时间管理这些水平。
最后这部分很重要,因为对于任何给定的主张,有时你对它的信心比其他时候更强。一旦我的大女儿参加了一系列标准化考试,我就会根据她的大学前景的新证据来调整我的信心水平。贝叶斯主义提供了一个进行这种调整的方法。
在这份指南中,我将提供五个基本的贝叶斯思想 来帮助你改善使用概率的推理。它们仅仅是一个开始——如果你真的想深入到细节中并与数学搏斗,可以去找更多的相关书籍。我不能保证让你成为一个完美的概率推理者。(天啊,我以此为生教学,我仍然会犯错误。)但希望这能给你一个开始,帮助你更好地根据你的证据分配你的观点,并在面对不确定性时做出更好的决策。
深思熟虑
**
**
贝叶斯主义的第一步是停止以全有或全无的方式思考。 贝叶斯主义者希望超越你要么相信要么不相信的二分法,开始将信念视为有不同程度的东西。这些程度可以在零到100百分比的尺度上进行测量。
如果你确定某个事件会发生,那就是100百分比的信心。如果你确定它不会发生,那就是0百分比。但是,贝叶斯主义者再次建议不要走极端。
在很少的情况下,确信某件事会发生或不会发生是有意义的。在他的书《做决定》(1971)中,贝叶斯主义者丹尼斯·林德利(Dennis Lindley)赞同引用奥利弗·克伦威尔的格言,总是“认为你可能会犯错。”除非某事件绝对不可能发生,否则你不应该确信它不会发生 。
好吧,那么也许我们不应该给严格来说可能的任何事物分配零的信心值。但我们都听过有人描述某种可能性为“百万分之一”。如果某事这么不可能,那基本上不会发生,对吧?所以,百万分之一或许也等于零?丹尼斯·林德利也说他觉得给月球由绿色奶酪组成的可能性分配百万分之一的信心是可以接受的。
在用概率推理时的一个常见错误是认为:一个百分点的小数部分——尤其是接近极端值如0%或100%时——它就不重要。
任何有幸获得高质量现代产前护理的父母都会看到基因测试报告,报告中说明了他们正在成长的胎儿发展某些疾病和出生缺陷的可能性有多大。我记得和我怀孕的妻子一起看着像0.0004百分比和0.019百分比这样的概率,想知道我们应该担心什么以及我们可以忽略什么。这样微小的概率差异直观上很难把握。但是,概率为0.019百分比的条件几乎比概率为0.0004百分比的条件可能发生的概率高50倍。
看到像0.0001百分比——百万分之一——这样的概率值,认为它和0百分比之间的差异仅仅是四舍五入的误差,这是很诱人的。但是,概率为0百分比的事件字面上是不可能发生的,而概率为0.0001百分比的事件却一直在发生。
如果你有几分钟时间和一些零钱,去翻转一枚硬币20次。(我们会等你。)不管你最终观察到的头像和尾数的序列是什么,那个特定序列发生的机会都不到百万分之一。
为了更好地评估几乎不可能和几乎肯定的重要性,贝叶斯主义者有时会从用百分比尺度测量概率转为用赔率来测量。如果我买了足够的彩票给你一个0.001百分比中奖的机会,并且给你的朋友买足够的彩票让他有0.1百分比的机会,你可能会想知道你应该有多生气。把这些值转换成赔率形式,我们看到我给了你的朋友一千分之一的机会,而你只有十万分之一!
用赔率形式表达概率清楚地显示,你的朋友拥有的彩票是你的100倍,并阐明这两个概率——虽然都接近于零——但仍然有重要的不同。
关注你的所有证据
**
**
贝叶斯思维的一个一贯主题是,相较于绝对性思维,以信心的不同层次工作可以变得更加复杂和微妙。决定性的、一锤定音的证据的一个好特性是它不能被任何事情推翻。如果一个数学家证明了某个定理,那么随后学到的任何东西都不能撤销那个证明,也不能给我们理由不相信其结论。
贝叶斯主义旨在理解渐进性证据,接受我们每天面对的那些不那么决定性的信息。 这样的证据的一个关键特征是它总是可以被推翻。这是曲折的神秘小说的生命线:一个目击者说凶手用他的左手持枪——但事实证明她是在镜子中看到的——但尸检揭示受害者在被枪击之前就被毒死了……
因为证据的重要性很大程度上取决于上下文,而且潜在的反驳者可能总是潜伏着,所以重要的是不要对所知的内容感到自满,对相关的新信息保持开放的心态。而 是要彻底和仔细地思考已经拥有的信息。鲁道夫·卡尔纳普提出了全面证据原则,要求你对一个问题的信念要包含并反映与那个问题相关的所有证据。
这里有一种我们经常忽视的相关证据:除了关于某个主题的信息,我们往往还知道一些关于我们如何获得那些信息的信息。当然,这并不总是真的:我知道亚伯拉罕·林肯出生在一个小木屋里,但我不知道我在哪里学到了这个小知识。但通常——特别是在今天不确定的媒体环境中——跟踪自己的来源,并评估你收到的信息是否以有偏见的方式被选中给你,是很有价值的。
亚瑟·爱丁顿爵士举了一个例子,你从一个湖里捞出一大群鱼,所有这些鱼都长于六英寸。通常,这将是强有力的证据表明湖里的所有鱼至少都那么长。但如果你知道你使用的是一个六英寸孔网来捞鱼,那么你就不能得出你的样本本来可以合理得出的结论。
关注证据是如何被选中的,可以有重要的现实生活后果。在《如何不错误》(2014)中,乔丹·艾伦伯格讲述了一个来自第二次世界大战的故事:美国军方向统计学家亚伯拉罕·瓦尔德展示了数据,表明从空战返回的飞机在机身上比在引擎上有更多的弹孔。军方考虑将装甲从引擎转移到机身,以更好地保护他们的飞行员。
瓦尔德建议了完全相反的做法,理由是返回的飞机在机身上有孔;那些没有返回的飞机在引擎上有孔,所以额外的装甲应该放在那里。
不要忘记你之前的观点
**
**
你仔细考虑了你刚刚收到的证据。你小心地将其全部考虑在内,考虑上下文,并记住它来自哪里。考虑到这一切,你找到了使那证据最可能的假设,即那证据最强烈支持的假设。那就是你现在应该最有信心的假设,对吗?
错。贝叶斯规则说,对新证据的反应是增加你对使证据最可能的假设的信心。但你在接收到那证据后的信心最终落脚点取决于你在收到证据之前的信心水平。
借用推理冠军朱莉娅·盖尔夫的例子,假设你正在穿越大学校园并随机停下一名本科生询问方向。这名本科生眼神分散、茫然;穿着的衣服是你绝不会想拿去熨烫的;并且似乎对于在这个时间还醒着感到有些惊讶。你应该更有信心认为你的对话者是哲学专业还是商业专业的学生?
简单答案:这种外观更典型的是哲学专业而非商业专业的学生,所以你应该更有信心你正在处理前者。乍一看,这个答案似乎得到了我所描述的贝叶斯思维的支持。随便选一些数字(可能对哲学家有点不公平),假设所有哲学专业的学生中有三分之一符合这个描述,但只有1/20的商业专业学生这样(也许是数量分析师?)。如果你随机停下的人是哲学专业的学生,你的证据的概率是三分之一。如果你停下的是商业专业的学生,概率是二十分之一。所以,关于这位学生外观的证据更强烈支持他们学习哲学的观点。
但现在考虑以下情况:在我的校园里,目前哲学专业的本科生差不多有250名,而商业专业的学生大约有3600名。如果前一段中的比例是正确的,我们应该期待校园里大约有80名与周围环境脱节的哲学专业学生和大约180名商业专业学生。
所以,如果你随机选择一名本科生,你得到一个分心的商业专业学生的可能性至少是得到一个分心的哲学家的两倍。
这里的关键是记住,在你评估这位学生的外表之前,他们更倾向于商业而非哲学的几率要大得多。你从与他们互动中获得的证据应该增加你认为他们是哲学家的信心,但是增加一个小数字仍然可以让它保持很小!
贝叶斯规则要求你在学习到一些证据后对假设的更新信心结合了两个因素:你对假设的先验信心,以及它被新证据支持的强度。 忘记前者,只关注后者,被称为基础率谬误。不幸的是,即使是处理改变生活的数据的专业人士也经常犯这个错误。
假设为一种罕见疾病开发了一种新的医学测试——只有千分之一的人患有这种疾病。这个测试相当准确:患有该疾病的人会有90%的概率呈阳性,而没有患病的人只有10%的概率呈阳性。你随机选择一个个体,进行测试,并得到一个阳性结果。你应该有多大的信心认为他们患有该疾病?
大多数人——包括受过训练的医疗专业人士!——说你应该有80%或90%的信心认为该个体患有该疾病。 根据贝叶斯规则,正确答案是不到1% 。问题在于,大多数回答者都被测试的准确性(它产生的证据的强度)所压倒,以至于他们忽视了这种疾病在人群中的罕见程度。
但让我们做一些快速计算:假设你对10,000名随机选择的个体应用了这个测试。其中大约10个人会患有该疾病,所以他们中的9个人会得到阳性测试结果。另一方面,你选择的大约9,990名个体不会患有该疾病。由于测试会让10%的健康个体呈阳性,这9,990名健康个体将产生大约999个假阳性测试。所以,在测试了10,000人之后,你会得到总共1,008个阳性结果,其中只有9个(不到1%)是真正患有该疾病的人。
再次强调,当处理极端概率的案例时,考虑赔率可能会有所帮助。强烈支持假设的证据(就像刚才描述的可靠医学测试)可能会将该假设的赔率增加10倍,甚至100倍。但如果赔率开始足够小,将它们乘以10将会从千分之一的机会变成百分之一。
子群体并不总是反映整体
**
**
贝叶斯主义者经常处理条件概率。当你考虑某个特征在人口的一个子群体中有多常见,而不是考虑整个人口时,就会出现条件概率。如果你随机挑选一个美国人,他们很不可能喜欢未发酵面团制成的披萨,上面覆盖着普罗韦尔奶酪,并切成方块。但是,在假设他们在圣路易斯长大的条件下,他们喜欢这种怪物的概率要高得多。
条件概率的表现可能非常违反直觉。人们会认为应该是显而易见的简单原则有时会以惊人的方式失败。这方面最清晰的例子是辛普森悖论。
希望我们所有人在生活中都学会了不从单一例子中作出广泛概括,或假设一个小团体代表整体。一个只通过访问圣路易斯就判断美国人的披萨偏好的外国人会被严重误导。由于疏忽或纯粹的坏运气,我们可能会偶然踏入一个与众不同的亚人口群体,因此表现出的特征并不反映一般人口的特征。
但辛普森悖论展示了比这更奇怪的现象:有时每个群体的子群体都具有某个特征,但该特征仍然不被整个群体所展示。
在2016-17 NBA赛季中,詹姆斯·哈登(当时在休斯顿火箭队)的两分球尝试百分比高于德玛尔·德罗赞(在多伦多猛龙队)的他的两分球尝试。哈登的三分球命中率也高于德罗赞。然而,德罗赞的整体投篮命中率——他投进的两分球和三分球的总和百分比——却高于哈登的。哈登在两分球和三分球上都做得更好,而这些都是计入投篮命中率的唯一类型的投篮,但德罗赞的总体表现却更好。这怎么可能呢?
篮球爱好者会知道,对任何球员来说,两分球比三分球更容易命中,然而哈登固执地给自己制造难度。在2016-17赛季,他尝试的每种投篮几乎相同(777次三分球对比756次两分球),而德罗赞尝试的两分球是三分球的十倍以上。即使哈登在每种投篮上都更出色,德罗赞做出了战略决定,比低命中率的投篮更频繁地选择高命中率的投篮。因此,他整体上获得了更高的成功率。
同样的现象出现在1970年代对加利福尼亚大学伯克利分校研究生院进行性别偏见调查时。1973年,44%的男性申请者被伯克利的研究生院录取,而只有35%的女性申请者成功。然而,一项统计研究发现,实际上做录取决定的各个系部门让男性和女性以大致相同的比率进入,或者甚至更频繁地录取女性。问题在于,一些系部门进入的难度比其他系部门大得多(对所有申请者来说!),而女性不成比例地申请更具选择性的领域。
当然,这并不消除所有偏见的可能性;一项研究发现,女性申请更拥挤的领域是因为她们在本科阶段没有获得学习资金更充足(因此能录取更多学生)学科所需的数学背景。但关于条件概率的更广泛观点依然成立:你不能假设整体人口反映了其子群体中的趋势,即使这些趋势在所有子群体中都出现。你还必须考虑特征在子群体之间的分布。
主教约瑟夫·巴特勒说:“概率是生活的真正指南。”贝叶斯牧师教会了我们如何使用这个指南,并随着我们的生活发生变化以及我们学到新事物时更新它。
更新你的信心的基本方法是:从你之前的观点开始。考虑你的新证据——你刚刚学到的所有东西,包括你对如何学到它的了解。在你考虑的假设中,确定哪些使得那证据更可能。然后将你的信心转向那些假设。
**
**
你可能会问:这些先前的观点从哪里来?如果你是一个贝叶斯主义者,你带入特定调查的观点将会受到你过去收集的证据的影响。你不仅仅是应用贝叶斯规则一次。每当你获得有关某个主题的新信息时,你就更新对那个主题的看法,这些新更新的观点为你未来的下一次更新提供先验。你持续不断、不断演变的世界观就像奥托·诺伊拉特的形象所描述的船:“[W]e are like sailors who on the open sea must reconstruct their ship but are never able to start afresh from the bottom…”(“我们就像在公海上必须重建船只但永远无法从底部重新开始的水手…”)
没有两个人会有相同的证据过程,也没有两个人会在他们的一生中有相同的观点序列。当我们遇到不同的观点时,我们应该记住这些不同的路径。但我们也应该记住贝叶斯数学中一个美妙的部分:如果我们每次更新我们的观点时都应用贝叶斯规则,那么,无论我们的观点开始于何处,收集越来越多的证据都有很高的概率使它们越来越接近真相。如果我们持续学习并持续更新,那么贝叶斯的指南将引领我们到达目的地。
相关阅读:2024,更清晰的人生发发展方向
我们邀请了其中一批能代表AI时代精神的优秀作品,在路演中表达他们的创作思路。加入路演观众群,说不定聆听的过程中,你也能从中获得沉淀你个人作品的启发。
月启动,时至今日,已服务了近300位来访者,以一线城市、新一线城市的知识工作者为主,他们有的在科技、金融的前沿;有的为事业与家庭平衡焦虑;有的渴望逃离安逸,探索自己的潜能。想了解咨询师如何改写他们的人生故事,为他们找到人生发展的巧妙解,点击下方「阅读全文」加入东木咨询知识星球。