Thomas Bayes · 约1701–1761

贝叶斯

生前没用自己的名字发表过一篇数学;死后两年,朋友从遗稿里翻出一篇,问的是:看见了结果,那个看不见的概率落在哪儿

P(x1<x<x2)=∫x1x2xp(1−x)q dx∫01xp(1−x)q dxP(x_1 < x < x_2) = \frac{\int_{x_1}^{x_2} x^p (1-x)^q \, dx}{\int_0^1 x^p (1-x)^q \, dx}
《试解机遇论中的一个问题》第十条命题(1763)· 一件事出现 p 次、落空 q 次,它的概率落在两个数之间的机会,是这条曲线下两块面积之比——他写的是面积,今天那条「贝叶斯公式」在文中并没有这样写出来

托马斯·贝叶斯约 1701 年生于伦敦。邦希尔墓地的墓上写着他 1761 年 4 月 7 日去世、享年五十九岁,所以生年只能定在 1701 或 1702 年。家族在谢菲尔德做刀具起家,父亲约书亚据 MacTutor 是英格兰最早按立的六位非国教牧师之一。非国教徒进不了牛津、剑桥,他 1720 年前后进爱丁堡大学学逻辑与神学(MacTutor 作 1719 年入学),校档里记着他 1721、1722 年各讲过一次道。回伦敦先给父亲当助手,约 1733 年起在坦布里奇韦尔斯的锡安山礼拜堂当长老会牧师,1752 年退职,此后一直住在那里。他生前用自己的名字发表的数学一篇也没有:1731 年的《神的仁慈》是神学,1736 年那本替牛顿流数法辩护、驳贝克莱主教的《流数法导论》,都是匿名印的。

这一关要单独过:他是牧师。可 1742 年他当选皇家学会会员,那张提名书写的是「深通几何,以及数学与哲学学问的各个部分」,签名的五个人里有学会会长福尔克斯与斯坦诺普伯爵——据 Bellhouse 2004 的考证,赏识他的多半是这位自己也爱做数学的伯爵,大概读过那本匿名的《流数法导论》;惠斯顿 1746 年记他「是一位很好的数学家」。他留下的东西本身就是数学:一条发散级数的证明、一个二项积分的逐项算法与上下界、一套为「由果推因」立的定义与命题。1755 年前后他还写信给约翰·坎顿,评辛普森那篇「多次观测取平均」的文章,指出仪器本身的偏差不会因为多测几次就消掉。他身后的名声全靠两篇遗稿,都由朋友理查德·普赖斯送到皇家学会,印在《哲学汇刊》1763 年那一卷上。今天叫「贝叶斯定理」的那条式子,他的文章里并没有这样写出来:他写的是一条条件概率的命题,和一块面积与另一块面积之比;把「由事件推原因」写成一般原理的是拉普拉斯,1774 年,而且是独立做的(见拉普拉斯那一页)。

贝叶斯肖像
《试解机遇论中的一个问题》第二节首页,《哲学汇刊》第 53 卷第 385 页,伦敦 1763 · 互联网档案馆扫描,公有领域。他没有可信的画像传世(见本页第六件),所以这里放他自己的一页:上半页是那条公设——一张做得很平的正方形桌子,先扔球 W、再扔球 O——右下是原刊那张图,竖线 os 就是 W 停下的地方,底下那条弧线就是第十条命题里的那块面积。

生平

  1. 约1701
    生于伦敦

    墓上写他卒年五十九岁,生年因此只能定在 1701 或 1702。

  2. 1720
    进爱丁堡大学

    学逻辑与神学;非国教徒的儿子进不了牛津、剑桥。入学年份一说 1719。

  3. 1731
    《神的仁慈》

    匿名。论上帝造世界的主要目的是造物的幸福;多年后普赖斯在书里写明作者是他。

  4. 约1733
    坦布里奇韦尔斯

    锡安山礼拜堂的长老会牧师,一直做到 1752 年。

  5. 1736
    《流数法导论》

    匿名。替牛顿的流数法辩护,驳贝克莱主教 1734 年的《分析学家》。

  6. 1742
    当选皇家学会会员

    3 月 25 日第一次随人赴会,4 月 8 日提名,11 月 4 日当选;此时他名下没有一篇署名的数学。

  7. 1747
    送给斯坦诺普伯爵的数学稿

    据 Bellhouse 2004,伯爵的文件里有一组「1747 年 9 月 1 日送来」的稿子,那条发散级数就在里面(见本页第五件)。

  8. 约1755
    致坎顿,评辛普森

    仪器有偏差,多测几次也消不掉。

  9. 1760
    立遗嘱

    12 月 12 日。200 镑分给两位牧师,其中一位是理查德·普赖斯。

  10. 1761
    卒于坦布里奇韦尔斯

    4 月 7 日,当时的报纸只说他死得突然。葬伦敦邦希尔墓地的家族墓室。

  11. 1763
    两篇遗稿在皇家学会宣读

    11 月 24 日,致坎顿论级数的信;12 月 23 日,普赖斯送来的那篇长文。同印于《哲学汇刊》第 53 卷。

  12. 1764
    普赖斯补发第二条规则的证明

    《哲学汇刊》第 54 卷。长文里那两条近似规则原本只给了结果。

展品厅

绝大多数展品都可以亲手把玩——这是本馆的立馆之本;少数以叙述为主的,做成故事展签。

镇馆之宝 · 亲手玩

一张桌子,两只球

先扔一只球定下一条线,再把另一只球扔 n 次,只告诉你有几次落在线的这一边——那条线在哪儿?他把「一个概率落在哪儿」变成了一块面积。

P(第一件∣第二件)=P(两件都发生)P(第二件)P(\text{第一件} \mid \text{第二件}) = \frac{P(\text{两件都发生})}{P(\text{第二件})}

原刊第二节的两条公设:一张做得很平的正方形桌子 ABCD,球扔上去,停在任何一块等大的地方机会都一样。先扔球 W,过它停下的地方画一条平行于 AD 的线 os;再把球 O 扔 p + q 次,每一次停在 AD 与 os 之间,就算事件 M 发生一次。M 在一次里发生的概率就是 Ao 与 AB 之比——一个确实存在、却谁也没看见的数。第八条命题算出:「线落在 f 与 b 之间,并且 M 发生 p 次、落空 q 次」的机会,是曲线 y = E·x 的 p 次方·(1 − x) 的 q 次方在 f、b 之间那一块面积与整张桌面之比;第九条命题再借第五条(先知道第二件事发生了,由此猜第一件也发生了,猜对的机会是「两件都发生」与「第二件发生」之比),得出:只看见 p 与 q,猜那条线在 f 与 b 之间,猜对的机会是那一块面积与曲线下整块面积之比。普赖斯在前言里说,棣莫弗解的是正问题——已知概率,求很多次试验里次数的比例落在某个范围里的机会;而反过来的问题,「我不知道有谁给出过解」。原文只说「正方形的桌子或平面」,据 Bellhouse 2004 转述斯蒂格勒的话,是费希尔、K. 皮尔逊一辈人把它「升格」成了台球桌。演示照原文的设定:W 先藏着,O 一次次扔,右边那条曲线越来越窄,阴影是「猜它在 p/n ± 0.1 之间」猜对的机会。

扔几次 O,看右边那条曲线怎样收窄;按「揭开 W」看那条线到底在哪儿

扔了 20 次,左边 8 次、右边 12 次。只凭这两个数,猜 M 的概率在 0.300 与 0.500 之间,猜对的机会是 0.6607——第九条命题说的就是这块阴影占整块面积的比例。

他为「一无所知」辩护,辩的是次数

桌子只是一个模型;真遇到一件毫无所知的事,凭什么也照「处处一样可能」来算?他的理由不是「那个概率取哪个值都一样可能」,而是「做 n 次,发生 0 次、1 次……n 次都一样可能」。

∫01(np)xp(1−x)n−p dx=1n+1\int_0^1 \binom{n}{p} x^p (1-x)^{n-p} \, dx = \frac{1}{n+1}

普赖斯的前言交代了一段写作经过:贝叶斯起初直接假定「那个未知的概率落在任意两个等距的值之间,机会相同」,照这样给过一个很巧妙的解;后来他想到这条公设未必人人认为合理,就把命题换了一种写法,把理由放进一条附注,「而不让任何可能引起争议的东西进入数学推理」。那条附注在第 392–393 页:对一件事毫无所知,就是在若干次试验里,没有理由认为它更该发生某一个次数、而不是另一个;桌上的事件 M 恰好如此——扔 W 之前,n 次里 M 发生 p 次的机会是 1/(n + 1),与 p 无关(他说用流数法算那块面积就能看出,注里写明比例是 1 比 n + 1)。所以对一件「未知的事件」,可以照事件 M 的规则来算。这条论证落在看得见的次数上,而不是落在看不见的概率上。反过来也成立:如果对每一个 n,0 到 n 次都一样可能,那么 n 次全中的机会就是 1/(n + 1),也就是那个概率的 n 次方平均起来是 1/(n + 1)——各阶矩都与均匀分布相同,而 0 到 1 上的分布由各阶矩唯一确定,只能是均匀的。演示把四种「桌子」并排:均匀的一种,次数恰好一样可能;中间高的、两头高的、一头高的,都不平。

平桌上,n = 10 时 0 到 10 次每一种都是 1/11——这就是他附注里说的「没有理由认为它更该发生某一个次数」。n 次全中的机会也是 1/11。

普赖斯的彩票,重算一遍

附录里普赖斯亲手算了五档,从听见 10 张空签 1 张奖,到 1000 张空签 100 张奖。今天逐个重算:多数只差末位,三个数差在第二位,最后一档用第二条规则给出的上下界,把真值 0.7055 关在了门外。

(n+1)(np)[xp+1p+1−q xp+2p+2+q(q−1)2 xp+3p+3−⋯]x1x2(n+1)\binom{n}{p}\Big[\frac{x^{p+1}}{p+1} - q\,\frac{x^{p+2}}{p+2} + \frac{q(q-1)}{2}\,\frac{x^{p+3}}{p+3} - \cdots\Big]_{x_1}^{x_2}

附录第 411–416 页:一个人站在开彩的现场,不知道彩票里空签与奖签各有多少,只能听。听见 10 张空签、1 张奖,问「空签与奖签之比在 9 比 1 到 11 比 1 之间」的机会,他照第一条规则算出 .07699;又问「不到 9 比 1」的机会,.6589。接着 20 与 2、40 与 4、100 与 10。第一条规则是一条交错级数:把 (1 − x) 的 q 次方展开逐项积分,一共 q + 1 项,再乘 (n + 1) 与二项式系数。重算用的是同一块面积,逐项都取正号、不会互相抵消。印出来的数里,.07699 与 .527 与重算相同,.6589、.10843、.44109 只差末一位,.1525 差两个单位(重算 0.1527);差在第二位的有三个:20 与 2 那一档「不到 9 比 1」印 .584,重算 0.5920(他接着写的「584 比 415」也是照这个数来的);100 与 10 那一档「大于 11 比 1」印 .3082、重算 0.3199,「在两者之间」印 .2506、重算 0.2390——他在脚注里把这一档说成「一百份里 44、31、25」,重算是 44、32、24。到 1000 与 100,第一条规则的项太多,他改用第二条,只给出「大于 .7953、小于 .9405」。照原刊印出来的第二条规则一步步算,确实得到 0.79536 与 0.94065,所以不是他算错;可这块面积的真值是 0.705539,落在下界之下。差在规则里的 m 上:他的主项相当于 erf(mz),等于 0.862,而真值约等于 erf(mz/√2)。这一步是贝叶斯原稿里就有、还是整理时出的,这里没有查实。最后一档 10000 与 1000 用第三条规则,只说「大于 .97421」,真值 0.99904,这一句是对的。

1000 空 100 奖:照原刊印出来的第二条规则算,上下界确是 0.7954 与 0.9406(他印 .7953、.9405);可这块面积的真值是 0.7055,在下界之下。

看见太阳升起一百万次之后

普赖斯设想一个刚来到世上的人:看见太阳回来一次,可以赌 3 比 1 它的回来有过半的把握;看见一百万次,是 2 的一百万次方比 1——可「它永远会回来」,多少次也证不出来。

P(x>12 ∣ p 次全中)=1−(12)p+1P\Big(x > \tfrac12 \,\Big|\, p \text{ 次全中}\Big) = 1 - \big(\tfrac12\big)^{p+1}

附录第 405–410 页。先是一个干净的推论:一件事出现了 p 次、从未落空,「它在一次里的概率超过一半」的机会是 1 减去二分之一的 p + 1 次方,赔率 2 的 p + 1 次方减 1 比 1——一次 3 比 1、两次 7 比 1、三次 15 比 1,他印的正是这几个数。接着他讲一颗面数与构造都不知道的骰子:第一掷只告诉你它有这一面,从第二掷起才开始算;然后是那个人与太阳:第一夜失去它之后,他对它还会不会再来一无所知;看见它回来一次,就是出现了一次。看它回来一百万次之后,「那个比例」(让它回来的原因与让它不回来的原因之比)大于 160 万比 1 的机会是 .4647,小于 140 万比 1 的机会是 .4895(太阳那一段换成反面,印 .5352 与 .5105);落在 60 万比 1 到 300 万比 1 之间,也只有 .527——「不过比对半略多」。今天重算:0.46474、0.48954、0.52766,全对得上(.5352 按四舍五入应作 .5353)。前面「出现十次、概率在 2/3 与 16/17 之间」那一例印 .5013,重算 0.50175。他要说的是:齐一的经验只能让人按比例地期待,「总有理由反对『事情会永远如此』这个结论」;这组数都建立在「事先对自然一无所知」上,他自己也强调了。今天叫「继承法则」的那个数——下一次再发生的机会是 (p + 1)/(p + 2)——出自拉普拉斯,普赖斯没有算它。

回来 1,000,000 次之后,那个比例的中位数约 1,442,696 比 1,可它落在 60 万到 300 万之间的机会只有 0.5277。曲线随次数往右挪,却永远碰不到最右边:「它永远会回来」多少次也证不出来。今天叫继承法则的「下一次再回来的机会 (p + 1)/(p + 2)」出自拉普拉斯,普赖斯没算这个数。

那条阶乘级数,其实一个数也表示不出来

棣莫弗、斯特林、麦克劳林都用过一条算 ln z! 的级数,取前几项准得惊人;他在一封信里指出:往后的项会越来越大,不管 z 多大,整条级数都不收敛。

ln⁡z!∼12ln⁡2π+(z+12)ln⁡z−z+112z−1360z3+11260z5−⋯\ln z! \sim \tfrac12\ln 2\pi + \big(z+\tfrac12\big)\ln z - z + \frac{1}{12z} - \frac{1}{360z^3} + \frac{1}{1260z^5} - \cdots

《哲学汇刊》同一卷第 269–271 页,1763 年 11 月 24 日宣读,比那篇长文早一个月,也是遗稿。信只有两页多:「有几位杰出的数学家断言」,1 到 z 的对数之和等于 ½ log c + (z + ½) log z − z,再减去 z − 1/(12z) + 1/(360z³) − 1/(1260z⁵) + 1/(1680z⁷) − 1/(1188z⁹) + …(z 那一项与前面抵掉),c 是单位圆的周长——前半截与那个 √(2π) 的来历,馆里棣莫弗那一页讲过。「取适当数目的前几项,它确实会非常接近那个和;可整条级数永远不能真正表示任何量」:第五项之后系数开始增大,而且增得比 z 的幂所能抵消的更快。他给出系数的造法——a = 1/12,5b = a²,7c = 2ba,9d = 2ca + b²,11e = 2da + 2cb,……再依次乘上 2、2·3·4、2·3·4·5·6……;又给了一条下界:前三项之后,离第一项 n 步的那一项若为 y,下一项大于 n(2n − 1)/(6n + 9) 乘 y/z²。演示照他的递推造出前四十个系数,前八个与伯努利数给的逐个相等,那条下界从第 4 项到第 39 项逐条验过都成立。z = 1 时加到第三项误差最小,2.9 × 10⁻⁴,再加就越加越远——z = 1 正是「½ log c」那个常数的由来,他说这一档「更不可能有任何终值」。z = 2、3、4 时最好的误差是 3.9 × 10⁻⁷、5.9 × 10⁻¹⁰、9.5 × 10⁻¹³,停在第 7、10、13 项,然后照样发散。据 Bellhouse 2004,斯坦诺普伯爵的文件里有一组「贝叶斯先生 1747 年 9 月 1 日送来的数学稿」,这条级数就在里面,与信的第二段逐字相同——他至少在发表前十五年就知道了。这类「发散却好用」的级数,后来叫渐近级数。

z = 1 时,各项先变小、到第 4 项最小,然后一路变大——不管 z 取多大,这个拐点总会来,只是来得晚些。 部分和加到第 3 项离 ln z! 最近,差 2.88e−4。

遗稿、一处改动,和一幅大概不是他的像

1761 年春他在坦布里奇韦尔斯猝然去世,遗嘱里给普赖斯留了一笔钱;两年后普赖斯从遗稿里找出一篇文章,添上前言、注与附录,还改了他一处。

他 1760 年 12 月 12 日立遗嘱,把 200 镑分给两位牧师,约翰·霍伊尔与理查德·普赖斯;1761 年 4 月 7 日死在坦布里奇韦尔斯,当时的报纸只说他死得突然,葬在伦敦邦希尔墓地的家族墓室。1763 年 11 月 10 日,普赖斯从纽因顿格林写信给皇家学会的约翰·坎顿:「我现在寄给您一篇文章,是在我们已故的朋友贝叶斯先生的遗稿里找到的,依我看它极有价值,很值得保存下来。」信 12 月 23 日在学会宣读。普赖斯交代了自己动过哪些地方:贝叶斯为这篇写的引言没有照印,由他在信里转述;后两条规则只给结果、不给推导,因为推导太占篇幅,而且那两条「并不像希望的那样完美地达到目的」;几处加了短注;全文之后加了附录,演示这些规则怎么用——「附录里的计算……如果有错,只该由我一人负责」。第二条规则底下还有他一条脚注:贝叶斯的手稿里两个除数都少了第三项,「显然是推导中的一个小疏忽,我有理由认为贝叶斯先生自己已经发现了」,于是他「冒昧改正了原稿」。第二年他又在第 54 卷补发了这条规则的证明。至于长相:流传最广的那幅像,已知最早印在奥唐奈 1936 年的《人寿保险史》第 335 页,没有交代来源。Bellhouse 2004 拿它比对同时代非国教牧师的正式肖像:画中人没有戴假发,或者假发的样式不对;领子过高;领带是从领口下面露出来的——都与那个时代对不上。他父亲约书亚的肖像 1799 年由外孙捐给了威廉斯博士图书馆,他本人的却没有,很可能家里根本就没有他的像。所以这一页不放那幅像,放的是那篇文章里画着那张桌子的一页。

故事展签

传承

他的工作没有留在十八世纪——每条链的终点,都是你今天正在使用的东西。

1763:出现 p 次、落空 q 次,反推那个概率落在哪儿→拉普拉斯的由果推因,到二十世纪成为一整套统计推断→垃圾邮件过滤、检验结果的阳性预测值、机器学习里的贝叶斯方法
1763 附注:一无所知,就是每一个次数都一样可能→先验怎么选:两百多年没停过的争论→A/B 测试里拿均匀分布当起点、按转化次数一路更新的做法
1763 附录:普赖斯的彩票与第二条规则的上下界→二项分布尾部面积的近似,以及近似的误差到底有多大→抽样质检里「这批货的次品率有多大可能超过某个数」的算法
1763 致坎顿的信:ln z! 那条级数发散→渐近级数:取到最小的那一项就停→计算器与数学库里算阶乘、伽马函数的数值逼近
约 1755 致坎顿的信:仪器有偏差,多测几次也消不掉→系统误差与随机误差分开处理→测量平差与质量控制里先校仪器、再取平均

他在哪几条专题里

专题是按技术组织的演进线,一条从概念提出拉到今天的器物。这里一个字都没手写, 全是 tracks.ts 推出来的。

语录

「如果我是半个瞎子,为什么非得请一个全瞎的人来领路?」

—— 《流数法导论》(1736,匿名)序,驳贝克莱主教拿逻辑与形而上学来给数学家「开眼」;据 MacTutor 所引英文译出,大意

「取适当数目的前几项,它确实会非常接近那个和;可整条级数永远不能真正表示任何量。」

—— 致约翰·坎顿的信,《哲学汇刊》第 53 卷第 269–270 页(1763);据原刊译出,大意

「仪器与感官的不完善造成的误差,只靠增加观测次数就能减到零或近于零——这在我看来极难置信。」

—— 约 1755 年致约翰·坎顿的信,评辛普森论取平均的文章;据 MacTutor 所引英文译出,大意