Table of contents
2连咸饼 ➔ P(袋子)
从同一袋子里连续取出了2个咸饼干，问最有可能是以下5个袋子中的哪个？
| 饼干比例: | 100%甜 | 75%甜25%咸 | 50%甜50%咸 | 25%甜75%咸 | 100%咸 |
|---|---|---|---|---|---|
| MLE | 0 | 0.0625 | 0.25 | 0.5625 | 1 |
设从每个袋子中取出咸饼干的概率是p，则MLE 只需对每个袋子求p²，则第5个袋子的似然最大。而MAP还要考虑各袋子出现的概率g，所以MAP函数为 p²×g，可得第4个袋子的后验最大
| 先验g (袋子出现的概率) | 0.1 | 0.2 | 0.4 | 0.2 | 0.1 |
|---|---|---|---|---|---|
| 袋中咸饼干比例 θ | 0 | 0.25 | 0.5 | 0.75 | 1 |
| 事件 X:二连咸(MLE) | 0 | 0.0625 | 0.25 | 0.5625 | 1 |
| MAP | 0 | 0.0125 | 0.1 | 0.1125 | 0.1 |
| 后验 | 0 | 3.85% | 30.8% | 34.6% | 30.8% |
因为这里的样本空间由两个随机变量组成：事件X和袋子概率g，所以P(X)就是在所有θ可能的情况下X发生的概率和(0.325)。因为P(X)是个常数，所以做 MAP 只看分子就行。
男生 ➔ P(打lol)
| 先验g | 60% | 40% |
|---|---|---|
| 男女比例 θ | 80%男20%女 | 20%男80%女 |
| 事件X:1男 (MLE) | 0.8 | 0.2 |
| 事件X:1男 (MAP) | 0.48 | 0.08 |
| 后验 | 85.7% | 14.3% |
9正1反 ➔ P(硬币)
抛10次硬币9正1反，求这枚硬币朝上的概率? 【机器学习我到底在学什么】哲学角度聊聊贝叶斯派和频率派，数学角度看看极大似然估计和最大后验估计
频率派会说是0.9，因为这样对应"抛出9次朝上"的概率最大； 贝叶斯派依据贝叶斯公式，带入先验概率和实验结果，认为向上概率落在 0.5~0.9 之间的概率最大: 比如参数θ’=0.5 的先验概率是 P(θ’)=0.8, 把θ’=0.5 带入二项分布可算出事件9正1反发生的概率：P(X|θ’)=C₉¹⁰⋅(0.5)⁹⋅(0.5)¹=0.00976. 所以贝叶斯公式的分子=0.8×0.00976=0.00781。 而分母 P(X) 应为 θ 从0取到1时，各种0对应的事件X:9正1反发生的似然之和，但从0到1 是不可数的，无法得到解析解，可以做数值模拟。下面的例子只假设样本空间只有 3 中参数θ 的取值：0.5, 0.9, 0.4。
| 先验 g | 80% | 1% | 19% |
|---|---|---|---|
| 参数 θ | 50%上50%下 | 90%上10%下 | 40%上60%下 |
| 事件 X | C₉¹⁰⋅(0.5)⁹⋅(0.5)¹ | C₉¹⁰(0.9)⁹(0.1)¹ | C₉¹⁰(0.4)⁹(0.9)¹ |
| MLE | 0.00976 | 0.387 | 0.00236 |
| MAP | 0.00781 | 0.00387 | 0.000448 |
| 后验 | 64.4% | 31.9% | 3.7% |
上表中 MLE = P(X|θ), MAP = P(X|θ)P(θ), 而“事件X发生，参数取到θ的概率”: P(θ|X) = MAP/P(X)，其中 P(X) 是事件X在样本空间中发生的概率，应为当参数取各种 θ 时，事件X 发生的条件概率 之和，也就是各种θ 对应的 MAP 求和。
感觉不太恰当
甲地下雨了，求乙地下雨概率 条件概率 例题