方差、最小二乘法、正态分布……
统计学家是不是对"平方"有什么执念?
翻开任何一本统计学书,你会发现"平方"像刺客一样埋伏在各个角落:
误差的平方的平均
误差的平方和最小
e−x² 藏在中心
方差的平方根
"为什么不直接用绝对值?3 和 −3 的误差都是 3,多直观啊!"
"|3| = 3,|−3| = 3,
听起来很合理啊?"
"因为数学上方便。"
……这跟没说一样
统计学家不是偏爱平方,而是三百年的数学推理证明了:平方是最优雅的选择。这不是习惯,是数学的必然。
法国数学家,因宗教迫害逃到英国。靠给贵族子弟教数学糊口——但真正让他上瘾的,是赌博。
他不是烂赌鬼,而是那种坐在赌场边,拿笔算概率的人。
抛一枚硬币很多次,正面朝上的次数会怎么分布?
他算啊算,终于发现了一个神奇的公式——在这个公式的正中央,站着一个东西:
他只是觉得"嗯,这个平方用起来挺顺手"。他没意识到,自己刚刚点燃了一根引信——这根引信,三十年后会被一个 24 岁的德国小伙子引爆。
1801 年,天文学家头疼极了:谷神星这颗小行星跑哪儿去了?大家测了很多次,数据都不一样。怎么从这些杂乱的测量中,找到"最可能"的位置?
大家都会取平均值。但问题来了:凭什么平均值就是最好的?
高斯(当时才24岁!)做了一个大胆假设:
顺着这个思路,他发现了美妙的事情:
相信"平均数最好"
→ 误差公式里必须有平方
使用"平方误差最小"
→ 最佳估计就是平均数
"平均数"和"平方和"
是天生一对!
这就是最小二乘法的数学基础
高斯用最小二乘法确定了谷神星的位置。从此,用最小化误差平方和来找最佳估计的方法,就叫"最小二乘法"。平方从一个不起眼的数学运算,一夜之间封神。
答案其实很简单,但也很颠覆:绝对值函数有一个"尖角",平方函数是光滑的。
数学里会说:平方函数可导,绝对值函数在零点不可导。
用人话解释就是:
站在碗底,往左往右都平滑过渡。
你可以轻松滑到最低点。
微积分可以求最小值
站在V的尖尖上,往左往右都不对。
数学上很难处理。
微积分无法使用
他们想衡量一组数据有多"散"——比如一个班级的成绩分布。
用绝对值算"平均误差"当然可以,但那个尖角问题又来了。于是他们顺理成章地用了平方。
误差 = x − 平均值
误差² = (x − 平均值)²
方差 = Σ(误差²) / N
标准差 = √方差(和原始数据单位一致)
| 误差准则 | 最优代表 | 数学工具 |
|---|---|---|
| 平方误差 | 算术平均数 | 微积分可用 |
| 绝对误差 | 中位数 | 优化困难 |
平均工资、平均分、平均身高……不是因为平均数永远更好,而是因为——
平方误差体系长出了一个庞大的工具家族:
它们彼此支持,形成了一个自洽的统计学宇宙。
有联盟
方差+正态分布+回归+……
形成了一个强大的工具家族
像孤胆英雄
很强,但缺少联盟支持
工具链不完整
你可以试试:在数轴上拖动数据点,观察均值和中位数谁能让总误差更小——以及为什么平方误差偏爱均值。
平方误差和 SSE = —
绝对误差和 SAE = —
平方误差和 SSE = —
绝对误差和 SAE = —
均值最小化平方误差;中位数最小化绝对误差。
e² = 4.0 | |e| = 2.0
研究赌博概率,发现 e−x²。平方第一次在概率界亮相。
用最小二乘法确定谷神星位置,证明了"平均数和平方误差"是天造地设的一对。
光滑可导,微积分全程可用。绝对值有尖角,优化困难。
平方误差体系长出了方差、正态分布、回归分析……形成统计学宇宙。
棣莫弗 · 正态分布诞生
高斯 · 最小二乘法封神
深度学习 · 梯度下降的核心