一种检测偏见的方法
2015年10月
这可能会让很多人感到惊讶：在某些情况下，即便对申请人群体一无所知，也能检测出选拔过程中的偏见。这令人兴奋，因为这意味着第三方可以使用这种技术来检测偏见，无论做选拔的人是否愿意。
只要满足以下条件，就可以使用这种技术：（a）你至少有被选中申请人的随机样本；（b）他们之后的表现是可以衡量的；（c）你所比较的各类申请人，能力分布大致相同。
这如何运作？想想什么叫做有偏见。选拔过程对x类申请人有偏见，意味着他们更难通过。这意味着x类申请人需要比非x类申请人更优秀，才能被选中。[1] 这意味着那些确实通过选拔的x类申请人，将优于其他成功的申请人。如果所有成功申请人的表现都被衡量，你就会知道他们是否如此。
当然，你用来衡量表现的测试必须是有效的。尤其是，它不能被你试图衡量的偏见所失效。但有些领域的表现是可以衡量的，在那些领域，检测偏见就很直接了。想知道选拔过程是否对某类申请人有偏见？检查他们是否优于其他人。这不只是检测偏见的一个启发法，这就是偏见的含义。
例如，许多人怀疑风险投资机构对女性创始人有偏见。这将很容易检测：在她们的投资组合公司中，有女性创始人的初创公司，是否优于没有女性创始人的？几个月前，一家风投机构（几乎可以肯定是无意中）发表了一项显示这类偏见的研究。First Round Capital 发现，在其投资组合公司中，有女性创始人的初创公司比没有的表现优63%。[2]
我开始说这种技术会让很多人感到惊讶，原因是我们如此罕见地看到这类分析。我确信 First Round 对自己做了一项这样的分析感到惊讶。我怀疑那里的任何人意识到，通过将样本限制在他们自己的投资组合中，他们做出的不是一项关于初创公司趋势的研究，而是关于他们自己在选择公司时的偏见的研究。
我预测将来会看到这种技术被更多使用。进行此类研究所需的信息越来越容易获得。关于谁申请了什么的数据，通常被做选拔的机构严密保护，但现在，关于谁被选中的数据，通常可以由任何愿意费心汇总的人公开获取。
注释
[1] 如果选拔过程对不同类型的申请人寻找不同的东西，这种技术就不适用——比如，如果雇主根据能力雇用男性，但根据外貌雇用女性。
[2] 如 Paul Buchheit 所指出的，First Round 从研究中排除了他们最成功的投资——Uber。虽然在某些类型的研究中排除异常值是有道理的，但关于初创投资回报的研究——这类研究的核心就在于命中那些异常值——并不属于其中之列。
感谢 Sam Altman、Jessica Livingston 和 Geoff Ralston 审阅本文草稿。
英文版：paulgraham.com/bias.html｜中文版：hijiangchuan.com/paulgraham/171-a-way-to-detect-bias
更新记录：
- 2026-03-24 HiJiangChuan 初稿翻译，术语待验证；