A/B Testing 与假设检验（上）

在前面，我们一起回顾了中心极限定理，以及正态分布的定义、公式和相关计算。目前来说，想必大家都能够轻松地计算出大样本的边界值、或根据抽样得出的数据反推大样本的数据分布情况。但是回归到 A/B 测试来说，能够分别计算出实验组与对照组的数据范围，就可以得出那一组更好或更差的结论吗？

续上文数据，已知有实验组与对照组数据如下：

很容易就可以根据公式 $\overline{X}\sim{N}(\mu, \frac{\sigma^2}{n})$ 计算出，在 95% 的置信度下，两组人均创单率范围分别如下：

由于对照组的数据上下限都比实验组高，是否意味着对照组一定会比实验组要好？

在开始计算之前，首先需要向大家介绍一个概念 —— 假设检验。

引用自国家统计局的定义如下：

假设检验（hypothesis testing）是指从对总体参数所做的一个假设开始，然后搜集样本数据，计算出样本统计量，进而运用这些数据测定假设的总体参数在多大程度上是可靠的，并做出承认还是拒绝该假设的判断。如果进行假设检验时总体的分布形式已知，需要对总体的未知参数进行假设检验，称其为参数假设检验；若对总体分布形式所知甚少，需要对未知分布函数的形式及其他特征进行假设检验，通常称之为非参数假设检验。此外，根据研究者感兴趣的备择假设的内容不同，假设检验还可分为单侧检验（单尾检验）和双侧检验（双尾检验），而单侧检验又分为左侧检验和右侧检验。

假设检验的基本思想是反证法思想和小概率事件原理。反证法的思想是首先提出假设（由于未经检验是否成立，所以称为零假设、原假设或无效假设），然后用适当的统计方法确定假设成立的可能性大小，如果可能性小，则认为假设不成立，拒绝它；如果可能性大，还不能认为它不成立。小概率事件原理，是指小概率事件在一次随机试验中几乎不可能发生，小概率事件发生的概率一般称之为“显著性水平”或“检验水平”，用 α 表示，而概率小于多少算小概率是相对的，在进行统计分析时要事先规定，通常取 α =0.01、0.05、0.10 等。

国家统计局《什么是假设检验》：https://www.stats.gov.cn/zs/tjll/csgj/202302/t20230215_1905713.html

上面的概念稍显抽象，我们来设计一个场景帮助理解：

我手里有一个袋子，我在里面放入了 100 个小球，其中有 95 个是白色的，另外 5 个是红色的。袋子完全密封，你并不知道里面的颜色分布情况。现在我告诉你，里面有 100 个球，但是红球比较少，你来猜猜看袋子里最多有几个红球？

你想了想，“我觉得袋子里红球不超过 5 个”，你做了这样的一个假设，即“原假设”。现在你准备抽一个球出来验证一下。怎么验证呢？根据统计学的定义，我们通常定义小概率指的是 5%，因此当一个事件的概率小于 5% 时，那么在一次实验中，可以认为该事件不会发生。所以，如果你的假设是正确的，那么本次抽取并不会抽到红球。现在你取出一个球，真巧，正好是白球，你验证了你的假设。这个过程，便是“假设检验” 。现在你通过这次抽取验证了假设的成立，所以可以称作是“不能拒绝原假设”。

相反，假如你抽到的是红球，那么就违背了“小概率事件在单一试验中不会发生”的设定，那么“袋子里红球不超过 5 个”的结论就被推翻了，这又被称为“拒绝原假设”。

现在站在上帝视角，我们来复盘一下你假设成立的正确性是多少。根据计算，你在一次抽取中，获得白球的概率高达 95%！也就是你会有 95% 的概率能获得正确的验证你的假设。可与此同时，你仍然有 5% 的几率可能会犯错，因为袋子里的球真的没有超过 5 个。对这个错误，也有一个专门的名词来定义它，因为你“错误的拒绝了原假设”，这种犯错被称为“第一类错误”。

现在我又掏出一个袋子，里面还是 100 个小球，但是只放了 90 个白球，剩下 10 个现在都是红球，还是让你来猜里面的红球最多有几个。

你沿用之前的思路做出了原假设 —— 红球还是不超过 5 个。你自信满满的取出一个球 —— 白的！好嘛，那就是“不能拒绝原假设”。现在我问你，如果你这个球是红色的，你的假设还成立吗？你信誓旦旦的说“拒绝原假设”。

当我把球全部倒出来给你看时，你傻眼了，这是怎么回事？真实情况和你的结论正好相反。站在上帝视角再次进行复盘，考虑到只有抽到红球才能拒绝错误的原假设，而这个符合真实情况的概率却只有区区 10%，相反，抽到白球导致判断错误的几率却高达 90%！针对这种判断错误的情况，在统计学中也有一个专门的名词，即——如果错误的接受了原假设，则这种情况被称之为“第二类错误”。

我们使用符号 $H_0$ 来表示“原假设”，根据事实的真实情况及是否通过计算拒绝了我们做出的原假设，进行组合后可能会存在四种结果：

由于第一类错误是拒绝了一个符合事实的正确假设，所以又被称为“弃真错误”；相应的，第二类错误是没有拒绝一个事实上存在错误的假设，所以还可以被称为“取伪错误”。

现在定义已经知道了，我们如何利用假设检验算法来验证我们的结论呢？

常见的检验方法一共有四种：t 检验、Z 检验（又称 U 检验）、卡方检验、F 检验。他们都是利用小概率反证法思想来进行设计的。也就是先做出一个假设，假定该假设大概率会成立，那么只有很小的概率假设才会不成立。在一次实验过程中，如果假定的实验结果与预期不一致，就说明不该发生的小概率事件发生了，此时就可以合理的对我们的假设做出怀疑，继而拒绝接受这一假设的结果。

由于本系列重点概述 A/B 测试领域，且通常情况下都是在检验大样本，故本章节将仅以 Z 检验为例展开说明。

无论是采用哪种检验方法，首先就是基于要检验的数值做出假设。既然我们采用的是“反证法”的思路，我们潜意识里就是设计一个不想成立的假设，即原假设，并通过计算结果来拒绝它。同时设计一个我们想要接受的结果，与原假设完全相反，用来表达拒绝原假设之后所接受的结果。使用数学符号表达如下：

1. 原假设（$H_0$）：也叫零假设、虚无假设，条件通常设置为：等于 =、大于或等于 ≥、小于或等于 ≤。
2. 备择假设（$H_1$）：当拒绝原假设后想要接受的结果，条件通常设置为：不等于 ≠、小于 <、大于 >。

假如我们要检测的值是 $\mu$，目标值为 $\mu_0$。当想要校验两个数值之间是否存在统计学意义上的显著性差异时，通常可令 $H_0: \mu = \mu_0$，$H_1: \mu \ne{\mu_0}$，并按照一般的惯例，定义置信系数 $\alpha = 0.05$。基于这种假设设计，假如我们通过计算拒绝原假设，接受备择假设，这种场景是符合实际真实情况的概率可视为 95%，我们只有 5% 的概率可能会犯第一类错误。

但不拒绝原假设，是否意味着我们要接受原假设？从统计学意义上来说，不建议那么做，因为这有可能会使我们犯第二类错误，而第二类错误的概率我们无法通过公式或设定准确得知。

关于值的检测方向可参考下表：

Z 检验

Z 检验是用于大样本平均值差异性检验的方法。它是用标准正态分布的理论来推断差异发生的概率，以此来比较两个平均值的差异是否显著。

在已知总体标准差时，它可以用来比较样本的均值是否与某个特定值之间存在统计学上意义上的差异；也可以用来比较两组样本集的均值是否存在统计学意义上的差异。

Z 检验简而言之就是计算样本的 Z 值。设检测项为 $X$，根据中心极限定理，有 $\overline{X}\sim{N(\mu, \frac{\sigma^2}{n})}$，对 $\overline{X}$ 做标准化则有 $Z=\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim{N(0,1)}$，当对样本计算得到的 Z 值落在拒绝域时，则拒绝原假设 $H_0$。

下面将分别举例说明：

某校有 1000 名初三学生，会定期按月组织月考，在上一次月考中全体学生的平均分为 80 分，本次月考全体平均分为 79.2，标准差为 10.60458122，现想确定全体学生的整体成绩是否发生了明显的变化。

令 $X$ 为学生成绩，学生数为 $n$，本次月考平均分为 $\mu$、方差为 $\sigma^2$，上次月考平均分为 $\mu_0$。

建立假设：

1. 原假设（$H_0$）：两次考试平均分没有显著差异，即 $\mu=\mu_0$。
2. 备择假设（$H_1$）：两次考试平均分存在显著差异，即 $\mu\ne{\mu_0}$。

计算 Z 值：
$$Z = \frac{\lvert \mu - \mu_0 \rvert}{\sigma/\sqrt{n}} = \frac{\lvert 79.2 - 80 \rvert}{10.60458122 /\sqrt{1000}} = 2.385593618$$

当 $\alpha=0.05$ 时，查正态分布 Z 分数表，得 $Z_{0.05/2}=1.96$，因 $2.385593618 > 1.96$，故 Z 检查结果落在了拒绝域，因此可认为全体学生的整体成绩发生了明显的变化。

现在想知道学生成绩是不是明显低于 80 分。

建立假设：

1. 原假设（$H_0$）：这次考试整体成绩明显不低于 80 分，即 $\mu \ge{\mu_0}$。
2. 备择假设（$H_1$）：这次考试整体成绩明显低于 80 分，即 $\mu < \mu_0$。

计算 Z 值：
$$Z = \frac{\mu - \mu_0}{\sigma/\sqrt{n}} = \frac{79.2 - 80}{10.60458122 /\sqrt{1000}} = -2.385593618$$

当 $\alpha=0.05$ 时，查正态分布 Z 分数表，得 $-Z_{0.05}=-1.65$，因 $-2.385593618 < -1.65$，故 Z 检查结果落在了拒绝域，因此可认为全体学生的整体成绩明显低于 80 分。

那么学生成绩有没有普遍高于 75 分。

建立假设：

1. 原假设（$H_0$）：这次考试整体成绩明显不高于 75 分，即 $\mu \le{\mu_0}$。
2. 备择假设（$H_1$）：这次考试整体成绩明显高于 75 分，即 $\mu > \mu_0$。

计算 Z 值：

$$Z = \frac{\mu - \mu_0}{\sigma/\sqrt{n}} = \frac{79.2 - 75}{10.60458122 /\sqrt{1000}} = 12.5243665$$

当 $\alpha=0.05$ 时，查正态分布 Z 分数表，得 $Z_{0.05}=1.65$，因 $12.5243665 > 1.65$，故 Z 检查结果落在了拒绝域，因此可认为全体学生的整体成绩明显高于 75 分。

现在觉得只与上一次的最终均值做比较不够科学，因为学生成绩的分布也是错综复杂的。现计划改变思路，引入上一次月考的方差 8.15410212 重新计算两次考试结果是否存在显著变化。

建立假设：

1. 原假设（$H_0$）：两次考试平均分没有显著差异，即 $\mu=\mu_0$。
2. 备择假设（$H_1$）：两次考试平均分存在显著差异，即 $\mu\ne{\mu_0}$。

计算 Z 值：怎么算？怎么才能用上另一个样本的方差？

在讲到如何计算 Z 值前，我们先尝试分析下，在单样本分析中，我们统计一个服从正态分布的变量与一个目标值的差异性是用的减法（或视为加一个负数），那么两个服从正态分布的变量如果进行相加会如何？

令 $X_1$ 为一个服从正态分布的变量 1，$X_2$ 为另一个服从正态分布的变量 2，$\mu_1$ 为变量 1 的算数平均数，$\mu_2$ 为变量 2 的算数平均数，$\sigma_1$ 为变量 1 的方差，$\sigma_2$ 为变量 2 的方差。可得：$X_1\sim{N(\mu_1, \sigma_1^2)}$，$X_2\sim{N(\mu_2, \sigma_2^2)}$。令 $Z = X_1 + X_2$，则 Z 服从什么分布？

分布说白了就是求概率分布函数。已知概率分布函数是对概率密度函数的积分，令 $X_1$ 的概率密度函数为 $f_1(x_1)$，$X_2$ 的概率密度函数为 $f_2(x_2)$，则对 Z 的概率密度函数 $f(z)$ 就是求以下方程吗：$f(z) = f_1(z) + f_2(z)$ ？

显然不是。我们来思考一种情况：如果我掷一枚硬币为正面的概率是 1/2，那么我同时掷出两枚硬币，出现正面的概率会是 1/2 + 1/2 = 1 吗？显然不会，因为多个独立事件合成的概率并不一定等于各个事件概率的和。

数据大佬马同学在介绍卷积的概念时写过一个非常容易理解的例子，我搬运加工一下向大家展示。注：原贴链接后附

假定我们同时掷出两枚骰子，其和为 4 的概率是多少？

令 $f(x)$ 为第一枚骰子的结果的概率，$g(x)$ 为第二枚骰子的结果的概率，则 $f(1)$ 表示第一枚骰子掷出 1 的概率、 $f(2)$ 表示掷出 2 的概率、$g(5)$ 表示第二枚骰子掷出 5 的概率、以此类推。则两枚骰子结果只和为 4 的概率为：$f(1)g(3) + f(2)g(2) + f(3)g(1)$。可写成：$(f$g)(4)=\sum_{m=1}^{3}f(m)g(4-m)(f∗g)(4)=∑m=13​f(m)g(4−m) ，令期望的和表示为 z，则有 $Z(z)=(f$g)(z)=\sum_{m=1}^{z-1}f(m)g(z-m)。

假定工厂在持续生产馒头，但每个馒头最多只有 24 小时的保质期，馒头生产速率为 $f(t)$，馒头过期速率为 $g(t)$，则第二天 0 点时，假定馒头只被生产而未被吃掉，则前一天生产馒头总的过期程度为 $\int_{0}^{24}f(t)g(24-t)dt$。

对于这种类型的计算，实际上可以看做是，有函数 $f$ 及 $g$，有 $z = x + y$，$Z(z)$ 为 $f(x)$ 与 $g(y)$ 即：$g(z-x)$ 乘积的所有组合数，这种运算被称为卷积，记作 $f * g$

对离散型变量，有 $(f*g)(x)=\sum_{\tau=0}^{N}f(\tau)g(x-\tau)$

对连续型变量，如 $f$、$g$ 在实数域可积，有 $(f*g)(x)=\int_{-\infty}^{+\infty}f(\tau)g(x-\tau)d\tau$

卷积的概念稍微有些绕，但本质也只是一种针对函数的数学运算，与加减乘除无异。

了解更多清参考原贴：如何通俗易懂地解释卷积？

有了上面的介绍，相信大家可以理解，两个服从正态分布的变量叠加后的概率密度函数，可视为是两个正态分布概率密度函数的卷积，而不是和。

令 $f(z)$ 为正态分布变量 $X_1+X_2$ 的概率密度函数，$f_1(x)$ 为 正态分布变量 $X_1$ 的概率密度函数，$f_2(x)$ 为 正态分布变量 $X_2$ 的概率密度函数。则有：

$$\begin{alignat}{2}$$
f(z) &= f_1(x) * f_2(x) \\
&= \int_{-\infty}^{+\infty}f_1(x)f_2(z-x)dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma_1}exp[{-\frac{(x-\mu_1)^2}{2\sigma_1^2}}]\frac{1}{\sqrt{2\pi}\sigma_2}exp[{-\frac{(z-x-\mu_2)^2}{2\sigma_2^2}}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{(x-\mu_1)^2}{2\sigma_1^2}+\frac{(z-x-\mu_2)^2}{2\sigma_2^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{2\sigma_2^2(x-\mu_1)^2+2\sigma_1^2(z-x-\mu_2)^2}{2\sigma_1^2\cdot{2\sigma_2^2}})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{\sigma_2^2(x-\mu_1)^2+\sigma_1^2(z-x-\mu_2)^2}{2\sigma_1^2\sigma_2^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{\sigma_2^2(x^2+\mu_1^2-2x\mu_1)+\sigma_1^2(z^2+x^2+\mu_2^2-2xz-2x\mu_2-2z\mu_2)}{2\sigma_1^2\sigma_2^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{\sigma_1^2x^2+\sigma_1^2z^2+\sigma_1^2\mu_2^2-2\sigma_1^2xz-2\sigma_1^2x\mu_2-2\sigma_1^2z\mu_2+\sigma_2^2x^2+\sigma_2^2\mu_1^2-2\sigma_2^2x\mu_1}{2\sigma_1^2\sigma_2^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{x^2(\sigma_1^2+\sigma_2^2)-2x(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)+\sigma_1^2(z^2+\mu_2^2-2z\mu_2)+\sigma_2^2\mu_1^2}{2\sigma_1^2\sigma_2^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{x^2(\sigma_1^2+\sigma_2^2)-2x(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)+\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2}{2\sigma_1^2\sigma_2^2})}]dx
\end{alignat}

令 $\sigma_z = \sqrt{\sigma_1^2+\sigma_2^2}$，代入上式：

$$\begin{alignat}{2}$$
f(z) &= \int_{-\infty}^{+\infty}\frac{1}{2\pi\sigma_1\sigma_2}exp[{-(\frac{x^2(\sigma_1^2+\sigma_2^2)-2x(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)+\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2}{2\sigma_1^2\sigma_2^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\cdot\sqrt{2\pi}\sigma_1\sigma_2\cdot{\sigma_z/\sigma_z}}exp[{-(\frac{[x^2(\sigma_1^2+\sigma_2^2)-2x(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)+\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2]/\sigma_z^2}{2\sigma_1^2\sigma_2^2/\sigma_z^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma_z}\cdot\frac{1}{\sqrt{2\pi}\cdot{\sigma_1\sigma_2/\sigma_z}}exp[{-(\frac{x^2-2x(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)/ \sigma_z^2+(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2}{2(\sigma_1\sigma_2/\sigma_z)^2})}]dx \\
\end{alignat}

为简化公式推导过程，令 $M = (\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)/\sigma_z^2$，代入上式：

$$\begin{alignat}{2}$$
f(z) &= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma_z}\cdot\frac{1}{\sqrt{2\pi}\cdot{\sigma_1\sigma_2/\sigma_z}}exp[{-(\frac{x^2-2x(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)/ \sigma_z^2+(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2}{2(\sigma_1\sigma_2/\sigma_z)^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma_z}\cdot\frac{1}{\sqrt{2\pi}\cdot{\sigma_1\sigma_2/\sigma_z}}exp[{-(\frac{x^2-2x\cdot{M}+M^2-M^2+(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2}{2(\sigma_1\sigma_2/\sigma_z)^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma_z}\cdot\frac{1}{\sqrt{2\pi}\cdot{\sigma_1\sigma_2/\sigma_z}}exp[{-(\frac{(x-M)^2-M^2+(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2}{2(\sigma_1\sigma_2/\sigma_z)^2})}]dx \\
&= \int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2-M^2}{2(\sigma_1\sigma_2/\sigma_z)^2})]\cdot\frac{1}{\sqrt{2\pi}\cdot{\sigma_1\sigma_2/\sigma_z}}exp[{-(\frac{(x-M)^2}{2(\sigma_1\sigma_2/\sigma_z)^2})}]dx \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2-M^2}{2(\sigma_1\sigma_2/\sigma_z)^2})]\cdot\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\cdot{\sigma_1\sigma_2/\sigma_z}}exp[{-(\frac{(x-M)^2}{2(\sigma_1\sigma_2/\sigma_z)^2})}]dx \\
\end{alignat}

神奇的事情发生了！我们看到上述推导的最后一步好像出现了熟悉的内容。对啊，那不正是对均值为 $M$，标准差为 $\sigma_1\sigma_2/\sigma_z$ 的正态分布变量的概率密度函数做积分吗！很显然，这个值是 1，功夫不负有心人，我们终于消掉了一大段的公式，只剩下化简最后的部分就完成了。

续上式：

$$\begin{alignat}{2}$$
f(z) &= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2-M^2}{2(\sigma_1\sigma_2/\sigma_z)^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)/\sigma_z^2\cdot{\sigma_z^4}-M^2\cdot{\sigma_z^4}}{2(\sigma_1\sigma_2/\sigma_z)^2\cdot{\sigma_z^4}})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{\sigma_z^2(\sigma_1^2(z-\mu_2)^2+\sigma_2^2\mu_1^2)-(\sigma_1^2(z-\mu_2)+\sigma_2^2\mu_1)^2}{2\sigma_z^2(\sigma_1\sigma_2)^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{\sigma_z^2\sigma_1^2(z-\mu_2)^2+\sigma_z^2\sigma_2^2\mu_1^2-(\sigma_1^2(z-\mu_2))^2-(\sigma_2^2\mu_1)^2-2\sigma_2^2\mu_1(\sigma_1^2(z-\mu_2))}{2\sigma_z^2(\sigma_1\sigma_2)^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{
(\sigma_1^2+\sigma_2^2)\sigma_1^2(z-\mu_2)^2+(\sigma_1^2+\sigma_2^2)\sigma_2^2\mu_1^2-\sigma_1^4(z-\mu_2)^2-\sigma_2^4\mu_1^2-2\sigma_1^2\sigma_2^2\mu_1(z-\mu_2)}{2\sigma_z^2(\sigma_1\sigma_2)^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{
\sigma_1^4(z-\mu_2)^2+\sigma_1^2\sigma_2^2(z-\mu_2)^2+\sigma_2^4\mu_1^2+\sigma_1^2\sigma_2^2\mu_1^2-\sigma_1^4(z-\mu_2)^2-\sigma_2^4\mu_1^2-2\sigma_1^2\sigma_2^2\mu_1(z-\mu_2)}{2\sigma_z^2(\sigma_1\sigma_2)^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{
\sigma_1^2\sigma_2^2(z-\mu_2)^2+\sigma_1^2\sigma_2^2\mu_1^2-2\sigma_1^2\sigma_2^2\mu_1(z-\mu_2)}{2\sigma_z^2(\sigma_1\sigma_2)^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{
(z-\mu_2)^2+\mu_1^2-2\mu_1(z-\mu_2)}{2\sigma_z^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{
(z-\mu_2-\mu_1)^2}{2\sigma_z^2})] \\
&= \frac{1}{\sqrt{2\pi}\sigma_z}exp[-(\frac{
(z-(\mu_1+\mu_2))^2}{2\sigma_z^2})] \\
\end{alignat}

这简直是太酷啦！经过这么艰辛的推导过程，这个函数就算化成灰我们也认识！它就是 均值为 $\mu_1+\mu_2$，方差为 $\sigma_1^2+\sigma_2^2$ 的正态分布变量的概率密度函数！

因此，若有 $X_1\sim{N(\mu_1, \sigma_1^2)}$ 及 $X_2\sim{N(\mu_2, \sigma_2^2)}$，则有 $X_1 + X_2 \sim{N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)}$。

回到之前的问题，我们已经证明了两个正态分布变量相加后仍然服从正态分布，那么对均值来说肯定也是更加适用，我们重新代入公式可得：

根据：$\overline{X_1}\sim{N(\mu_1, \frac{\sigma_1^2}{n_1})}$， $\overline{X_2}\sim{N(\mu_2, \frac{\sigma_2^2}{n_2})}$，有 $\overline{X_1} - \overline{X_2} \sim{N(\mu_1-\mu_2,\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2})}$。

因此，两个正态分布变量相减的 Z 值计算公式为：

$$Z=\frac{(\overline{X_1} - \overline{X_2})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}$$

代入题目相关参数：

$$Z=\frac{(79.2 - 80)-(0)}{\sqrt{\frac{10.60458122^2}{1000}+\frac{12.5243665^2}{1000}}}=-1.541552019$$

与之前类似，均值相等检测使用双侧检验，

当 $\alpha=0.05$ 时，查正态分布 Z 分数表，得 $Z_{0.05/2}=1.96$，因 $1.541552019 < 1.96$，Z 检查结果未落在拒绝域，故不可推翻全体学生的整体成绩没有显著差异的假设。那是不是就意味着我们可以认为全体学生的整体成绩没有显著差异？答案与之前一样，仍然是否定的。

再次强调，为了避免出现第二类错误，请切记 —— 推翻原假设可以接受备择假设，但若未能推翻原假设，不代表就要接受原假设。 如何在不显著的情况下衡量数据指标或效果，我们将在未来的章节继续与大家一同进行分析。

可以看到，在将两份样本的方差数据均代入计算后，检验的结论就发生了变化。实际上，对于质检这种场合很可能是通过抽检样本与特定数值进行比较，但在比较两份本身就存在波动的样本集时，我们往往是需要引入双方的方差一同代入计算，只有这样的比较，才更能反映样本的状况。

回到我们文章的开始，现在我们是否能计算两份样本的显著性差异了？

建立假设：

1. 原假设（$H_0$）：实验组与对照组的创单转化率没有显著差异，即 $\mu=\mu_0$。
2. 备择假设（$H_1$）：实验组与对照组的创单转化率存在显著差异，即 $\mu\ne{\mu_0}$。

计算 Z 值：

$$Z=\frac{(\overline{X_1} - \overline{X_2})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}=\frac{(0.0712926073 - 0.0729556387)}{\sqrt{\frac{0.1670067842^2}{45180}+\frac{0.1719890729^2}{44904}}}=-1.472181649$$

当 $\alpha=0.05$ 时，查正态分布 Z 分数表，得 $Z_{0.05/2}=1.96$，因 $1.472181649 < 1.96$，Z 检查结果未落在拒绝域，故不可推翻实验组与对照组的创单转化率没有显著差异的假设。

文末思考：

1. 对 A/B 测试示例来说，实验组与对照组均属于一个样本集中的部分用户，它们各自的方差能代表整体用户的表现吗？
2. Z 检验的公式中，$\sigma^2$ 通常是指总体方差，通过抽样得到的方差（样本方差）能直接代入公式吗？
3. 除了 Z 检验之外，其他检验方法是如何使用的？
4. 是否应该在进行 Z 检验前，检查样本的正态性？而不是简单假设其符合正态分布？

篇幅有限，我们在后续章节会继续展开分析。