人脸检测的任务就是判断给定的图像上是否存在人脸，如果人脸存在，就给出全部人脸所处的位置及其大小。由于人脸检测在实际应用中的重要意义，早在上世纪70年代就已经有人开始研究，然而受当时落后的技术条件和有限的需求所影响，直到上世纪90年代，人脸检测技术才开始加快向前发展的脚步，在新世纪到来前的最后十年间，涌现出了大量关于人脸检测的研究工作，这时期设计的很多人脸检测器已经有了现代人脸检测技术的影子，例如可变形模板的设计（将人脸按照五官和轮廓划分成多个相互连接的局部块）、神经网络的引入（作为判断输入是否为人脸的分类模型）等。这些早期的工作主要关注于检测正面的人脸，基于简单的底层特征如物体边缘、图像灰度值等来对图像进行分析，结合关于人脸的先验知识来设计模型和算法（如五官、肤色），并开始引入一些当时已有的的模式识别方法。
虽然早期关于人脸检测的研究工作离实际应用的要求还有很远，但其中进行检测的流程已经和现代的人脸检测方法没有本质区别。给定一张输入图像，要完成人脸检测这个任务，我们通常分成三步来进行：
1.选择图像上的某个（矩形）区域作为一个观察窗口；
2.在选定的窗口中提取一些特征对其包含的图像区域进行描述；
3.根据特征描述来判断这个窗口是不是正好框住了一张人脸。
检测人脸的过程就是不断地执行上面三步，直到遍历所有需要观察的窗口。如果所有的窗口都被判断为不包含人脸，那么就认为所给的图像上不存在人脸，否则就根据判断为包含人脸的窗口来给出人脸所在的位置及其大小。
那么，如何来选择我们要观察的窗口呢？所谓眼见为实，要判断图像上的某个位置是不是一张人脸，必须要观察了这个位置之后才知道，因此，选择的窗口应该覆盖图像上的所有位置。显然，最直接的方式就是让观察的窗口在图像上从左至右、从上往下一步一步地滑动，从图像的左上角滑动到右下角——这就是所谓的滑动窗口范式，你可以将它想象成是福尔摩斯（检测器）在拿着放大镜（观察窗口）仔细观察案发现场（输入图像）每一个角落（滑动）的过程。
别看这种用窗口在图像上进行扫描的方式非常简单粗暴，它的确是一种有效而可靠的窗口选择方法，以至于直到今天，滑动窗口范式仍然被很多人脸检测方法所采用，而非滑动窗口式的检测方法本质上仍然没有摆脱对图像进行密集扫描的过程。
对于观察窗口，还有一个重要的问题就是：窗口应该多大？我们认为一个窗口是一个人脸窗口当且仅当其恰好框住了一张人脸，即窗口的大小和人脸的大小是一致的，窗口基本贴合人脸的外轮廓。
那么问题来了，即使是同一张图像上，人脸的大小不仅不固定，而且可以是任意的，这样怎么才能让观察窗口适应不同大小的人脸呢？一种做法当然是采用多种不同大小的窗口，分别去扫描图像，但是这种做法并不高效。换一个角度来看，其实也可以将图像缩放到不同的大小，然后用相同大小的窗口去扫描——这就是所谓的构造图像金字塔的方式。图像金字塔这一名字非常生动形象，将缩放成不同大小的图像按照从大到小的顺序依次往上堆叠，正好就组成了一个金字塔的形状。
通过构建图像金字塔，同时允许窗口和人脸的贴合程度在小范围内变动，我们就能够检测到不同位置、不同大小的人脸了。另外需要一提的是，对于人脸而言，我们通常只用正方形的观察窗口，因此就不需要考虑窗口的长宽比问题了。
选好了窗口，我们开始对窗口中的图像区域进行观察，目的是收集证据——真相只有一个，我们要依靠证据来挖掘真相！在处理图像的过程中，这个收集证据的环节我们称之为特征提取，特征就是我们对图像内容的描述。由于机器看到的只是一堆数值，能够处理的也只有数值，因此对于图像所提取的特征具体表示出来就是一个向量，称之为特征向量，其每一维是一个数值，这个数值是根据输入（图像区域）经由某些计算（观察）得到的，例如进行求和、相减、比较大小等。总而言之，特征提取过程就是从原始的输入数据（图像区域颜色值排列组成的矩阵）变换到对应的特征向量的过程，特征向量就是我们后续用来分析和寻找真相的证据。
特征提取之后，就到了决断的时刻：判别当前的窗口是否恰好包含一张人脸。我们将所有的窗口划分为两类，一类是恰好包含人脸的窗口，称之为人脸窗口，剩下的都归为第二类，称之为非人脸窗口，而最终判别的过程就是一个对当前观察窗口进行分类的过程。因为我们的证据是由数值组成的特征向量，所以我们是通过可计算的数学模型来寻找真相的，用来处理分类问题的数学模型我们通常称之为分类器，分类器以特征向量作为输入，通过一系列数学计算，以类别作为输出——每个类别会对应到一个数值编码，称之为这个类别对应的标签，如将人脸窗口这一类编码为1，而非人脸窗口这一类编码为-1；分类器就是一个将特征向量变换到类别标签的函数。
考虑一个最简单的分类器：将特征向量每一维上的数值相加，如果得到的和超过某个数值，就输出人脸窗口的类别标签1，否则输出非人脸窗口的类别标签-1。记特征向量为
，分类器为函数f(x)，那么有：
这里的t就是前面所说的“某个数值”，其决定了分类器在给定特征向量下的输出结果，我们称其为分类器的参数。不同形式和类型的分类器会有不同的参数，一个分类器可以有一个或者多个参数，参数或者其取值不同则对应到不同的分类器。选定了一个分类器之后，紧接着的一个问题就是：参数该怎么设置？具体到我们正在考虑的情况，就是：t的值该如何选取？
要做出选择，就要有一个目标，在分类问题中，目标当然就是尽可能正确地进行分类，即分类的准确率尽可能高。然而，尽管我们对目标非常明确，我们也仍然没法给出一个最优的参数取值，因为我们并不使用机器所采用的二进制语言系统，我们并不懂什么才是对机器最好的。于是我们只有一种选择：把我们的目标告诉机器，举一些例子向其进行解释，然后让机器自己去学习这个参数，最后我们给机器设计一场考试，测试其是否满足了我们的要求。我们从一些图像上选出一部分人脸和非人脸窗口的样例，用对应的类别标签对其进行标注，然后将这些样例划分成两个集合，一个集合作为分类器学习所使用的训练集，另一个集合作为最终考查分类器能力的测试集，同时我们设定一个目标：希望分类的准确率能够在80%以上。
学习过程开始时，我们先给分类器的参数设定一个初始值，然后让分类器通过训练集中带有“答案”（类别标签）的样例，不断去调整自己参数的取值，以缩小其实际的分类准确率和目标准确率之间的差距。当分类器已经达到了预先设定的目标或者其它停止学习的条件——期末考试的时间是不会因为你没有学好而推迟的，或者分类器觉得自己已经没有办法再调整了，学习过程就停止了，这之后我们可以考查分类器在测试集上的准确率，以此作为我们评判分类器的依据。这一过程中，分类器调整自己参数的方式和分类器的类型、设定的目标等都有关，由于这部分内容超出了本文所讨论的范畴，也并不影响读者对人脸检测方法的理解，因此不再展开进行讲述。
在确定了选择窗口的策略，设计好了提取特征的方式，并学习了一个针对人脸和非人脸窗口的分类器之后，我们就获得了构建一个人脸检测系统所需要的全部关键要素——还有一些小的环节相比之下没有那么重要，这里暂且略去。
由于采用滑动窗口的方式需要在不同大小的图像上的每一个位置进行人脸和非人脸窗口的判别，而对于一张大小仅为480*320的输入图像，窗口总数就已经高达数十万，面对如此庞大的输入规模，如果对单个窗口进行特征提取和分类的速度不够快，就很容易使得整个检测过程产生巨大的时间开销，也确实就因为如此，早期所设计的人脸检测器处理速度都非常慢，一张图像甚至需要耗费数秒才能处理完成——视频的播放速度通常为每秒25帧图像，这给人脸检测投入现实应用带来了严重的障碍。