人脸检测/识别（一）
2022-09-18人脸检测/识别
Cascade CNN
论文：
《A Convolutional Neural Network Cascade for Face Detection》
这篇可以说是对经典的Viola-Jones方法的深度卷积网络实现，可以明显看出是3阶级联（12-net、24-net、48-net）。
前2阶的网络都非常简单，只有第3阶才比较复杂。这不是重点，重点是我们要从上图中学习多尺度特征组合。
以第2阶段的24-net为例，首先把上一阶段剩下的窗口resize为24*24大小，然后送入网络，得到全连接层的特征。同时，将之前12-net的全连接层特征取出与之拼接在一起。最后对组合后的特征进行softmax分类。
除了分类网络之外，Cascade CNN还包含了3个修正bounding box的CNN网络，分别叫做12-calibration-net，24-calibration-net和48-calibration-net。他们的结构与12-net等类似。
网络结构方面也就这样了，该论文最牛之处在于给出了这类级联网络的训练方法。
1.按照一般的方法组织正负样本训练第一阶段的12-net和12-calibration-net网络；
2.利用上述的1层网络在AFLW数据集上作人脸检测，在保证99%的召回率的基础上确定判别阈值T1。
3.将在AFLW上判为人脸的非人脸窗口作为负样本，将所有真实人脸作为正样本，训练第二阶段的24-net和24-calibration-net网络；
4.重复2和3，完成最后阶段的训练。
参考：
http://blog.csdn.net/shuzfan/article/details/50358809
人脸检测——CascadeCNN
MTCNN
论文：
《Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks》
上面是该方法的流程图，可以看出也是三阶级联，和CascadeCNN很像。
stage1: 在构建图像金字塔的基础上，利用fully convolutional network来进行检测，同时利用boundingbox regression和NMS来进行修正。
stage2: 将通过stage1的所有窗口输入作进一步判断，同时也要做boundingbox regression和NMS。
stage3: 和stage2相似，只不过增加了更强的约束：5个人脸关键点（landmark）。
上面三图分别是P-Net、R-Net和O-Net的网络结构图。
需要注意的是，Cascade CNN和MTCNN都是比较早期的方案了，这里的人脸候选框，一般是用滑动窗口的方式生成的，这种方法的效率不高，不仅比不上Faster RCNN以后的RPN Layer，就连RCNN的Selective Search也颇有不如，完全就是Viola-Jones方法的简单翻版。
参考：
http://blog.csdn.net/qq_14845119/article/details/52680940
MTCNN（Multi-task convolutional neural networks）人脸对齐
http://blog.csdn.net/shuzfan/article/details/52668935
人脸检测——MTCNN
https://mp.weixin.qq.com/s/IrZEQ69RNUdcs0Fl8fHmmQ
如何应用MTCNN和FaceNet模型实现人脸检测及识别
https://mp.weixin.qq.com/s/NfqFj5iCIkbRD34Eu2Lb5g
MTCNN实时人脸检测网络详解与代码演示
人脸识别
人脸检测是从一张图片中，识别出人脸，这和通常的目标检测没有太大的差别。而人脸识别，则是精确到具体的人。
人脸识别通常的做法是：
1.使用人脸检测，得到人脸区域的图像。
2.提取人脸特征。一般采用CNN+FC+loss的结构。其中，CNN+FC用于提取特征，而loss仅用于训练阶段。在推理阶段，我们使用CNN+FC得到人脸的特征向量即可。
3.特征的对比。比较两个特征向量的相似度（可以使用LMS或者cos相似度）。超过阈值，即认为是同一张脸。
生物特征识别
生物特征模态：人脸、虹膜、指纹、掌纹、静脉、声纹、步态、行人重识别。
https://mp.weixin.qq.com/s/t80KjO54AQyNSU1UgRJ5og
生物特征识别学科发展报告
OHEM
论文：
《Training Region-based Object Detectors with Online Hard Example Mining》
代码：
https://github.com/abhi2610/ohem
参考：
https://blog.csdn.net/zimenglan_sysu/article/details/51318058
论文笔记
https://blog.csdn.net/Wayne2019/article/details/78945099
OHEM，Batch Hard（识别乱入），Focal Loss
https://blog.csdn.net/Z5337209/article/details/72838049
Faster R-CNN 深入理解 && 改进方法汇总
https://zhuanlan.zhihu.com/p/28202204
困难样本挖掘
https://zhuanlan.zhihu.com/p/34179420
目标检测入门（二）：模型的评测与训练技巧
https://mp.weixin.qq.com/s/GX_8uI398ghSegw9QLr_ew
Hard Negative Mining/OHEM你真的知道二者的区别吗？
FaceNet
论文：
《FaceNet: A Unified Embedding for Face Recognition and Clustering》
https://blog.csdn.net/stdcoutzyx/article/details/46687471
FaceNet–Google的人脸识别
OpenFace
OpenFace是一款开源的人脸识别软件。它的原理基于CVPR 2015年的论文：FaceNet。由于采用了深度学习技术，OpenFace对人脸识别的准确率，大大超过了OpenCV。
OpenFace是用Python和Torch编写的。
官网：
https://cmusatyalab.github.io/openface/
参考：
http://www.cnblogs.com/pandaroll/p/6590339.html
开源人脸识别openface
https://mp.weixin.qq.com/s/RSCrkeIToeNKrFvMITxzDg
通过OpenFace来理解人脸识别
SeetaFace
SeetaFace人脸识别引擎由中科院计算所山世光研究员带领的人脸识别研究组研发。代码基于C++实现，且不依赖于任何第三方的库函数，开源协议为BSD-2，可供学术界和工业界免费使用。
代码：
https://github.com/seetaface
第一代
https://github.com/seetafaceengine/SeetaFace2
第二代
论文：
《Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment》
参考：
https://zhuanlan.zhihu.com/p/22451474
SeetaFace开源人脸识别引擎介绍
http://www.cnblogs.com/nenya33/p/6801045.html
CFAN
https://mp.weixin.qq.com/s/iESGCZjdvwUzqW7pu0GwrQ
中科视拓开源SeetaFace2人脸识别算法
https://mp.weixin.qq.com/s/xINjY494A8ctwyXtmeRCZg
SeetaFace6Open开源人脸识别引擎库
S3FD
https://mp.weixin.qq.com/s/MyA8_yt4YCkFl67AyhpZow
尺度不变人脸检测器（S3FD-Single Shot Scale-invariant Face Detector）
https://github.com/sfzhang15/SFD
S3FD: Single Shot Scale-invariant Face Detector
人脸属性
人脸属性包括：人脸年龄、表情、颜值等。
相关应用可分为两类：
Get类：从图片中获得人脸属性，比如年龄估计、表情识别、颜值打分等。
Set类：编辑人脸属性。比如给一张年轻时的照片，来预估年老时的样子。
参考：
https://mp.weixin.qq.com/s/M952HsJnmfx3EGmiDcySGQ
初学深度学习人脸属性分析必读的文章
https://zhuanlan.zhihu.com/p/53229759
年龄估计技术综述
https://www.openu.ac.il/home/hassner/projects/cnn_agegender/
Age and Gender Classification using Convolutional Neural Networks
https://mp.weixin.qq.com/s/0hVPateb108B1KpVpYXK0A
人工智能：长相越“娘”颜值越高
https://mp.weixin.qq.com/s/YlrWHDPIPzN4dQO2vo4DjA
人脸颜值研究综述
https://www.oukohou.wang/2019/01/30/face-aging_using_GAN/
论文阅读-人脸老化：Generative Adversarial Style Transfer Networks for Face Aging
https://mp.weixin.qq.com/s/s2SFQgUOZLV-f6auqymVOg
基于Caffe的年龄&性别识别
https://mp.weixin.qq.com/s/I3MS1gB1yjSnadex4LfOYA
旷视提出极轻量级年龄估计模型C3AE
https://mp.weixin.qq.com/s/76DJk4mZ5tBEjQENWmFAEg
STGAN: 人脸高精度属性编辑模型
https://mp.weixin.qq.com/s/BwqOABORt6B9qd9mEufa7w
人脸年龄编辑：无可奈何花落去，似曾相似春又来！
https://mp.weixin.qq.com/s/17Q21OazunLEicOaJUyMxg
人脸属性编辑都有哪些核心知识点，如何长期进行学习
https://mp.weixin.qq.com/s/hjeOBKuyR87zBWZHqb3gow
想提前目睹人到中年的发型？试试这款自制秃头生成器
https://mp.weixin.qq.com/s/egU6SkpKjCznConQfg_Zmw
人脸妆造迁移核心技术总结
https://mp.weixin.qq.com/s/m1TBxG_1wlfUUeDwP6Aleg
人脸算法新热点，人脸编辑都有哪些方向，如何学习
https://mp.weixin.qq.com/s/7qfZuoqG3qrTo4R4gQSg2w
人脸合成技术综述
活体检测
https://mp.weixin.qq.com/s/zOnmKSnQctnyx7pKXX-tpQ
活体检测新文解读：利用多帧人脸来预测更精确的深度
https://mp.weixin.qq.com/s?__biz=MzU4MjQ3MDkwNA==&mid=2247486721&idx=1&sn=f0e5b2b0165e391c0d5adc4ce253f2f6
人脸识别中的活体检测算法综述
https://mp.weixin.qq.com/s/A1pbiU5PA9Owe69lGX9afw
活体识别告诉你为什么照片无法破解人脸系统
https://mp.weixin.qq.com/s/rroBWY0roDdRap28i-KYtQ
初学活体检测与伪造人脸检测必读的文章
https://mp.weixin.qq.com/s/sPnoZyCkAhcCs_GtA79DrA
单目可见光静默活体检测Binary or Auxiliary Supervision论文解读
https://mp.weixin.qq.com/s/Vi2ypwO3uCD2lQZOwDFqTA
基于rPPG的人脸活体检测综述
https://mp.weixin.qq.com/s/ViQDmUqNiXCQ1KzvlLI6Wg
OpenCV活体检测
https://mp.weixin.qq.com/s/2I8A_-utI4DqeDXJwwX4UQ
人脸反欺诈活体检测综述
https://mp.weixin.qq.com/s/8q2gk9ruVw4yxf72mgZkww
CVPR2020人脸防伪检测挑战赛冠军方案开源
https://mp.weixin.qq.com/s/wQcP_dqv9KI3jEQ0soYbMw
人脸静默活体检测最新综述
DeepFace
《DeepFace: Closing the Gap to Human-Level Performance in Face Verification》
DeepFace先进行了两次全卷积＋一次池化，提取了低层次的边缘／纹理等特征。
后接了3个Local-Conv层，这里是用Local-Conv的原因是，人脸在不同的区域存在不同的特征（眼睛／鼻子／嘴的分布位置相对固定），当不存在全局的局部特征分布时，Local-Conv更适合特征的提取。
人脸关键点
https://mp.weixin.qq.com/s/qWMQV33k1bDAHWwwVod3_g
初学深度学习人脸关键点检测必读文章
https://zhuanlan.zhihu.com/p/42968117
人脸关键点检测综述
https://mp.weixin.qq.com/s/CvdeV5xgUF0kStJQdRst0w
从传统方法到深度学习，人脸关键点检测方法综述
https://mp.weixin.qq.com/s/ZrnAqDJCLtMy_qTQ2RZT0A
级联MobileNet-V2实现人脸关键点检测
https://mp.weixin.qq.com/s/ymeJPUPRAGb1FltskqBs-A
人脸关键点检测汇总（上）
https://mp.weixin.qq.com/s/N6y-RDx7VszgCVhSiwP8jA
人脸关键点检测汇总（下）
https://mp.weixin.qq.com/s/D435jGsGPkCH5j-p8Zoksg
遮挡、光照等因素的人脸关键点检测
