虹软人脸识别 - ArcFace SDK介绍及使用注意事项-白红宇

很多朋友在开发人脸识别系统的时候，会遇到各种各样的问题，现在我们以安卓平台使用虹软的免费离线人脸识别SDK开发为例，给大家介绍一下如何开发一个带有图片的人脸检测、视频画面的人脸属性检测、人脸注册识别等功能的人脸识别系统。

一、获取SDK

1.进入ArcFace2.0的申请地址

2.填写信息申请并提交

申请通过后即可下载SDK，查看APP_ID和SDK_KEY

### 二、SDK功能介绍虹软ArcFace 2.0 Android SDK包含人脸检测、年龄信息检测、性别信息检测、人脸三维角度检测、活体检测、人脸特征提取、人脸特征比对功能。SDK还支持静态图模式的检测方式和视频流模式的检测方式。

### 三、使用SDK #### 1. 工程配置将jar文件和so文件放到对应目录，并将jar添加至工程依赖 ![工程配置](https://upload-images.jianshu.io/upload_images/13934799-c81954433ab10e12.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

#### 2. 激活引擎 ``` FaceEngine faceEngine = new FaceEngine();

//激活方法首次调用有网络和文件操作，后续只有文件操作，建议不要放在主线程中进行

int activeCode = faceEngine.active(SettingsActivity.this, Constants.APP_ID, Constants.SDK_KEY);

if (activeCode == ErrorInfo.MOK || activeCode == ErrorInfo.MERR_ASF_ALREADY_ACTIVATED) {

//激活成功或者已激活过的情况复制代码

}else{

//激活失败的情况复制代码

}

#### 3. 初始化引擎，推荐在启动时执行复制代码

faceEngine = new FaceEngine();

int afCode = faceEngine.init(context.getApplicationContext(), FaceEngine.ASF_DETECT_MODE_VIDEO, FaceEngine.ASF_OP_0_HIGHER_EXT,

16, 10, FaceEngine.ASF_FACE_RECOGNITION | FaceEngine.ASF_FACE_DETECT | FaceEngine.ASF_FACE3DANGLE|....);复制代码

if (afCode != ErrorInfo.MOK) {

//初始化成功复制代码

}else{

//初始化失败复制代码

}

#### 4. 人脸检测复制代码

List faceInfoList = new ArrayList<>();

int code = faceEngine.detectFaces(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfoList);

if (code == ErrorInfo.MOK && faceInfoList.size() >0) {

//人脸检测成功并且检测到了人脸的情况复制代码

}else{

//人脸检测失败或未检测到人脸的情况复制代码

}

#### 5. 特征提取复制代码

FaceFeature faceFeature = new FaceFeature();

int code = faceEngine.extractFaceFeature(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfo, faceFeature);

if (code == ErrorInfo.MOK) {

//特征提取成功复制代码

}else{

//特征提取失败，可根据code查看原因复制代码

}

#### 6. 特征比对复制代码

public void compareFace(FaceFeature faceFeature1,FaceFeature faceFeature2){

FaceSimilar faceSimilar = new FaceSimilar();int code = faceEngine.compareFaceFeature(faceFeature1, faceFeature2, faceSimilar);if (code == ErrorInfo.MOK){    //比对成功，可查看faceSimilar中的相似度}else{    //比对失败，可根据code查看原因}复制代码

}

#### 7. 活体、人脸三维角度、年龄、性别检测复制代码

int faceProcessCode = faceEngine.process(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfoList, FaceEngine.ASF_AGE | FaceEngine.ASF_GENDER | FaceEngine.ASF_FACE3DANGLE | FaceEngine.ASF_LIVENESS);

if (faceProcessCode != ErrorInfo.MOK){

//失败的情况复制代码

}else{

//process成功，可获取结果List ageInfoList = new ArrayList<>();List genderInfoList = new ArrayList<>();List face3DAngleList = new ArrayList<>();List faceLivenessInfoList = new ArrayList<>();int ageCode = faceEngine.getAge(ageInfoList);int genderCode = faceEngine.getGender(genderInfoList);int face3DAngleCode = faceEngine.getFace3DAngle(face3DAngleList);int livenessCode = faceEngine.getLiveness(faceLivenessInfoList);//错误码校验，判断是否全部成功if ((ageCode | genderCode | face3DAngleCode | livenessCode) != ErrorInfo.MOK) {    return;}else{    //全部检测成功，可从ageInfoList ，genderInfoList ，face3DAngleList ，faceLivenessInfoList 中获取检测结果}复制代码

}

#### 8. 销毁引擎，推荐在退出时执行复制代码

if (faceEngine != null) {

int faceEngineCode = faceEngine.unInit();

Log.i(TAG, "unInitEngine: " + faceEngineCode);

}


###  四、注意事项#### 1.检测模式的选择引擎的初始化中需要传入检测模式（ `视频流模式` 或 `图片模式`  ），除了识别功能模块（[`extractFaceFeature`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#extractFaceFeature-byte:A-int-int-int-com.arcsoft.face.FaceInfo-com.arcsoft.face.FaceFeature-)和[`compareFaceFeature`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#compareFaceFeature-com.arcsoft.face.FaceFeature-com.arcsoft.face.FaceFeature-com.arcsoft.face.FaceSimilar-)）的其他功能都是有检测模式区分的，对于人脸检测、年龄检测、性别检测、人脸三维角度、活体检测，使用视频流模式处理速度更快。`但是视频流模式的活体检测比较特殊：虽然处理后马上能获取结果，但是一段视频流的首帧传入后返回的值为未知，在一段时间后开始拿到的值才是真正的算法结果。`#### 2.引擎的多线程使用单个引擎的同一功能模块中的算法功能函数`不支持多线程调用`，且`调用过程中不能进行销毁`。若需多线程调用，需要创建多个引擎。举几个例子：- 在`线程1`进行人脸检测[`(detectFaces)`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#detectFaces-byte:A-int-int-int-java.util.List-)时**可以**在`线程2`同时进行特征解析[`(extractFaceFeature)`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#extractFaceFeature-byte:A-int-int-int-com.arcsoft.face.FaceInfo-com.arcsoft.face.FaceFeature-)。![多引擎使用示例](https://upload-images.jianshu.io/upload_images/13934799-38113a1dc7f24620.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)- 在`线程1`进行人脸检测[`(detectFaces)`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#detectFaces-byte:A-int-int-int-java.util.List-)时**不可以**在`线程2`同时进行人脸检测[`(detectFaces)`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#detectFaces-byte:A-int-int-int-java.util.List-)。![多引擎使用示例](https://upload-images.jianshu.io/upload_images/13934799-5cef309ff16ead9a.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)- 在`线程1`进行特征解析[`(extractFaceFeature)`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#extractFaceFeature-byte:A-int-int-int-com.arcsoft.face.FaceInfo-com.arcsoft.face.FaceFeature-)时**不可以**在`线程2`同时进行销毁[`(unInit)`](http://ai.arcsoft.com.cn/statics/mannual/arcface/android/com/arcsoft/face/FaceEngine.html#unInit--)![多引擎使用示例](https://upload-images.jianshu.io/upload_images/13934799-8a13d38e98444379.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)#### 3.运行时报java.lang.UnsatisfiedLinkError`java.lang.UnsatisfiedLinkError`是很常见的jni相关错误，若出现该错误，原因一般有以下几种：- **Android工程目录下动态库文件目录下相关动态库不全或动态库文件目录下有多个ABI子目录，但是子目录中的文件列表不同****详细介绍：**首先，应用安装到设备时，只有该设备的CPU架构支持的最优so库才会被拷贝到本地lib中。例如某个工程的本地库目录中，`armeabi-v7`下包含四个动态库文件:`a.so,b.so,c.so,d.so`，`arm64-v8a`下包含两个动态库文件：`c.so,d.so`。某台设备支持`arm64-v8a`，`arm64-v8a`优于`armeabi-v7`，于是在安装时只拷贝了`arm64-v8a`目录下的so文件，加载`c.so，d.so`时并没有问题，但是在加载`a.so`或`b.so`时，由于`arm64-v8a`目录下无这些文件，就会报`java.lang.UnsatisfiedLinkError`。以下是动态库文件存放的一些可能情况：![动态库文件存放举例](https://upload-images.jianshu.io/upload_images/13934799-5fdc1b794a7860ff.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)**解决方案：**如果未在build.gradle中重新指定动态库的目录，那么动态库的默认路径将是：projectName->moduleName->src->main->jniLibs。确保动态库目录下的`armeabi-v7a`目录或兼容`armeabi-v7a`的目录包含ArcFace 2.0 Android SDK相关的动态库文件，且每个ABI目录下的文件名称列表相同。- **动态库文件虽然成功加载，但是找不到对应的native方法****详细介绍：**例如在`com.arcsoft.Test`类中有一个方法定义为: `private native int add(int a,int b)`，而在编写C++代码时对应的内容为：`extern "C" JNIEXPORT jint JNICALL Java_com_arcsoft_Test_add(JNIEnv *env, jobject, jint a, jint b, jint c)`，native定义的方法多了一个参数，对应的Java方法将是`private native int add(int a, int b, int c)`，两者的方法签名不一致，因此在Java中调用add时将找不到native对应的方法。**解决方案：**一般在使用SDK时候若产生这一问题都是用了不同版本或不同平台下的jar或动态库，为了确保方法签名一致，请确认jar和动态库文件是相同平台相同版本中的文件。- **在Java中定义了相关的native方法，但是未加载动态库文件****详细介绍：**例如在`com.arcsoft.Test`类中有一个方法定义为: `private native int add(int a,int b)`，而对应的C++代码中有一个方法为：`extern "C" JNIEXPORT jint JNICALL Java_com_arcsoft_Test_add(JNIEnv *env, jobject, jint a, jint b)`，但是却一直无法加载，则也可能是没有加载动态库才导致无法找到native方法。**解决方案：**在调用so文件前需要加载动态库，一般在类的一个静态代码块中调用。
## 参考文档：#### Android平台开发指南：https://ai.arcsoft.com.cn/manual/arcface_android_guideV2.html#### API接口说明http://ai.arcsoft.com.cn/statics/mannual/arcface/android/index.html复制代码