发表于 2024年8月20日1年前 最近的项目需要用到人脸识别 Landmark 和 face mesh ，调研了市面上主流的 NN 框架：MNN, NCNN, TNN, MediaPipe; MNN 阿里的，速度快，有个 MNNKit demo ，人脸关键点 106 个，单帧处理耗时在 3-5ms ； TNN 腾讯基于 NCNN 做的速度优化版本，有个 demo ，270+关键点，识别速度，单帧 3-5ms ，缺点关键点有点抖动； MediaPipe：谷歌开源的，有 473 点 face landmark ，在 iOS 平台识别速度 10-15ms 单帧；但安卓平台同配置手机 30-50ms ，CPU 占用也比 MNN 高 2-3 倍； 除了人脸识别，MediaPipe 还带了背景分割，头发分割等，缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别，没有其他官方 demo 。TNN 有快一年没更新了，所以不准备考虑。 本人刚接触深度学习，还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架，准备从这个两个入手, 个人倾向 MediaPipe ，现成的 demo 功能比较多。 OK ，问题： MediaPipe 的性能问题存在在哪里，是模型的问题还是框架的问题？ MNN 和 MediaPipe 推荐哪个，如果 MNN 做 face mesh ，有哪些快速可用的模型或代码？
最近的项目需要用到人脸识别 Landmark 和 face mesh ，调研了市面上主流的 NN 框架：MNN, NCNN, TNN, MediaPipe;
MNN 阿里的，速度快，有个 MNNKit demo ，人脸关键点 106 个，单帧处理耗时在 3-5ms ； TNN 腾讯基于 NCNN 做的速度优化版本，有个 demo ，270+关键点，识别速度，单帧 3-5ms ，缺点关键点有点抖动； MediaPipe：谷歌开源的，有 473 点 face landmark ，在 iOS 平台识别速度 10-15ms 单帧；但安卓平台同配置手机 30-50ms ，CPU 占用也比 MNN 高 2-3 倍；
除了人脸识别，MediaPipe 还带了背景分割，头发分割等，缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别，没有其他官方 demo 。TNN 有快一年没更新了，所以不准备考虑。
本人刚接触深度学习，还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架，准备从这个两个入手, 个人倾向 MediaPipe ，现成的 demo 功能比较多。
OK ，问题：