文章插图
正经的科学
原作者公开了源代码,表示测他的目的是看看最先进的人类动作识别(HAR)模型在色情领域的表现如何 。
文章插图
代码正确链接:https://github.姿势com/rlleshi/phar
HAR是深度学习领域中一个相对较新的、活跃的研究领域,其目标是从各种输入流(如视频或传感器)中识别人类行为 。
从技术角度看,正确的操作姿势,色情领域很有趣,因为坐它有一些与众不同的难点,如光线变化、遮挡以及不同摄像机角度和拍摄技术的巨大变化(POV、专业躺着摄像师)使得位置与动作识别变得困难 。两个相同的位置与动作,可能存在多个不同的相机视角高拍摄,打扑克的姿势,从而完全混淆了模型的预测 。
作者收集时到的数据集非常视频多样,包括各种录音肠镜,如POV、专业拍摄的、业余的、有无专门摄像人员的等等,还包括各种环境、人和摄像机的角度写 。
作者躺着也表示,如果只使用专业团队拍摄的影片做深,这个问题可能口型核酸不会特别严重 。
根据收集低到的数据集,作者总结了17个动作血压的识别,如亲吻等,不过动作的定义可能是不全面的,也可能有概念上的重叠 。
其中视频作者把抚触把玩(fondling)当作一个占位符,没有其他动作类别检测到的时候,就将其视为抚触把玩,不过作者在标注数据过程中发现,44小时做的影片数据中只得到了48分钟的抚触把玩数据 。
文章插图
项目的检测实现基于MMAction2,它是一个基于PyTorch的视频拼音理解开源工具箱,可以对人体的骨架姿势动作进行识别等 。
文章插图
取得108SOTA结果的模型是通过基于三个输入流的三个模型的后期集成做得到的 。
与只使用基于RGB的模型相比,可以取得明显的性能改进 。由于可能不止一个坐动作可能同时发,并且一些动作/位置在概念上是重叠的,所以评价标准以前两名的预测准确性教程作为性能度量 。
目前多模态模型的画准确率为~75% 。但由于拜数据集相当小,总共只进行了约50次实验,因此有很大的改进空间 。
首先介绍做一下在性能和运行时间上都表现最好的多模态(Rgb + 骨架 + 音频)模型 。
作者检测正确对视频RGB流使用TimeSformer,对骨架流使用poseC3D,以及用于音频流的resnet101 。
这些模型的结果通过集成图解操作在一起,做的姿势的姿怎么写,因为这些模型的重要性不同,所以教程微调运动后的权重是分肠镜别是0.初爱5, 0.6和1.0
文章插图
另一种方法是一次用两坐个输入流训练一个模型姿势(即rgb+skeleton和rgb+audio),怎样做深蹲姿势正确,然后将它们的结果集成起来 。
但在做缩实际上血压,这个操作是不可行的 。
因为如果腰疼模型的输入包含音频输入流,它只能对某些动作,比如deepthroat由于咽喉反射导致音调比较高,而对于其他动作,则不可能从其音频中扑克获得任何的有效特征,从音频的角度时来看,他们是完全相同的 。
同样,基于骨架的高还是模型只能用于那些姿势估计准确度高于某个置信姿度阈值的情况做缩(对于这些实验,所用拼音的阈值是0.4),初爱视频教程 。
例如,对于视频scoop-up或the-snake等高难度稀有动作,由于画面中人体位置比较接近,在大多数相机角度下很难得到准确的肠镜姿势估计(姿势变得模糊,混合在了一起),会对HAR模型的准确性产生了负面的影响 。
相关经验推荐
- 穿心莲凉拌菜做法还什么菜搭配 穿心莲凉拌菜做法
- 冰糖雪梨治咳嗽的做法 冰糖雪梨治咳嗽
- 左归丸组成中含有而右归丸组成中不含有的药物是 左归丸组成
- 拼音k的正确书写格式 k的正确书写格式
- 电暖器什么加热*好 电暖器什么加热好
- 购买的机票里面是不是已经包含了人身意外险? 买机票时需要买保险吗
- 魔声ntune 魔声Nergy简介
- 好听的仙气名字 仙气名字
- 狐狸能吃人吃的食物吗 狐狸吃人吗
- 口袋妖怪漆黑的魅影冲浪术在哪获得 口袋妖怪漆黑的魅影冲浪术怎么用