[转]kinetics-600 dataset介绍

马猴烧酒

本文转载于https://blog.csdn.net/liuxiao214/article/details/80144375
1 简介
    Kinetics-600 dataset是一个行为识别的数据集，种类数量多，数据集大。activitynet比赛始于2016CVPR，是与ImageNet齐名的在视频理解方面最重要的比赛。在这个比赛下的Task A – Trimmed Action Recognition比赛是一个视频分类比赛，使用的数据集就是kinetics-600数据集。数据集由Google的deepmind团队提供，2017年是第一届比赛，当时有400个类别，20多万数据，今年又对数据集进行了扩增，现在有600个类别，共50万左右的视频。
    视频来源于YouTube，一共有600个类别，每个类别至少600个视频以上，每段视频持续10秒左右。类别主要分为三大类：单人运动，比如做体操。人与物互动，比如演奏乐器。人人互动，比如握手、拥抱、运动。即person、person-person、person-object。
2 数据集类别介绍
    下面这些介绍主要是参考于17年deepmind发的论文”The Kinetics Human Action Video Dataset”，当时还是400类的数据集。论文请见https://arxiv.org/abs/1705.06950。
    数据集主要关注人类行为，action类的列表包括：

• 单人行为，例如绘画，喝酒，大笑，抽拳；
• 人与人之间的行为，例如拥抱，亲吻，握手；
• 人与物之间的行为，例如打开礼物，修剪草坪，洗碗。
  

    一些行动是比较细粒度的，需要时序推理来区分，例如，不同类型的游泳。其他动作类别需要强调区分对象，例如演奏不同类型的乐器。这些类别并没有严格的层级划分，但是还是有些的，类似父类子类关系，例如音乐类（打鼓、长号、小提琴、……），个人卫生类（刷牙、剪指甲、洗手、……），跳舞类（芭蕾、macarena、tap、……），烹饪(切割、煎、脱皮、……）等。
    数据集有400个类别，每个动作都有400-1150个视频片段，每段视频的时长都在10秒左右。目前的版本有306245视频，分为三个部分，训练时每个类为250-1000个视频，验证时每个类50个视频，测试时每个类100个视频。
每个类都包含了一种行为。但是，一个特定的剪辑可以包含几种动作。例如，开车”时“发短信”;“弹奏尤克里里”时“跳草裙舞”;“跳舞”时“刷牙”。这种情况下，这个视频只会标记一个标签，并不会同时存在于两个类种。因此，取top-5的准确率更为合适。
3 行为识别的基准模型
    一共有三种处理行为识别的主流模型，分别是LSTM、two-stream和3D ConvNet。

图3.0-1

    准确率如下图，可以看出two-stream还是占据主导优势的。在kinetics数据集上，top-1是61.0，top-5是81.3。

图3.0-2

3.1分类结果分析

图3.1-1

    还有一点，由于很多动作比较细粒度，类别之间容易造成混淆，论文中也给出了最容易混淆的几个类别，比如，跳远和三级跳远，吃汉堡和吃甜甜圈。swing跳舞和跳萨尔萨舞等都会混淆。如下图：

图3.1-2

    当然，由于使用two stream模型，光流模型和RGB模型可能对不同的动作有不同的准确度，对于这些特定类别，可以在融合时对光流和RGB设定不同的权重。

图3.1-3

    上图中，对于机械舞，光流效果就会比RGB好很多，而对于做蛋糕，则是RGB效果更好。
3.2粒度划分
    最后给出这些类别的一个粒度划分，可能有多个类别都会属于同一大类。即父类子类关系。首先列出有哪些父类，然后再给出每个父类下的子类。父类：共38大类，每个类后面的数字代表有几个子类。如下。

1. arts and crafts (12)
   
2. 
   
3. athletics – jumping (6)
   
4. 
   
5. athletics – throwing + launching (9)
   
6. 
   
7. auto maintenance (4)
   
8. 
   
9. ball sports (25)
   
10. 
    
11. body motions (16)
    
12. 
    
13. cleaning (13)
    
14. 
    
15. cloths (8)
    
16. 
    
17. communication (11)
    
18. 
    
19. cooking (22)
    
20. 
    
21. dancing (18)
    
22. 
    
23. eating + drinking (17)
    
24. 
    
25. electronics (5)
    
26. 
    
27. garden + plants (10)
    
28. 
    
29. golf (3)
    
30. 
    
31. gymnastics (5)
    
32. 
    
33. hair (14)
    
34. 
    
35. hands (9)
    
36. 
    
37. head + mouth (17)
    
38. 
    
39. heights (15)
    
40. 
    
41. interacting with animals (19)
    
42. 
    
43. juggling (6)
    
44. 
    
45. makeup (5)
    
46. 
    
47. martial arts (10)
    
48. 
    
49. miscellaneous (9)
    
50. 
    
51. mobility – land (20)
    
52. 
    
53. mobility – water (10)
    
54. 
    
55. music (29)
    
56. 
    
57. paper (12)
    
58. 
    
59. personal hygiene (6)
    
60. 
    
61. playing games (13)
    
62. 
    
63. racquet + bat sports (8)
    
64. 
    
65. snow + ice (18)
    
66. 
    
67. swimming (3)
    
68. 
    
69. touching person (11)
    
70. 
    
71. using tools (13)
    
72. 
    
73. water sports (8)
    
74. 
    
75. waxing (4)

复制代码

    父类与子类较多，这里就不列出来了，可参考原文 https://blog.csdn.net/liuxiao214/article/details/80144375
参考链接：
activityNet：http://activity-net.org/challenges/2018/index.html
GitHub：https://github.com/activitynet/ActivityNet
kinetics：https://deepmind.com/research/op ... -datasets/kinetics/
paper：https://arxiv.org/abs/1705.06950

不忘初心

Nice Nice,多发点

马猴烧酒

不忘初心 发表于 2018-9-11 10:37
Nice Nice,多发点

额，最近比较忙，可能发不了几篇了

德国骨科

好资源啊