最近看的论文的实验部分很多都使用了TRECVID提供的数据,于是把TRECVID研究了一番,收获颇大。
TRECVID是视频检索领域的国际权威评测。
TRECVID的由来如下:
TREC是一系列由美国国家标准技术研究所(National Institute of Standards and Technology,NIST)以及一些美国*机构所主办的会议。该会议提供大量测试数据集合、统一的评价标准以及一个为感兴趣者提供测试结果交流的论坛,旨在鼓励信息检索领域的研究。在2001年和2002年,TREC组织了一个视频检索项目,致力于研究数字视频的自动分割、索引和基于内容的检索。从2003年开始,这个项目发展成为独立的评价体系,即TRECVID,并以为期2天的研讨会的形式在TREC之前举行。
目前TRECVID由Alan Smeaton和Wessel Kraaij组合协调,由Paul Over担任项目负责人。
TRECVID每年举行一次,年初的时候会公布一个本年度的Guidelines
如2009年的Guidelines:http://www-nlpir.nist.gov/projects/tv2009/tv2009.html
Guidelines包括以下几个方面的内容:
1、对前几届会议的研究成果做出总结,并提出本届会议的研究方向,一般是四到五个方向,一个方向可以延续好几届,如"shot boundary determination"直到2008年才结束
2、对每一个研究方向所使用的测试数据做了详细的说明,包括视频的长度、大小、种类以及来源
3、测试数据的获取方式,通常需要参会者填写一些表格,经组织者确认后才能获取数据的下载权限
4、对参会者提交的研究成果的详细说明,包括程序所实现的功能、测试的结果以及对结果的评价,按前面提出的研究方向分别进行了说明
5、整个会议的时间表以及相关联系信息
从会议的时间表可以看到,每年的会议大致分以下几个阶段:
1、公布Guidelines
2、提供测试数据下载
3、参会者向NIST提交实验数据
4、NIST将评价结果分发给各参会者
5、参会者提交会议论文
6、举办研讨会
7、公布会议论文和演讲稿
TRECVID会议全部结束后所公布的资料是对整个会议的总结,非常有料!
如 TRECVID 2009--Goals, Tasks, Data, Evaluation Mechanisms and Metrics
http://www-nlpir.nist.gov/projects/tvpubs/tv.pubs.org.html#2009
内容包括:
1、所有参会者名单及其选择的研究方向
2、各研究方向的参会者的研究结果,主要是测评结果的对比
3、各研究方向在本届会议上所取得的研究成果的总结
4、所有参会者提交的论文
每年参加TRECVID会议的包括高校、研究所以及商业公司的研究机构,其中不乏Carnegie Mellon University、University of Oxford、AT&T Labs、Microsoft Research Asia这样高水平的组织。应该说TRECVID代表了视频检索领域最前沿的研究方向,其每年提出的Tasks以及最后给出的Papers值得关注,所幸的是,这些资料都是完全免费地向大众开放。
Resources & Reference:
1、TRECVID官方网站:http://www-nlpir.nist.gov/projects/trecvid