一、 项目研究方向 构建3D结构光实验平台,在平台上应用结构光对物体进行投影扫描。通过对利用摄像头获取的图像数据进行分析,重新构建物体表面的3D结构,最终输出物体的3D结构模型,以进行后续处理。本项目还打算开发有3D模型辅助的图像识别技术,即通过对3D结构的分析,辅助传统图像识别技术,增强判断物体的种类、位置的能力与速度。 二、 项目进度与上学期开展情况 目前项目仍处于实验平台建设与图像数据处理理论研究阶段。在实验平台建设方面,目前项目组已经能够利用TI DLP LightCrafter 产生具有一定模式的投影光,并且可以同时获取处理来自多个摄像头的图像数据,未来的目标是构建合适的实物平台,便于以后进行批量实验。在图像数据处理理论研究方面,已经掌握了利用OpenCV图像库对图像进行基本处理的方法。同时,小组成员还研究了平面图像识别技术的几种方法,包括Cascade Classifier、YOLO算法等。目前对于这些图像识别技术已经可以进行使用,但是背后的工作原理还有待研究。对于机械臂的控制方法,小组也进行了一些研究,但是目前只是停留在手动控制的阶段。 三、 本学期目标 本学期计划基于上学期的研究成果继续开展新一轮的研究。具体研究内容主要分为三个方向。第一是物体表面3D结构的模型构建,第二是有3D模型辅助的图像识别算法的开发,第三是机械臂的电子控制方法的研究。其中小组的研究重点放在第一和第二个方向上,第三个方向只做简单了解,不进行深入研究。鉴于研究方向的深度及难度,对于学期末的研究成果不做指标性要求,只求小组成员尽力即可。另外由于研究内容难度较大,要去组员加强与老师的沟通交流。 四、 本学期大体安排 本学计划将小组成员分为两小组。 第一小组主要研究3D辅助图像识别算法。第一小组在本学期的主要工作就是学习图像识别算法,研究图像识别的基本原理,并基于这些算法加以改造,从而实现在识别过程中能够利用获取的3D结构信息,进而增强图像识别的性能。该小组前期主要进行的是理论研究,后期则需要展开一些算法程序上的编写和实验。 第二小组主要开发3D结构光模型的构建。开学初,第二小组应尽快完成结构光实验开发平台的建设,以便于后续研究的展开。平台建设完成后,第二小组应利用平台开始着手于结构光的开发。基于上学期提出的几种结构光理论,小组应对每种理论进行试验,从中挑选出最为有效的一个(或几个)构建方法,最终开发出利用结构光对物体建模的技术。第二小组的研究速度应尽可能快速,以便早日构建出物体的3D模型,为第一小组后期的算法编写提供基础数据。 机械臂控制方法的研究不单独分配人员,研究工作交予第二小组的同学在开发结构光技术的同时进行简单了解。
|