(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 106066701 A(43)申请公布日 2016.11.02
(21)申请号 201610521779.0(22)申请日 2016.07.05
(71)申请人 成都福兰特电子技术股份有限公司
地址 610041 四川省成都市高新区九兴大
道6号高发大厦B栋310号(72)发明人 唐林 张波
(74)专利代理机构 成都金英专利代理事务所
(普通合伙) 51218
代理人 袁英(51)Int.Cl.
G06F 3/01(2006.01)
权利要求书2页 说明书3页 附图2页
(54)发明名称
一种AR和VR数据处理设备与方法
(57)摘要
本发明公开了一种AR和VR数据处理设备与方法，包括数据采集模块，处理模块和AR/VR设备，由数据采集模块采集信号，经处理模块，最后在AR/VR设备呈现；数据采集模块，包括摄像头模块、传感器模块、录音模块将采集到的信号传送至处理模块处理,处理模块将各摄像头捕捉到的数据进行拼接，渲染，以及3D处理，并将处理完整的原数据文件储存在存储卡中；AR/VR设备配置有屏幕、摄像头、电池、存储卡、近距离传感器和与数据采集模块相同的传感器模块。本发明简化了AR/VR设备的数据处理的方法和设备，降低了设备的成本，结合两组传感器增强了AR/VR设备的呈现效果与观众的感官体验，拓宽了AR/VR的应用范围。
CN 106066701 ACN 106066701 A
权 利 要 求 书
1/2页
1.一种AR和VR数据处理设备，其特征在于，包括数据采集模块、处理模块、存储卡和AR/VR设备，所述的数据采集模块采集数据并发送至处理模块，经处理模块处理后发送至在AR/VR设备；所述的数据采集模块，包括摄像头模块、传感器模块、录音模块，摄像头模块、传感器模块、录音模块分别将采集到的数据传送至处理模块处理,所述的摄像头模块包括十枚镜头，所述的十枚镜头包含八枚平视标准镜头（1）、1枚顶部鱼眼镜头（2）和1枚底部鱼眼镜头（2），各平视标准镜头（1）处于同一水平面，相邻平视标准镜头（1）之间的夹角为45度；所述的传感器模块包括陀螺仪、加速计和磁力计，陀螺仪、加速计和磁力计分别将采集到的数据传送至处理模块处理；所述的处理模块对数据进行处理，并将处理后的数据发送至存储卡进行存储中；所述的AR/VR设备包括本体，所述的本体上配置有屏幕、摄像头、电池、存储卡卡槽、近距离传感器和与数据采集模块相同的传感器模块。
2.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的AR/VR设备包括AR/VR眼镜或AR/VR头盔。
3.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的近距离传感器连接有比较器，所述的近距离传感器用于检测眼睛与AR/VR设备的屏幕的距离，并将检测到的数据发送至比较器的第一输入端，比较器的第二输入端输入基准信号，比较器的输出端与屏幕连接。
4.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于所述的磁力计用于测试磁场强度和方向，定位AR/VR设备的方位。
5.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的加速计，用于测量任意方向上的加速度。
6.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的陀螺仪，所述的陀螺仪，测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
7.根据权利要求1所述的一种AR和VR数据处理设备，其特征在于，所述的AR/VR设备中的摄像头，其用于AR模式，摄像头捕捉观众所处的周围真实环境的实时图像并使之与事先处理好的数据同时呈现在屏幕上，达到增强现实的目的。
8.一种AR和VR数据处理方法，其特征在于包括以下步骤：S1.数据采集模块采用十个摄像头对环境进行全角度录像，传感器模块记录相关信息，并将捕捉到的数据传给处理模块，使用录音模块对环境周围录音；
S2.处理模块对视频将十个角度视频画面拼接转换成360度全景视频，对全景视频进行渲染，将全景视频3D处理，将其转换为三维立体的图像，并使视频、传感器模块记录相关信息和音频在时间，空间，以及运动状态上保持同步,在处理完成后将原数据储写入存储卡内；
S3.将写入数据的存储卡放入AR/VR设备中，AR/VR设备将原数据解析成全景视频投射在屏幕上，AR/VR设备采集传感器追踪观众的相关信息，与原数据中传感器模块记录的相关信息相匹配契合，并由此来不断更新全景视频的角度，显示的内容，以及音频的大小和方向。
9.根据权利要求7所述的一种AR和VR数据处理方法，其特征在于，所述的相关信息包括数据采集模块在采集数据时的空间位置信息和运动状态，以及观众在使用AR/VR设备时的
2
CN 106066701 A
权 利 要 求 书
2/2页
空间位置信息和运动状态。
3
CN 106066701 A
说 明 书
一种AR和VR数据处理设备与方法
1/3页
技术领域
[0001]本发明涉及一种AR和VR数据处理设备与方法，特别涉及AR和VR数据的采集，图像处理，以及设备与观众的人机交互体验领域。背景技术
[0002]AR即增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着他。[0003]增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
[0004]VR即虚拟现实，指综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。其中，计算机生成的、可交互的三维环境称为虚拟环境。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统的技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
发明内容
[0005]本发明的目的在于克服现有技术的不足，提供一种AR和VR数据处理设备与方法。[0006]本发明的目的是通过以下技术方案来实现的：一种AR和VR数据处理设备，包括数据采集模块、处理模块、存储卡和AR/VR设备，所述的数据采集模块采集数据并发送至处理模块，经处理模块处理后发送至在AR/VR设备；所述的数据采集模块，包括摄像头模块、传感器模块、录音模块，摄像头模块、传感器模块、录音模块分别将采集到的数据传送至处理模块处理,所述的摄像头模块包括十枚镜头，所述的十枚镜头包含八枚平视标准镜头（1）、1枚顶部鱼眼镜头（2）和1枚底部鱼眼镜头（2），各平视标准镜头（1）处于同一水平面，相邻平视标准镜头（1）之间的夹角为45度；所述的传感器模块包括陀螺仪、加速计和磁力计，陀螺仪、加速计和磁力计分别将采集到的数据传送至处理模块处理；所述的处理模块对数据进行处理，并将处理后的数据发送至存储卡进行存储中；所述的AR/VR设备包括本体，所述的本体上配置有屏幕、摄像头、电池、存储卡卡槽、近距离传感器和与数据采集模块相同的传感器模块。
[0007]所述的AR/VR设备包括AR/VR眼镜和AR/VR头盔，所述的近距离传感器连接有比较器，所述的近距离传感器用于检测眼睛与AR/VR设备的屏幕的距离，并将检测到的数据发送
4
CN 106066701 A
说 明 书
2/3页
至比较器的第一输入端，比较器的第二输入端输入基准信号，比较器的输出端与屏幕连接。[0008]所述的磁力计用于测试磁场强度和方向，定位AR/VR设备的方位，所述的加速计，用于测量任意方向上的加速度，所述的陀螺仪，所述的陀螺仪，测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。[0009]所述的AR/VR设备中的摄像头，其用于AR模式，摄像头捕捉观众所处的周围真实环境的实时图像并使之与事先处理好的数据同时呈现在屏幕上，达到增强现实的目的。[0010]一种AR和VR数据处理方法，其特征在于包括以下步骤：
S1.数据采集模块采用十个摄像头对环境进行全角度录像，传感器模块记录相关信息，并将捕捉到的数据传给处理模块，使用录音模块对环境周围录音；
对全景视频进行S2.处理模块对视频将十个角度视频画面拼接转换成360度全景视频，
渲染，将全景视频3D处理，将其转换为三维立体的图像，并使视频、传感器模块记录相关信息和音频在时间，空间，以及运动状态上保持同步,在处理完成后将原数据储写入存储卡内；
S3.将写入数据的存储卡放入AR/VR设备中，AR/VR设备将原数据解析成全景视频投射在屏幕上，AR/VR设备采集传感器追踪观众的相关信息，与原数据中传感器模块记录的相关信息相匹配契合，并由此来不断更新全景视频的角度，显示的内容，以及音频的大小和方向。
[0011]所述的相关信息包括数据采集模块在采集数据时的空间位置信息和运动状态，以及观众在使用AR/VR设备时的空间位置信息和运动状态。，两者的匹配契合度对观众在AR/VR设备的感知极为重要。
[0012]本发明的有益效果是：简化了AR/VR设备的数据处理的方法和设备，降低了设备的成本，结合传感器的作用增强了AR/VR设备的呈现效果与观众的感官体验，拓宽了AR/VR的应用范围。
附图说明
[0013]图1为本发明结构方框图；
图2为摄像模块的俯视图；图3为摄像模块的正视图：图中，1-平视标准镜头，2-鱼眼镜头。
具体实施方式
[0014]下面结合附图进一步详细描述本发明的技术方案：如图1所示，一种AR和VR数据处理设备，包括数据采集模块、处理模块、存储卡和AR/VR设备，所述的数据采集模块采集数据并发送至处理模块，经处理模块处理后发送至在AR/VR设备；所述的数据采集模块，包括摄像头模块、传感器模块、录音模块，摄像头模块、传感器模块、录音模块分别将采集到的数据传送至处理模块处理,所述的摄像头模块包括十枚镜头，所述的十枚镜头包含八枚平视标准镜头（1）、1枚顶部鱼眼镜头（2）和1枚底部鱼眼镜头（2），各平视标准镜头（1）处于同一水平面，相邻平视标准镜头（1）之间的夹角为45度；所述的传感器模块包括陀螺仪、加速计和
5
CN 106066701 A
说 明 书
3/3页
磁力计，陀螺仪、加速计和磁力计分别将采集到的数据传送至处理模块处理；所述的处理模块对数据进行处理，并将处理后的数据发送至存储卡进行存储中；所述的AR/VR设备包括本体，所述的本体上配置有屏幕、摄像头、电池、存储卡卡槽、近距离传感器和与数据采集模块相同的传感器模块。
[0015]所述的AR/VR设备包括AR/VR眼镜和AR/VR头盔，所述的近距离传感器连接有比较器，所述的近距离传感器用于检测眼睛与AR/VR设备的屏幕的距离，并将检测到的数据发送至比较器的第一输入端，比较器的第二输入端输入基准信号，比较器的输出端与屏幕连接。通过比较第一输入端与第二输入端的大小关系来决定屏幕的开关。[0016]所述的磁力计用于测试磁场强度和方向，定位AR/VR设备的方位，所述的加速计，用于测量任意方向上的加速度，所述的陀螺仪，所述的陀螺仪，测量设备当前运动状态和角速度状态，所述的运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，所述的角速度状态包括加速或者减速。
[0017]陀螺仪的主要感知观众旋转情况（原位运动），无法感知方向，加速计则主要是感知设备的受力情况，磁力计主要感知AR/VR设备的方位，总体来说，AR和VR设备通过陀螺仪感知“观众转了个身”，通过加速计感知“观众又向前走了几米”，通过磁力计则知道“我们是向西方向”的。
[0018]所述的AR/VR设备中的摄像头，其用于AR模式，摄像头捕捉观众所处的周围真实环境的实时图像并使之与事先处理好的数据同时呈现在屏幕上，达到增强现实的目的。[0019]一种AR和VR数据处理方法，包括以下步骤：
S1.数据采集模块采用十个摄像头对环境进行全角度录像，传感器模块记录相关信息，并将捕捉到的数据传给处理模块，使用录音模块对环境周围录音；
S2.处理模块对视频将八个角度视频画面拼接转换成360度全景视频，对全景视频进行渲染，将全景视频3D处理，将其转换为三维立体的图像，并使视频、传感器模块记录相关信息和音频在时间，空间，以及运动状态上保持同步,在处理完成后将原数据储写入存储卡内；
S3.将写入数据的存储卡放入AR/VR设备中，AR/VR设备将原数据解析成全景视频投射在屏幕上，AR/VR设备采集传感器追踪观众的相关信息，与原数据中传感器模块记录的相关信息相匹配，并由此来不断更新全景视频的角度，显示的内容，以及音频的大小和方向。[0020]所述的相关信息包括数据采集模块在录像时的空间位置信息和运动状态，以及观众在使用AR/VR设备时的空间位置信息和运动状态，两者的匹配契合度对观众的感知极为重要。
[0021]以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
6
CN 106066701 A
说 明 书 附 图
1/2页
图1
图2
7
CN 106066701 A
说 明 书 附 图
2/2页
图3
8
