苹果公司申请AR触摸检测专利:使用深度映射相机和ML

近期,美国专利及商标局公布了一批全新的AR/VR专利,其中包括Magic Leap专利,是一种基于眼动追踪的动态显示器校准;Facebook专利,用于深度感测的非机械波束控制方案;高通专利,是鱼眼虚拟现实视频的增强型高级信令;索尼专利,通过生物识别传感器和语言处理减轻头显的影响;其中,还有苹果公司的AR专利:基于深度的触控检测。 “未来苹果发展的核心将是AR”,在2019年苹果投资者大会上,CEO库克曾明确提出。而今,这一新的AR专利的爆出,更加印证了苹果在AR道路上的坚定决心。 目前来看,正如iPhone和iPad,苹果的硬件很大程度上依赖于手指靠在屏幕上这种对直接触摸输入的准确检测。 雷锋网了解到,近日苹果获得的这项关键技术的专利,是使用深度映射摄像头和机器学习去检测用户的触摸。 按照该专利的描述信息,苹果这个检测系统相当简单。当外部摄像头在实时环境中协同工作的时候,会生成三维深度图,通过测量物体(比如手指)与可触摸表面的距离,然后确定物体何时接触该表面。最重要的一点是,这种距离测量设计即便是在摄像头改变位置时也能使用,一部分是依赖对机器学习的模型进行训练以此识别触摸的输入。

这项技术的插图显示,三个外部摄像头协同工作,以确定手指的相对位置,这一概念对于了解苹果三摄像头iPhone 11 Pro这种机型的用户来说可能有些熟悉。类似的多摄像头阵列预计将出现在未来的苹果设备中,包括新的iPad Pro和AR眼镜,使每个摄像头都能通过深度映射场景和应用ML知识判断手指位置变化的意图来确定手指输入。 有了这项技术,未来的AR眼镜可以消除对物理键盘和触控板的需求,取而代之的是,只有用户才能看到和正确互动的数字版本。另外,它们还可以使用户界面锚定到其他表面,比如墙壁,可以想象地创建一个安全电梯,并且只能通过AR按钮的操作或带到特定楼层。 苹果公司获得的US10572072专利,这项专利是基于Sunnyvale公司的Lejing Wang和Daniel Kurz发明的技术。这项专利于2017年9月底首次提出申请,其中包括对这项技术进行实际测试的照片,这在苹果公司中并不常见。

作者主页: 查看...

  • 0

AR/VR技术专家Arianne Hinds博士加入腾讯

腾讯日前宣布,艾丽安·海因兹(Arianne Hinds)博士已加入腾讯多媒体实验室并担任首席研究员。据悉,她将继续从事沉浸式技术和多媒体技术的研究。艾丽安是由国际标准化组织(ISO)和国际电工委员会(IEC)组成的移动图像专家组(MPEG)的美国代表团负责人,并主要帮助制定全球音视频压缩和传输标准。

艾丽安在沉浸式媒体扩展现实、光场面板、视频和内容分发方面有着丰富的经验,并担任专注于标准化音频、图片编码表示、多媒体和超媒体信息的国际信息技术标准委员会L3.1委员会的主席。艾丽安是MPEG委员会标准活动的长期贡献者,她一直积极地参与与视频相关的项目,并担任探索光场技术的MPEG特设小组主席。

在腾讯之前,艾丽安是CableLabs的首席架构师,负责为CableLabs及其成员制定沉浸式媒体和相关技术的总体战略。在2019年,她成为了沉浸式数字体验联盟(IDEA)的联合创办人。IDEA是一个非盈利的行业联盟,致力于开发一种用于通过商业网络传输沉浸式媒体以驱动XR显示器和光场面板的的交换与分发格式。

艾丽安表示:“我非常尊重腾讯的创新文化和公司对用户体验的关注。我的背景和专业知识能够用来帮助腾讯多媒体实验室探索和定义沉浸式多媒体体验的下一前沿领域令我感到非常荣幸和激动。” 腾讯多媒体实验室成立于2017年,是腾讯旗下顶尖的音视频通信和处理研发团队,专注于实时音视频通信、音视频编解码前沿算法研究、音视频国际标准、计算机视觉图像处理、端到端音视频质量评测。在实时音视频通信和处理技术、音视频国际标准等领域积累了完整的解决方案和领先的技术水平。

  • 0

工信部印发推动5G加快发展通知:鼓励推广5G+VR/AR、游戏娱乐、虚拟购物等应用

中国网科技3月24日讯 据工信部网站消息,近日,工信部印发《关于推动5G加快发展的通知》,明确提出加快5G网络建设部署、丰富5G技术应用场景、持续加大5G技术研发力度、着力构建5G安全保障体系、加强组织实施等五方面18项措施。

通知指出,基础电信企业要进一步优化设备采购、查勘设计、工程建设等工作流程,抢抓工期,最大程度消除新冠肺炎疫情影响。支持基础电信企业以5G独立组网(SA)为目标,控制非独立组网(NSA)建设规模,加快推进主要城市的网络建设,并向有条件的重点县镇逐步延伸覆盖。 通知要求,鼓励基础电信企业通过套餐升级优惠、信用购机等举措,促进5G终端消费,加快用户向5G迁移。推广5G+VR/AR、赛事直播、游戏娱乐、虚拟购物等应用,促进新型信息消费。鼓励基础电信企业、广电传媒企业和内容提供商等加强协作,丰富教育、传媒、娱乐等领域的4K/8K、VR/AR等新型多媒体内容源。

以下为通知全文:

 

工业和信息化部关于推动5G加快发展的通知

 

一、加快5G网络建设部署

 

()加快5G网络建设进度。基础电信企业要进一步优化设备采购、查勘设计、工程建设等工作流程,抢抓工期,最大程度消除新冠肺炎疫情影响。支持基础电信企业以5G独立组网(SA)为目标,控制非独立组网(NSA)建设规模,加快推进主要城市的网络建设,并向有条件的重点县镇逐步延伸覆盖。

()加大基站站址资源支持。鼓励地方政府将5G网络建设所需站址等配套设施纳入各级国土空间规划,并在控制性详细规划中严格落实;在新建、改扩建公共交通、公共场所、园区、建筑物等工程时,统筹考虑5G站址部署需求;加快开放共享电力、交通、公安、市政、教育、医疗等公共设施和社会站址资源。对于支持力度大的地区,基础电信企业要加大投资,优先开展5G建设。

()加强电力和频率保障。支持基础电信企业加强与电力企业对接,对具备条件的基站和机房等配套设施加快由转供电改直供电;积极开展网络绿色化改造,加快先进节能技术应用推广。调整700MHz频段频率使用规划,加快实施700MHz频段5G频率使用许可;适时发布部分5G毫米波频段频率使用规划,开展5G行业(含工业互联网)专用频率规划研究,适时实施技术试验频率许可。进一步做好中频段5G基站与卫星地球站等其他无线电台()的干扰协调工作。

()推进网络共享和异网漫游。进一步深化铁塔、室内分布系统、杆路、管道及配套设施共建共享。引导基础电信企业加强协调配合,充分发挥市场机制,整合优势资源,开展5G网络共享和异网漫游,加快形成热点地区多网并存、边远地区一网托底的网络格局,打造资源集约、运行高效的5G网络。

 

二、丰富5G技术应用场景

 

()培育新型消费模式。鼓励基础电信企业通过套餐升级优惠、信用购机等举措,促进5G终端消费,加快用户向5G迁移。推广5G+VR/AR、赛事直播、游戏娱乐、虚拟购物等应用,促进新型信息消费。鼓励基础电信企业、广电传媒企业和内容提供商等加强协作,丰富教育、传媒、娱乐等领域的4K/8KVR/AR等新型多媒体内容源。

()推动“5G+医疗健康”创新发展。开展5G智慧医疗系统建设,搭建5G智慧医疗示范网和医疗平台,加快5G在疫情预警、院前急救、远程诊疗、智能影像辅助诊断等方面的应用推广。进一步优化和推广5G在抗击新冠肺炎疫情中的优秀应用,推广远程体检、问诊、医疗辅助等服务,促进医疗资源共享。

()实施“5G+工业互联网”512工程。打造5个产业公共服务平台,构建创新载体和公共服务能力;加快垂直领域“5G+工业互联网”的先导应用,内网建设改造覆盖10个重点行业;打造一批“5G+工业互联网”内网建设改造标杆网络、样板工程,形成至少20大典型工业应用场景。突破一批面向工业互联网特定需求的5G关键技术,显著提升“5G+工业互联网”产业基础支撑能力,促进“5G+工业互联网”融合创新发展。

()促进“5G+车联网”协同发展。推动将车联网纳入国家新型信息基础设施建设工程,促进LTE-V2X规模部署。建设国家级车联网先导区,丰富应用场景,探索完善商业模式。结合5G商用部署,引导重点地区提前规划,加强跨部门协同,推动5GLTE-V2X纳入智慧城市、智能交通建设的重要通信标准和协议。开展5G-V2X标准研制及研发验证。

()构建5G应用生态系统。通过5G应用产业方阵等平台,汇聚应用需求、研发、集成、资本等各方,畅通5G应用推广关键环节。组织第三届“绽放杯”5G应用征集大赛,突出应用落地实施,培育5G应用创新企业。推动5G物联网发展。以创新中心、联合研发基地、孵化平台、示范园区等为载体,推动5G在各行业各领域的融合应用创新。

 

三、持续加大5G技术研发力度

 

()加强5G技术和标准研发。组织开展5G行业虚拟专网研究和试点,打通标准、技术、应用、部署等关键环节。加速5G应用模组研发,支撑工业生产、可穿戴设备等泛终端规模应用。持续支持5G核心芯片、关键元器件、基础软件、仪器仪表等重点领域的研发、工程化攻关及产业化,奠定产业发展基础。

(十一)组织开展5G测试验证。基础电信企业进一步优化5GSA设备采购测试流程,根据建设计划明确测试时间表,促进相关设备加快成熟。持续开展5G增强技术研发试验,组织芯片和系统开展更广泛的互操作测试,加速技术和产业成熟。结合国家频率规划进度安排,组织开展毫米波设备和性能测试,为5G毫米波技术商用做好储备。

(十二)提升5G技术创新支撑能力。支持领先企业利用5G融合新技术,打造并提供行业云服务、能力开放平台、应用开发环境等共性平台,鼓励建设相关开源社区、开源技术基地,促进开放式应用创新。加快5G检测认证平台建设,面向5G系统、终端、服务、安全等各环节提升测试、检验、认证等服务能力,降低企业研发及应用成本。

 

四、着力构建5G安全保障体系

 

(十三)加强5G网络基础设施安全保障。加快构建5G关键信息基础设施安全保障体系,加强5G核心系统、网络切片、移动边缘计算平台等新对象的网络安全防护,建立风险动态评估、关键设备检测认证等制度和机制。研究典型应用场景下的安全防护指南和标准。试点开展5G安全监测手段建设,完善网络安全态势感知、威胁治理、事件处置、追踪溯源的安全防护体系。

(十四)强化5G网络数据安全保护。围绕5G各类典型技术和车联网、工业互联网等典型应用场景,健全完善数据安全管理制度与标准规范。建立5G典型场景数据安全风险动态评估评测机制,强化评估结果运用。合理划分网络运营商、行业服务提供商等各方数据安全和用户个人信息保护责任,明确5G环境下数据安全基线要求,加强监督执法。推动数据安全合规性评估认证,构建完善技术保障体系,切实提升5G数据安全保护水平。

(十五)培育5G网络安全产业生态。加强5G网络安全核心技术攻关和成果转化,强化安全服务供给。大力推进国家网络安全产业园区建设和试点示范,加快培育5G安全产业链关键环节领军企业,促进产业上下游中小企业发展,形成关键技术、产品和服务的一体化保障能力。积极创新5G安全治理模式,推动建设多主体参与、多部门联动、多行业协同的安全治理机制。

 

五、加强组织实施

 

(十六)加强组织领导。各单位要建立健全组织领导制度,做好各项要素保障,把加快5G发展作为当前一项重点工作来抓。加强与地方住建、交通、电力、医疗、教育等主管部门的协调配合,合力推进5G建设发展各项工作。

(十七)加强责任落实。各地工业和信息化主管部门、无线电管理机构、通信管理局要进一步加大工作力度,及时细化各项支持政策和举措,确保各项政策落到实处。各基础电信企业要发挥主体作用,做好5G研发、试验、建设、应用、安全等各项工作,全力推进5G建设发展。

(十八)加强总结交流。各单位要定期梳理经验做法,及时发现问题不足,不断调整优化工作举措,相关情况及时报送工业和信息化部。工业和信息化部将组织开展各地5G建设发展情况评估,适时发布相关推进情况。

  • 0

GiveVision为视障用户推出AR眼镜SightPlus 2

对于具有良好视力的用户,AR技术意味着在真实世界场景的基础上添加额外的信息和图形。但是对于患有视力障碍症的用户而言,仅仅能够看到现实世界就是一个巨大的进步。为此,英国初创公司GiveVision推出了新型AR眼镜来解决这个问题,该款AR眼镜比以往同类眼镜更舒适,更能被用户所接受。

GiveVision先前已发布了一款名为“SightPlus”的VR护目镜式可穿戴设备,如今推出了SightPlus 2(也称为SightPlus Generation 2)AR眼镜,其体积比SightPlus更小、重量更轻,外形就像是方形太阳镜,拥有超过100度的视场角。当前,GiveVision正在与索尼合作开发和制造轻便的可穿戴设备,甚至将其设计办公室迁至位于南威尔士的索尼英国工厂。

目前,全球有超过1.91亿人患有中度至重度视力障碍。因此,SightPlus 2 AR眼镜潜在的受众群体很大,数字视力、黄斑变性、视神经炎和糖尿病性视网膜病变的患者都可以从中受益。在医院进行的一项测试中,SightPlus2 AR眼镜原型测试人员报告披露,有将近70%的测试者使用该设备可以将视力提高到接近正常水平。

SightPlus 2 AR眼镜的核心是将其显示和摄像头技术直接整合到眼镜架中。而在早期,SightPlusVR眼镜则使用类似于Samsung Gear VR的设计将智能手机摆置在佩戴者的眼前,然后使用自定义软件和设备的相机来帮助用户进行阅读和看视频等体验。

当前,SightPlus 2 AR眼镜售价3612美元,并提供每月66美元的订购服务,订购后用户均可获得客户支持、免费软件更新和保修服务。.

  • 0