AR/VR概要
AR/VR出世已經(jīng)有些日子了深圳哪里回收任天堂電腦,相信大家或多或少都對其有一定深圳哪里回收任天堂電腦的了解,AR/VR應(yīng)用得最多的就是在顯示設(shè)備上了,不多說深圳哪里回收任天堂電腦我們直奔主題吧。
AR/VR區(qū)別
AR:增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡稱AR)
它通過電腦技術(shù),將虛擬的信息應(yīng)用到真實(shí)世界,真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫面或空間同時(shí)存在。
AR=真實(shí)世界 + 數(shù)字化信息
VR:虛擬現(xiàn)實(shí)(Virtual Reality,簡稱VR)
是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界,提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬,讓使用者如同身歷其境一般,可以及時(shí)、沒有限制地觀察三度空間內(nèi)的事物。
VR=虛擬世界
AR顯示方式
AR共有3種顯示方式,從距離眼睛近到遠(yuǎn)分別為頭戴式(head-attached)、手持式(hand-held)、空間展示(spatial)。
手持式(hand-held)
即用手機(jī)或任何移動(dòng)終端的攝像頭獲取現(xiàn)實(shí)世界的圖像,并在移動(dòng)終端的現(xiàn)實(shí)世界圖片、視頻中疊加虛擬信息。當(dāng)前基于手機(jī)端的AR游戲、大量的AR卡均是采取這種形式。手持式的呈現(xiàn)方式由于門檻低,大量簡單的AR呈現(xiàn)可以采取這種方式,手持式采取顯示原理與下文中的“視頻式”相同。
當(dāng)然,還有另外如透明手持式AR展示設(shè)備(opticalsee-through hand-held devices)等,由于當(dāng)前并不常見,在此不做贅述。
空間展示(Spatial)
只要是通過非手持、非頭戴的AR展示,我們在此都?xì)w類為Spatial,包括用顯示器展示AR、演唱會(huì)、商業(yè)展示、博物館、游樂園等通過AR技術(shù)進(jìn)行公共的虛擬形象的展示,或以其深圳哪里回收任天堂電腦他屏幕呈現(xiàn)增強(qiáng)現(xiàn)實(shí)信息。
羊年春晚李宇春《蜀繡》采用AR技術(shù)
可穿戴式(head-attached)
需要通過佩戴AR眼鏡類設(shè)備進(jìn)行呈現(xiàn)??梢苑譃槿缦聨追N:
①光場顯示或其他視網(wǎng)膜顯示技術(shù)(Retinal Displays):
技術(shù)原理在于設(shè)備將虛擬光線直接投射進(jìn)用戶的視網(wǎng)膜上,從而形成以假亂真的效果。優(yōu)點(diǎn)在于視角廣、亮度高、畫面好等。光場式被稱為AR顯示的終極形式。
不需要屏幕做載體,通過光場呈現(xiàn)物體全方位深度的圖像,從而實(shí)現(xiàn)用戶觀察近景或遠(yuǎn)景均可以實(shí)現(xiàn)不同景深的切換。
該顯示技術(shù)是最為仿真視覺呈現(xiàn)原理的一種顯示技術(shù)。目前,Magic Leap宣稱采用光導(dǎo)纖維投影儀這套方案。
②頭戴式顯示技術(shù)(Head-Mounted Displays):
視頻式:這種顯示方式原理為設(shè)備通過外置的攝像頭獲取真實(shí)世界的信息,并根據(jù)機(jī)器視覺等技術(shù)同時(shí)疊加虛擬信息,使得用戶通過配置在用戶眼前的AMOLED屏等顯示屏幕看到的真實(shí)世界和虛擬疊加信息。在視頻式的顯示技術(shù)中,用戶看到的均為從設(shè)備攝像頭所獲取的圖像,也就是說真實(shí)世界的光源是通過設(shè)備的攝像頭,再通過設(shè)備的屏幕呈現(xiàn)給用戶的。
這種顯示技術(shù)的優(yōu)點(diǎn)在于沉浸感,因此受外界的干擾比較少,以當(dāng)前的情況來看,視頻式的呈現(xiàn)方式與VR頭顯是一脈相承的,市場角也比Hololens等AR眼鏡大。但缺點(diǎn)在于,分辨率比光源直接來自真實(shí)世界要低,且若屏幕產(chǎn)生一定程度的延遲將導(dǎo)致眩暈。這種顯示方式本質(zhì)為視頻式的顯示技術(shù),我們認(rèn)為當(dāng)前的VR頭盔、手持終端如手機(jī)等均可以采取這種技術(shù)方便地融入AR功能。
光學(xué)式:這種顯示技術(shù)的原理在于,用戶通過人眼前的透鏡看到真實(shí)世界,而計(jì)算機(jī)生成的虛擬信息則通過一系列的光學(xué)系統(tǒng)投射入人眼中,從而實(shí)現(xiàn)在真實(shí)世界的光源下疊加虛擬信息的效果。這種顯示技術(shù)的優(yōu)點(diǎn)在于真實(shí)世界的信息真實(shí)、分辨率高、相對輕便,缺點(diǎn)在于虛擬信息的顯示效果容易受環(huán)境光源強(qiáng)弱的變化。再者,根據(jù)我們對Hololens等AR眼鏡的體驗(yàn),當(dāng)前的視場角還尚未達(dá)到VR設(shè)備的那種大視場角體驗(yàn)。
AR應(yīng)用領(lǐng)域
廣告媒體領(lǐng)域
教育領(lǐng)域
工業(yè)領(lǐng)域
醫(yī)療領(lǐng)域
旅游領(lǐng)域
電子商務(wù)領(lǐng)域
建筑領(lǐng)域
互動(dòng)娛樂領(lǐng)域
VR核心部件、廠商
VR主控芯片平臺:
1、高通驍龍820;
2、聯(lián)發(fā)科Helio x30;
3、三星Exynos8890;
4、意法半導(dǎo)體STM32微控制器;
5、瑞芯微Rockchip RK3288;
6、全志科技H8/A80;
7、盈方電子定制化VR芯片;
8、炬芯(S900VR / V500);
9、英特爾CherryTrail平臺(Z8350/Z8700);
10、NVIDIA(Tegra K1);
......
AMOLED顯示屏:三星、LGD、Sony、JDI、京東方、和輝光電、天馬、維信諾、華星光電、國顯光電、信利、友達(dá)光電......
3D/攝像頭:Gopro、Wearality、Zeiss、Canon、Nikon、Largan......
微投影器件生產(chǎn)商:TI、3M、美光、蘋果、晶景光電(水晶光電)、長江力偉(長江通信)......
傳感器生產(chǎn)商:Kinect、PS Move、Vii中穎電子、華為、PrimeSense(被蘋果收購)、Softkinetic(被索尼收購)、Lumedyne(被谷歌收購)......
九軸傳感器:ST、德州儀器、InvenSense、Bosch、Leap Motion......
語言識別:科大訊飛、百度、云知聲......
定位器:HonHai、HTC、Pegatron、Flex、Jelbi、諾伊藤......
Memory(DRAM SSD):美光、三星、SK海力士、東芝......
詳解十大主控芯片平臺
1、高通曉龍820
作為業(yè)內(nèi)最為知名的芯片供應(yīng)商,高通的芯片無疑是最被熱捧的。
驍龍820采用了高通自主設(shè)計(jì)的64位架構(gòu),采用了四個(gè)Kryo核心,最高主頻2.2GHz,使用三星14nm FinFET工藝生產(chǎn),支持快速充電3.0技術(shù),搭載的圖形處理芯片為Adreno 530,DSP數(shù)字信號處理器為Hexagon 680,在影像處理能力上采用了全新的Spectra 14-bit雙ISP處理器,最高能夠支持2800萬像素/30fps,吞吐量可以達(dá)到1.2GPix/sec(每秒12億像素)。
驍龍820支持雙通道內(nèi)存LPDDR4-1866,支持eMMC 5.1、UFS2.0(Gear3)、SD 3.0(UH S-I),支持USB 3.0輸入輸出,并且支持通用貸款壓縮技術(shù)。
驍龍820處理器基帶芯片參數(shù):820繼續(xù)強(qiáng)勢領(lǐng)跑,搭載全新的X12 LTE調(diào)制解調(diào)器,采用了WTR3925第四代LTE多模收發(fā)器,支持全球頻段,支持全頻段的TDD-LTE和FDD-LTE,支持WCDMA (DB-DC-HSDPA/DC-HSUPA)、TD-SCDMA、CDMA 1x/EVDO以及GSM/EDGE,支持LTE Cat.12,下載最高速度600Mbps、支持LTE Cat.13,上傳速度最高達(dá)150Mbps,并且搭配WTR3950收發(fā)器還可以支持未授權(quán)頻譜上的LTE-U。
驍龍820處理器無線網(wǎng)絡(luò)參數(shù):驍龍820搭載了高通VIVE 802.11ac,支持三頻段Wi-Fi,支持高通夏天推出的2X2 MU-MIMO(多用戶多入多出)技術(shù)。
2、聯(lián)發(fā)科Helio x30
Helio X30在2016年年中正式發(fā)布,規(guī)格方面除了繼續(xù)十核心(六個(gè)A72加四個(gè)A53),還會(huì)將內(nèi)存從LPDDR3升級到支持LPDDR4,并加入高速存儲標(biāo)準(zhǔn)UFS。官方消息稱,“Helio X30”會(huì)改為10nm制程,由臺積電操刀。
Helio X30配備了四顆應(yīng)對重度任務(wù)的Cortex-A72核心(主頻為2.5GHz)。此外,它還配備了兩顆主頻為2.0GHz的Cortex-A72核心、兩顆主頻為1.5GHz的Cortex-A53核心和兩顆主頻為1.0GHz的Cortex-A35核心。同時(shí),Helio X30還將整合ARM最新的Mali-T880顯卡。Helio X30還會(huì)通過插入手機(jī)的方式,支持2K×2K分辨率的VR虛擬現(xiàn)實(shí)技術(shù)。
3、三星Exynos8890
三星在官網(wǎng)正式發(fā)布新一代旗艦處理器Exynos 8890,14mm FinFET LPP工藝制造,八核心big.LITTLE架構(gòu)設(shè)計(jì),首次采用四個(gè)自主定制的大核心(代號“貓鼬”Mongoose)+四個(gè)Cortex A53小核心,算是半自主架構(gòu)。相比上一代Exynos 7420,性能提升30%以上,功耗降低10%。
GPU方面是絕對的亮點(diǎn),和華為麒麟950一樣選擇了Mali-T880,但后綴是“MP12”,開了12個(gè)核心(完整16個(gè)),性能自然有大幅度提升。相比之下,麒麟950只有4個(gè)核心。與上一代Mali-T760 GPU相比,Mali-T880性能提高1.8倍、能效提升40%。原生10位色差支持高保真4K顯示,完全支持當(dāng)前和下一代API?;鶐Х矫媾c驍龍820一樣,支持Cat.12/Cat.13標(biāo)準(zhǔn),理論下載速度提升到600Mbps,上傳150Mbps。
xynos 8890是三星首次自主設(shè)計(jì)GPU架構(gòu)的芯片,擁有四個(gè)Mongoose自主架構(gòu)大核心、四個(gè)A53公版架構(gòu)小核心,雖然這樣的成績并不低,但似乎Mali-T880 MP12這樣的表現(xiàn)顯然不太正常,基本上也就是和上代Mali-T760 MP12差不多,可能是并未優(yōu)化到位。
4、意法半導(dǎo)體STM32微控制器
據(jù)說三星的虛擬現(xiàn)實(shí)設(shè)備Gear VR采用的主控芯片正是意法半導(dǎo)體的微控制器32F401 A5009V0 TW 435,也就是STM32F4系列的STM32 32-bit ARM Cortex-M4微控制單元。
基于ARM Cortex-M4的STM32F4系列MCU采用了意法半導(dǎo)體的NVM工藝和ART加速器,在高達(dá)180 MHz的工作頻率下通過閃存執(zhí)行時(shí)其處理性能達(dá)到225 DMIPS/608 CoreMark,這是迄今所有基于Cortex-M內(nèi)核的微控制器產(chǎn)品所達(dá)到的最高基準(zhǔn)測試分?jǐn)?shù)。
由于采用了動(dòng)態(tài)功耗調(diào)整功能,通過閃存執(zhí)行時(shí)的電流消耗范圍為STM32F410的89 μA/MHz到STM32F439的260 μA/MHz。
STM32F4系列包括八條互相兼容的數(shù)字信號控制器(DSC)產(chǎn)品線,是MCU實(shí)時(shí)控制功能與DSP信號處理功能的完美結(jié)合體:
高級系列
STM32F469/479 – 180 MHz CPU/225 DMIPS,高達(dá)2 MB的雙區(qū)閃存,帶SDRAM和QSPI接口,Chrom-ART Accelerator?、LCD-TFT控制器和MPI-DSI接口
STM32F429/439 – 180 MHz CPU/225 DMIPS,高達(dá)2MB的雙區(qū)閃存,具有SDRAM接口,Chrom-ART Accelerator?和LCD-TFT控制器
STM32F427/437 – 180 MHz CPU/225 DMIPS,高達(dá)2 MB的雙區(qū)閃存,具有SDRAM接口、Chrom-ART Accelerator?、串行音頻接口,性能更高,靜態(tài)功耗更低
基礎(chǔ)系列
STM32F446 – 180 MHz/225 DMIPS,高達(dá)512 KB的Flash,具有Dual Quad SPI和SDRAM接口
STM32F407/417 – 168 MHz CPU/210 DMIPS,高達(dá)1MB的Flash,增加了以太網(wǎng)MAC和照相機(jī)接口
STM32F405/415 – 168 MHz CPU/210 DMIPS,高達(dá)1MB的Flash、具有先進(jìn)連接功能和加密功能
基本型系列
STM32F411 – 100 MHz CPU/125 DMIPS,具有卓越的功率效率,更大的SRAM和新型智能DMA,優(yōu)化了數(shù)據(jù)批處理的功耗(采用批采集模式的動(dòng)態(tài)效率系列)
STM32F410 – 100 MHzCPU/125 DMIPS,為卓越的功率效率性能設(shè)立了新的里程碑(停機(jī)模式下89 μA/MHz和6 μA),采用新型智能DMA,優(yōu)化了數(shù)據(jù)批處理的功耗(采用批采集模式的動(dòng)態(tài)效率?系列),配備真隨機(jī)數(shù)發(fā)生器、低功耗定時(shí)器和DAC
STM32F401 – 84 MHz CPU/105 DMIPS,尺寸最小、成本最低的解決方案,具有卓越的功耗效率(動(dòng)態(tài)效率系列)
5、瑞芯微Rockchip RK3288/RK3399
在去年的CES上,瑞芯微正式推出基于RK3288芯片的VR解決方案。
詳細(xì)參數(shù)
工藝:低漏電,高性能28nmHKMG 工藝
CPU:超強(qiáng)四核Cortex-A17,頻率高達(dá)1.8GHz
GPU:ARM Mali-T764 GPU,支持TE,ASTC,AFBC 技術(shù)
圖像處理:支持OpenGLES1.1/2.0/3.0,Open VG1.1,OpenCL,DirectX11
內(nèi)嵌高性能2D 加速硬件
支持4K H.264 和 10bits H.265視頻解碼,1080P 多格式視頻解碼
1080P 視頻編碼,支持H.264,VP8 和MVC
圖像增強(qiáng)處理
硬件提升低功耗下顯示效果
顯示: 最高支持3840X2160分辨率顯示,以及HDMI2.0
安全:硬件安全系統(tǒng),支持HDCP 2.X
內(nèi)存:雙通道DRAM 控制器,64 bits 存儲接口
支持DDR3L,LPDDR2,LPDDR3
接口:內(nèi)嵌13M ISP 及 MIPI-CSI 接口
豐富的外圍接口支持
RK3399的CPU采用big.LITTLE大小核架構(gòu),雙Cortex-A72大核+四Cortex-A53小核結(jié)構(gòu),對整數(shù)、浮點(diǎn)、內(nèi)存等作了大幅優(yōu)化,在整體性能、功耗及核心面積三個(gè)方面都具革命性提升。
RK3399的GPU采用四核ARM新一代高端圖像處理器Mali-T860,集成更多帶寬壓縮技術(shù):如智能迭加、ASTC、本地像素存儲等,還支持更多的圖形和計(jì)算接口,總體性能比上一代提升45%。
6、全志科技H8/A80
全志科技在VR領(lǐng)域儲備已久,偶米科技的首款Uranus one VR一體機(jī)采用全志科技的H8芯片方案。全志H8八核基于臺積電最新領(lǐng)先的28納米制造工藝,采用8個(gè)ARM Cortex-A7內(nèi)核,支持8核心同時(shí)2.0GHz高速運(yùn)行,同時(shí)搭配Imagination 旗下強(qiáng)勁的PowerVR SGX544 圖像處理架構(gòu), 工作頻率可達(dá)700M左右。
多媒體方面, H8支持多格式1080p@60fps視頻編解碼,支持H.265/HEVC視頻處理,集成8M ISP圖像信號處理架構(gòu),可支持800萬像素?cái)z像頭。顯示方面,H8支持HDMI 1080p@60fps顯示,支持HDCP V1.2協(xié)議,支持HDMI CEC。此外,H8集成了全志新一代麗色顯示技術(shù),圖像顯示質(zhì)量進(jìn)一步提升。事實(shí)上,H8芯片最早是應(yīng)用于電視盒子。
睿悅信息在2015年底推出的Nibiru基于Nibiru VR ROM的VR一體機(jī)產(chǎn)品采用了全志A80芯片作為CPU。
CPU型號:全志A80 Octa
CPU架構(gòu):ARM Cortex-A15[2] R4P0(A15R4P0是A15的2014最新改進(jìn)版本,性能提升,功耗降低,解決先前版本的固件Bug)[3] ARM Cortex-A7 withbig.LITTLE(HMP架構(gòu)可以使8個(gè)CPU核心同時(shí)運(yùn)行)
CPU頻率:2016MHz
CPU核心:八核心
GPU芯片:ImaginationPowerVR G6230
制造工藝:28納米
支持內(nèi)存:DDR3 / LPDDR3(2GB或以上)
封裝:1.8cm×1.8cm(約)
無線網(wǎng)絡(luò):2.4GHz / 5GHz Wi-Fi
藍(lán)牙:支持,藍(lán)牙4.0
攝像頭:最大1600萬像素
最大支持分辨率:4K(3顯示屏)
視頻輸出:HDMI 1.4
視頻格式:支持H.265等格式
音頻解碼芯片:AC100
電源管理:CoolFlex
接口:以太網(wǎng)、串口、Camera、USB3.0 OTG、2×USB2.0、HDMI、GPIO等
能夠支持的最新系統(tǒng):Android 4.4.2、Windows RT 8.1、Chrome OS,etc
7、盈方電子定制化VR芯片
2015年11月9日,騰訊miniStation微游戲機(jī)發(fā)布,經(jīng)拆解后發(fā)現(xiàn)主芯片上醒目地印有兩個(gè)Logo:Tencent、INFOTM。
其中INFOTM是“上海盈方微電子”的公司的英文名稱,這是一家專業(yè)集成電路設(shè)計(jì)公司,專注于移動(dòng)互聯(lián)網(wǎng)終端應(yīng)用處理器芯片的研發(fā)。典型應(yīng)用為平板電腦、智能手機(jī)、相機(jī)及攝像頭等;同時(shí)它也為合作方提供集成度高的涉及系統(tǒng)、軟件、芯片的綜合解決方案。
如此看來,這塊定制芯片應(yīng)該就是騰訊委托盈方微電子設(shè)計(jì)、加工而成,然后雙方在芯片上共同留有Logo,形成雙品牌。
這顆定制的芯片的基本信息和功能:
內(nèi)部采用高性能128位的處理器,據(jù)稱不同于目前主流的64位處理器,在數(shù)據(jù)處理方面執(zhí)行效率更高;所以可以實(shí)現(xiàn)超低延遲的數(shù)據(jù)處理。
可并行處理多通道多媒體數(shù)據(jù),包括音頻、視頻和互動(dòng)數(shù)據(jù)。
采用了先進(jìn)的圖像處理和傳輸技術(shù);這些應(yīng)該都是實(shí)現(xiàn)超高無線跨屏傳輸?shù)闹匾夹g(shù)。
針對VR技術(shù)進(jìn)行了專門的算法優(yōu)化。
也不排除盈方微電子的定制化芯片的成功將帶動(dòng)該公司逐漸推出通用產(chǎn)品面向廣大VR廠商銷售的情況。
8、炬力/炬芯(S900VR / V700/V500)
炬芯也很早就殺入這塊市場,最開始是與哆哚合作,但是產(chǎn)品卻遲遲沒有量產(chǎn),所以整體延緩了進(jìn)度。
目前炬芯針對VR市場主要有S900VR、V700和V500。
S900VR
V700
V500
9、英特爾CherryTrail平臺(Z8350/Z8700)
在依托于主機(jī)和PC的VR設(shè)備市場,英特爾有很大的優(yōu)勢。不過在便攜式VR一體機(jī)市場,英特爾方案用的人則相對較少。而且有用的主要也是其14nm的CherryTrail平臺。
比如,暴風(fēng)于去年11月發(fā)布的魔王一體機(jī)采用的就是英特爾Z8700四核。今年年初曝光的3Glasses W1同樣也是CherryTrail平臺的四核。
不過即便是14nm的英特爾CherryTrail平臺,用在VR上,發(fā)熱也還是很感人的。特別是對于性能較強(qiáng)的Z8700來說。
或許正是由于發(fā)熱的原因,所以億道旗下的億境VR一體機(jī)選擇了CherryTrail平臺的Z8350四核。
10、NVIDIA(Tegra K1)
雖然NVIDIA已經(jīng)退出了手機(jī)市場,但是其移動(dòng)處理器產(chǎn)品線依然存在,而且還活躍在掌機(jī)市場,比如NVIDIA自己推的SHIELD游戲機(jī)。
雖然Tegra K1早在2014年就發(fā)布了,但其依然是NVIDIA目前最高階的移動(dòng)處理器。對于做顯卡出身的NVIDIA來說,Tegra K1在圖形處理器能力上非常的強(qiáng)悍。
Tegra K1一共有兩個(gè)版本,一款是基于Cortex-A15架構(gòu)的32位四核心版本,最高主頻為2.3GHz;另一款則是基于64位ARMv8架構(gòu)的雙核丹佛(Denver)CPU核心,最高主頻可達(dá)2.5GHz。這兩款處理器均搭載了192核心的開普勒GPU,支持基于DirectX11.1的虛幻4游戲引擎,能讓移動(dòng)設(shè)備實(shí)現(xiàn)PC級的游戲特效。
基于Tegra K1強(qiáng)悍的圖形處理能力,已有一些國產(chǎn)VR一體機(jī)廠商選擇采用Tegra K1方案(Cortex-A15四核版)。比如Idealens VR一體機(jī)以及掌閱旗下的星輪Viulux VR-X一體機(jī)。
VR核心技術(shù)
1)實(shí)時(shí)三維計(jì)算機(jī)圖形
相比較而言,利用計(jì)算機(jī)模型產(chǎn)生圖形圖像并不是太難的事情。如果有足夠準(zhǔn)確的模型,又有足夠的時(shí)間,我們就可以生成不同光照條件下各種物體的精確圖像,但是這里的關(guān)鍵是實(shí)時(shí)。例如在飛行模擬系統(tǒng)中,圖像的刷新相當(dāng)重要,同時(shí)對圖像質(zhì)量的要求也很高,再加上非常復(fù)雜的虛擬環(huán)境,問題就變得相當(dāng)困難。
2)虛擬場景顯示技術(shù)
人看周圍的世界時(shí),由于兩只眼睛的位置不同,得到的圖像略有不同,這些圖像在腦子里融合起來,就形成了一個(gè)關(guān)于周圍世界的整體景象,這個(gè)景象中包括了距離遠(yuǎn)近的信息。當(dāng)然,距離信息也可以通過其他方法獲得,例如眼睛焦距的遠(yuǎn)近、物體大小的比較等。
在VR系統(tǒng)中,雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的,顯示在不同的顯示器上。有的系統(tǒng)采用單個(gè)顯示器,但用戶帶上特殊的眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛只能看到偶數(shù)幀圖像,奇、偶幀之間的不同也就是視差就產(chǎn)生了立體感。
用戶(頭、眼)的跟蹤:在人造環(huán)境中,每個(gè)物體相對于系統(tǒng)的坐標(biāo)系都有一個(gè)位置與姿態(tài),而用戶也是如此。用戶看到的景象是由用戶的位置和頭(眼)的方向來確定的。
3)頭部追蹤技術(shù)
在傳統(tǒng)的計(jì)算機(jī)圖形技術(shù)中,視場的改變是通過鼠標(biāo)或鍵盤來實(shí)現(xiàn)的,用戶的視覺系統(tǒng)和運(yùn)動(dòng)感知系統(tǒng)是分離的,而利用頭部跟蹤來改變圖像的視角,用戶的視覺系統(tǒng)和運(yùn)動(dòng)感知系統(tǒng)之間就可以聯(lián)系起來,感覺更逼真。
另一個(gè)優(yōu)點(diǎn)是,用戶不僅可以通過雙目立體視覺去認(rèn)識環(huán)境,而且可以通過頭部的運(yùn)動(dòng)去觀察環(huán)境,這樣當(dāng)我們在現(xiàn)實(shí)世界中移動(dòng),虛擬現(xiàn)實(shí)世界中的我們也就能同樣地移動(dòng)。
當(dāng)我們向左看,頭部追蹤技術(shù)能夠識別這一動(dòng)作,這時(shí)硬件就會(huì)即時(shí)渲染出左邊的場景,這樣,我們往左看就能看到左邊的場景,往右看則能看到右邊的場景,而不會(huì)發(fā)生場景跟著我們移動(dòng)的意外。
4)眼球追蹤技術(shù)
其實(shí),即使是手機(jī)VR盒子,都具備上述的幾個(gè)關(guān)鍵硬件技術(shù)(手機(jī)通過陀螺儀模擬頭部追蹤),但眼球追蹤,在VR領(lǐng)域中還算是比較稀有的玩意。
眼球跟蹤技術(shù)是通過追蹤我們的瞳孔實(shí)現(xiàn)的,算法能夠根據(jù)我們注視的景物來變換景深,從而帶來更出色的沉浸體驗(yàn)。
比如,伸出一只手指舉在眼前,當(dāng)我們注視著它時(shí),手指前方的景物便會(huì)變得模糊,而當(dāng)我們注視背景,手指又會(huì)變得模糊,這正是景深不同帶來的變化。眼球追蹤技術(shù)能夠知道我們在看哪里,從而模擬景深的變化,讓體驗(yàn)更加出色。
提起VR領(lǐng)域最重要的技術(shù),眼球追蹤技術(shù)絕對值得被從業(yè)者們密切關(guān)注。Oculus創(chuàng)始人帕爾默?拉奇就曾稱其為“VR的心臟”,因?yàn)樗鼘τ谌搜畚恢玫臋z測,能夠?yàn)楫?dāng)前所處視角提供最佳的3D效果,使VR頭顯呈現(xiàn)出的圖像更自然,延遲更小,這都能大大增加可玩性。
同時(shí),由于眼球追蹤技術(shù)可以獲知人眼的真實(shí)注視點(diǎn),從而得到虛擬物體上視點(diǎn)位置的景深。所以,眼球追蹤技術(shù)被大部分VR從業(yè)者認(rèn)為將成為解決虛擬現(xiàn)實(shí)頭盔眩暈病問題的一個(gè)重要技術(shù)突破。
5)聲音技術(shù)
人能夠很好地判定聲源的方向。在水平方向上,我們靠聲音的相位差及強(qiáng)度的差別來確定聲音的方向,因?yàn)槁曇舻竭_(dá)兩只耳朵的時(shí)間或距離有所不同。
常見的立體聲效果就是靠左右耳聽到在不同位置錄制的不同聲音來實(shí)現(xiàn)的,所以會(huì)有一種方向感?,F(xiàn)實(shí)生活里,當(dāng)頭部轉(zhuǎn)動(dòng)時(shí),聽到的聲音的方向就會(huì)改變。但目前在VR系統(tǒng)中,聲音的方向與用戶頭部的運(yùn)動(dòng)無關(guān)。
6)感覺反饋技術(shù)
在一個(gè)VR系統(tǒng)中,用戶可以看到一個(gè)虛擬的杯子。深圳哪里回收任天堂電腦你可以設(shè)法去抓住它,但是你的手沒有真正接觸杯子的感覺,并有可能穿過虛擬杯子的“表面”,而這在現(xiàn)實(shí)生活中是不可能的。解決這一問題的常用裝置是在手套內(nèi)層安裝一些可以振動(dòng)的觸點(diǎn)來模擬觸覺。
7)語音技術(shù)
在VR系統(tǒng)中,語音的輸入輸出也很重要。這就要求虛擬環(huán)境能聽懂人的語言,并能與人實(shí)時(shí)交互。而讓計(jì)算機(jī)識別人的語音是相當(dāng)困難的,因?yàn)檎Z音信號和自然語言信號有其“多邊性”和復(fù)雜性。
8)手勢跟蹤技術(shù)
使用手勢跟蹤作為交互可以分為兩種方式:第一種是使用光學(xué)跟蹤,第二種是將傳感器戴在手上的數(shù)據(jù)手套。
光學(xué)跟蹤的優(yōu)勢在于使用門檻低,場景靈活,用戶不需要在手上穿脫設(shè)備,未來在一體化移動(dòng)VR頭顯上直接集成光學(xué)手部跟蹤用作移動(dòng)場景的交互方式是一件很可行的事情。但是其缺點(diǎn)在于視場受局限,以及使用手勢跟蹤會(huì)比較累而且不直觀,沒有反饋。這需要良好的交互設(shè)計(jì)才能彌補(bǔ)。
數(shù)據(jù)手套,一般在手套上集成了慣性傳感器來跟蹤用戶的手指乃至整個(gè)手臂的運(yùn)動(dòng)。它的優(yōu)勢在于沒有視場限制,而且完全可以在設(shè)備上集成反饋機(jī)制(比如震動(dòng),按鈕和觸摸)。
它的缺陷在于使用門檻較高:用戶需要穿脫設(shè)備,而且作為一個(gè)外設(shè)其使用場景還是受局限:就好比說在很多移動(dòng)場景中不太可能使用鼠標(biāo)。
不過這些問題都沒有技術(shù)上的絕對門檻,完全可以想象類似于指環(huán)這樣的高度集成和簡化的數(shù)據(jù)手套在未來的VR產(chǎn)業(yè)中出現(xiàn),用戶可以隨身攜帶隨時(shí)使用。
目前VR技術(shù)難點(diǎn)
VR虛擬現(xiàn)實(shí)的理想狀態(tài)是讓使用者如同身臨其境一般,可以及時(shí)、沒有限制地觀察三度空間內(nèi)的事物,但目前我們的技術(shù)還并沒有完全達(dá)到,那么虛擬現(xiàn)實(shí)VR技術(shù)還存在哪些技術(shù)難點(diǎn)需要攻克呢?
1)大范圍多目標(biāo)精確實(shí)時(shí)定位
當(dāng)前,虛擬現(xiàn)實(shí)產(chǎn)品的定位主要依靠Light House來完成。Light House包括紅外發(fā)射裝置和紅外接收裝置。
紅外發(fā)射裝置沿著水平和垂直兩個(gè)方向高速掃描特定空間,在頭盔和手柄上均布有不少于3個(gè)紅外接收器,且頭盔(手柄)上所有的紅外接收器之間的相對位置保持不變。
當(dāng)紅外激光掃過頭盔或手柄上的紅外接收器時(shí),接收器會(huì)立即響應(yīng)。根據(jù)多個(gè)紅外接收器之間的響應(yīng)時(shí)間差,不僅可以計(jì)算出頭盔(手柄)的空間位置信息還能得出姿態(tài)角度信息。
目前虛擬現(xiàn)實(shí)產(chǎn)品只能工作于一個(gè)獨(dú)立的空曠房間中,障礙物會(huì)阻擋紅外光的傳播。而大范圍、復(fù)雜場景中的定位技術(shù)仍需突破。多目標(biāo)定位對于多人同時(shí)參與的應(yīng)用場景至關(guān)重要。
當(dāng)前的虛擬現(xiàn)實(shí)系統(tǒng)主要為個(gè)人提供沉浸式體驗(yàn),例如單個(gè)士兵作戰(zhàn)訓(xùn)練。當(dāng)多個(gè)士兵同時(shí)參與時(shí),彼此希望看見隊(duì)友,從而到達(dá)一種更真實(shí)的群體作戰(zhàn)訓(xùn)練,這不僅需要對多個(gè)目標(biāo)進(jìn)行定位,還需要實(shí)現(xiàn)多個(gè)目標(biāo)的數(shù)據(jù)共享。
2)“沉浸體驗(yàn)”和“真實(shí)感”的平衡
沉浸體驗(yàn)常被作為衡量虛擬現(xiàn)實(shí)好壞的一個(gè)重要指標(biāo),然而在當(dāng)前的技術(shù)條件下,沉浸體驗(yàn)卻成了另一個(gè)衡量指標(biāo)——畫面“真實(shí)感”(即清晰度)的“天敵”。想要畫面變得更真實(shí),就需要高清晰度來支持,如果清晰度提高了,那么畫面就會(huì)離人眼更遠(yuǎn),從而降低沉浸體驗(yàn)。
之所以會(huì)如此,主要是因?yàn)槠聊环直媛实南拗?。我們可以理解為,離屏幕越近,顆粒感越強(qiáng),而顆粒感,通過透鏡放大后進(jìn)一步明顯,從而使得人眼獲取的實(shí)境比較模糊。如果分辨率沒有高到一定程度,就無法解決這個(gè)難題。
3)屏幕刷新率
刷新率,就是顯卡將顯示信號輸出刷新的速度,比如60Hz就是每秒鐘顯卡向顯示器輸出60次信號,刷新率是由顯示器決定的,刷新率越高畫面延遲就越低。
120HZ的屏幕刷新率是保證VR畫面接近于現(xiàn)實(shí)的最低要求,當(dāng)前手機(jī)屏幕的刷新率基本還停留在60HZ水平,PC顯示器可以滿足。
同時(shí),刷新率的提升,會(huì)對芯片的計(jì)算、功耗造成很大壓力, 這對設(shè)備的硬件提出了更高要求。
4)眩暈感和人眼疲勞
目前,虛擬現(xiàn)實(shí)體驗(yàn)上的最大問題就是眩暈感。體驗(yàn)者在適應(yīng)全新的感官環(huán)境時(shí),可能會(huì)出現(xiàn)類似暈車的狀況。雖然一些研究人員表示在虛擬影像中添加一個(gè)鼻部圖像,可能會(huì)幫助體驗(yàn)者更好地適應(yīng),但目前尚未得到虛擬現(xiàn)實(shí)設(shè)備及軟件廠商的支持。
雖然一些高端設(shè)備在不同程度上解決了眩暈感的問題,但因體驗(yàn)者自身身體狀況、適應(yīng)能力的影響,還是無法完全避免眩暈感的產(chǎn)生,目前所有在售的虛擬現(xiàn)實(shí)產(chǎn)品都存在導(dǎo)致佩戴者眩暈和人眼疲勞的問題,其耐受時(shí)間與虛擬現(xiàn)實(shí)畫面內(nèi)容有關(guān),且因人而異,一般耐受時(shí)間為5~20min,對于畫面過度平緩的VR內(nèi)容,部分人群可以耐受數(shù)小時(shí)。
5)更豐富的感知
視覺是人體最重要、最復(fù)雜、信息量最大的傳感器。人類大部分行為的執(zhí)行都需要依賴視覺,例如日常的避障、捉取、識圖等。但視覺并不是人類的唯一的感知通道。虛擬現(xiàn)實(shí)所創(chuàng)造的模擬環(huán)境不應(yīng)僅僅局限于視覺刺激,還應(yīng)包括其他的感知,例如觸覺、嗅覺等。
6)視頻編輯縫合效果
談到虛擬現(xiàn)實(shí),最近幾年VR視頻編輯也是大火。單單從拍攝的角度來說,VR視頻拍攝與傳統(tǒng)拍攝最大區(qū)別就是在于后期的工作,傳統(tǒng)拍攝后期只有2~3個(gè)環(huán)節(jié),就是剪輯,渲染加一些效果沉淀,虛擬現(xiàn)實(shí)全景拍攝制作的環(huán)節(jié)除了傳統(tǒng)環(huán)節(jié)之外,更重要的是縫合的技術(shù)。
移動(dòng)和固定的機(jī)位最大的不同就是固定的機(jī)位縫合的時(shí)候都是固定的機(jī)位縫合一遍之后,縫完第一幀之后都是固定機(jī)位,復(fù)制到以后的時(shí)間就可以了,但是移動(dòng)的機(jī)位每一時(shí)每一刻甚至于每一幀都是不同的,都需要去縫合的。
雖然現(xiàn)在市面上一些制作者或者公司用的縫合技術(shù)都是通過國外比較成熟的軟件來實(shí)現(xiàn),但是這些軟件縫合的效果也是有瓶頸的,還有使用者使用這些軟件的一些使用經(jīng)驗(yàn)也會(huì)影響到縫合的最終效果。
當(dāng)然我們也有一些手段去處理這個(gè)問題,但是不管如何處理,多多少少都會(huì)有一些痕跡在里面。
雖然目前虛擬現(xiàn)實(shí)技術(shù)的發(fā)展還不夠成熟,存在著許多爭議,但隨著時(shí)間的推移,這一切都會(huì)有所改觀。虛擬現(xiàn)實(shí)技術(shù)將會(huì)成為一種重要的新媒介、新的平臺,無論是對于游戲還是社交,亦或是其他更多領(lǐng)域。
VR應(yīng)用領(lǐng)域
VR技術(shù)的應(yīng)用領(lǐng)域:
游戲領(lǐng)域
影視娛樂領(lǐng)域
工業(yè)制造和產(chǎn)品設(shè)計(jì)領(lǐng)域
軍事訓(xùn)練領(lǐng)域
教育培訓(xùn)領(lǐng)域
醫(yī)療保健領(lǐng)域
VR歷史回顧
1956年:Sensorama
1956 年,攝影師Morton Heilig發(fā)明了Sensorama,一款集成體感裝置的3D互動(dòng)終端,它集成3D顯示器、立體聲音箱、氣味發(fā)生器以及振動(dòng)座椅,用戶坐在上面能夠體驗(yàn) 到6部炫酷的短片,體驗(yàn)非常新潮。當(dāng)然,它看上去碩大無比,像是一臺醫(yī)療設(shè)備,無法成為主流的娛樂設(shè)施。
1961年:Headsight
1961年,Headsight問世,是世界上第一款頭戴顯示器。它有飛歌公司研發(fā),融合CCTV監(jiān)視系統(tǒng)及頭部追蹤功能,但本質(zhì)上,它的主要目的是用于隱秘信息查看,而非娛樂設(shè)備。
1966年:GAF Viewmaster
這款GAF Viewmaster是最早的3D頭戴設(shè)備之一,通過內(nèi)置兩顆鏡片來觀賞幻燈片,具有一定的3D效果,但更像是兒童玩具,而非專業(yè)的影音設(shè)備。其后續(xù)版本還加入了音頻功能,實(shí)現(xiàn)簡單的多媒體功能。
1968年:Sword of Damocles
1968年問世的Sword of Damocles(達(dá)摩克利斯之劍),是麻省理工學(xué)院實(shí)驗(yàn)室研發(fā)的頭戴顯示器,其設(shè)計(jì)非常復(fù)雜,組件也非常沉重,所以需要一個(gè)機(jī)械臂吊住頭戴來使用。
1980年:Eye Tap
這款Eye Tap看上去與微軟的HoloLens非常相似,嚴(yán)格意義上它也的確是一款增強(qiáng)現(xiàn)實(shí)設(shè)備,可以連接計(jì)算機(jī)攝像頭,將數(shù)據(jù)疊加顯示在眼前。當(dāng)然,今天人們對虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)已經(jīng)有了更明確的定義,但Eye Tap對于虛擬現(xiàn)實(shí)技術(shù)的發(fā)展還是具有一定意義的。
1984年:RB2
RB2可以說是第一款商業(yè)虛擬現(xiàn)實(shí)設(shè)備,其設(shè)計(jì)與目前主流產(chǎn)品已經(jīng)非常相似,并且配有體感追蹤手套,可實(shí)現(xiàn)操作。然而,其經(jīng)過高達(dá)50000美元起,在1984年無疑是天價(jià)。
1985年:NASA頭戴顯示器
1985年,NASA(美國航空航管理局)研發(fā)出真正的LCD光學(xué)頭戴顯示器,其設(shè)計(jì)結(jié)構(gòu)被目前的虛擬現(xiàn)實(shí)頭戴廣泛采用,只不過將LCD換為更低功耗、顯示效果更好的OLED。另外,它還具有頭部、手部追蹤系統(tǒng),可實(shí)現(xiàn)更加沉浸式的體驗(yàn),被用于模擬太空作業(yè)等方面。
1993年:世嘉VR
著名游戲廠商世嘉曾計(jì)劃在1993年發(fā)布基于其MD游戲機(jī)的虛擬現(xiàn)實(shí)頭戴顯示器,設(shè)備看上去非常前衛(wèi)。遺憾的是,在早期非公開試玩測試中,測試者反應(yīng)平淡,最終世嘉以“體驗(yàn)過于真實(shí)、擔(dān)心玩家會(huì)受到傷害”為理由,取消了該項(xiàng)目。
1995年:任天堂Virtual Boy
1995 年,任天堂發(fā)布32位游戲機(jī)Virtual Boy,這是一款非常另類的游戲機(jī),其主機(jī)是一個(gè)頭戴顯示器,但只能顯示紅黑兩色。另外,礙于當(dāng)時(shí)技術(shù)限制,游戲內(nèi)容基本上都是2D效果,再加上較低的分 辨率和刷新率,極易使用戶產(chǎn)生眩暈和不適感。最終,任天堂的虛擬現(xiàn)實(shí)游戲計(jì)劃在短短不到一年時(shí)間便宣告失敗。
1995年:CAVE
1995年,伊利諾伊大學(xué)的學(xué)生們研發(fā)出“CAVE”虛擬現(xiàn)實(shí)系統(tǒng),通過創(chuàng)建一個(gè)三壁式投影空間、配合立體液晶快門眼鏡,來實(shí)現(xiàn)沉浸式體驗(yàn),對于現(xiàn)代虛擬現(xiàn)實(shí)技術(shù)起到了極大地的推動(dòng)作用。
2009年:Oculus Rift
毫無疑問,Oculus Rift復(fù)興了虛擬現(xiàn)實(shí)技術(shù),把它重新帶回大眾視野中。2009年,其創(chuàng)始人在Kickstarter上發(fā)起眾籌活動(dòng),在很短時(shí)間內(nèi)便獲得超過10000 個(gè)支持者,備受關(guān)注。此后,第三方資金不斷涌入,讓Oculus Rift得以高速發(fā)展。
2014年,社交巨頭Facebook宣布以20億美元收購Oculus,Oculus Rift也在經(jīng)過了數(shù)個(gè)DK版本之后,正式于今年1月開放消費(fèi)者版預(yù)購、于3月在全球20多個(gè)國家及地區(qū)出貨。至此,虛擬現(xiàn)實(shí)真正步入了消費(fèi)電子市場。
從科幻到現(xiàn)實(shí),從1957到現(xiàn)在,VR設(shè)備的發(fā)展被許多人形容為是“將夢變?yōu)楝F(xiàn)實(shí)”的過程,盡管還存在不足,還面臨坎坷,我們依然有理由期待VR將有光明的未來,畢竟每項(xiàng)科技都是這樣一路跌撞走來,漸漸成長的。
看完歷史,現(xiàn)在再來瞧瞧今年AR/VR的融資大事紀(jì)吧。
融資記錄
2017年AR-VR投融資事件覽表
注:文章一些內(nèi)容來源網(wǎng)絡(luò)整理編輯,如有侵權(quán)或不當(dāng)之處,請作者與我們聯(lián)系,我們將在第一時(shí)間刪除,謝謝!
電話:4000933666,郵箱:ittbank@ittbank.com
歡迎加入ittbank QQ群
說明:一人限入一個(gè)群(每人只能加入其中一個(gè)群,如加多個(gè)群遭拒絕請諒解?。?/p>
1.手機(jī)行業(yè)技術(shù)交流群3(134917677)
2.平板技術(shù)交流群(378173769)
3.機(jī)頂盒OTT盒子交流群(361764225)
4.電容觸摸技術(shù)交流群2(257209943)
5.攝像頭技術(shù)交流群(377648136)
6.液晶屏技術(shù)交流群2(249572580)
7.無線WIFI技術(shù)交流群2(416431905)
8.安防技術(shù)交流群 (308535073)
9.Memory存儲交流群(204191613)
10.手機(jī),MID,電容觸摸,液晶屏買賣群(374763457)----專屬銷售買賣采購的群
11.跨境電商交流(384299409)
12.全球創(chuàng)客空間(188561451)
13.行車記錄儀(294132591)——最專業(yè)的行車記錄儀評測群
14.全球電子技術(shù)交流平臺(370733047)----(此群純屬技術(shù)交流群,專屬技術(shù)工程師的交流平臺,貿(mào)易商勿入!謝謝!加群請麻煩添加標(biāo)準(zhǔn)備注,地區(qū)+行業(yè)+昵稱,比如深圳-藍(lán)牙wifi方案-謝工?。?/p>
15.歡迎加入AR/VR 技術(shù)交流群(527375006)
16.歡迎加入QQ群(199699487)——Amlogic S802/S805/S812等方案平臺網(wǎng)絡(luò)播放器
投稿郵箱:ittbank@ittbank.com
ITTBANK客服熱線:
400-0933-666