​?????Anders Grunnet-Jepsen, John N. Sweetser, John Woodfill @ ????​

??????????????????????????????????????????ü?????λ?????????о???????????????ó??????????????????Щ???????3D?????????????????????????3D?????3D??????????????3D?????2D??????????????????????????????​​

1. ????​

“??????”?????????????????????????????????——??????????????????“??Χ??????”????????Щ??????????????????????????У????????????“????”??“???”???????????????????????2D??????????????????????????????????????????????????????????????Щ??????????????γ???????????????????????????????????????????????????????????????????????????????????????​

?1 ?????????????????????????????????????????????????????????????????????????Χ​

​

?2 ?1??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????浱?????????​

??????У???????????о???????????????????????????????????÷???????????????????????м?????????????????????????????????????????????????RealSense™???????????????????????????Щ???????????????????????????????ò?????????​

2. ???????????????????????​

2D?????????2000??????????????????J-SH04????б???????????2013??“Selfie???????”????????飬??????????????????????????????????????????????????4?????????????????????????????????????????????????????????????????????????????ж?????????????????????????​

​

?3 ???•?Σ?Bill Nye?????????佱??????????? ?????????????•?°????Barack Obama???????•??????•????Neil deGrasse Tyson???????????•??????????Ellen DeGeneres????“????????????”​

?????????????????????????????????????????3D?????в?????????????2D??á????????????????3D????????????????Snapchat??????????Ч??????????????3D???????????????3D????????磬???????????????????μ???????????????????ó????????????沿???????????????????????????????????????????????????????????????????????????????????????????3D?????????????ó????У????????????3D????????????????????÷????????????????????????????￡?????????Χ???????????????????????????????????????????????????????????????????????????????????????????????????????÷???3D?????????????????????????????沿?????????????????????????????????????????????????????????????????????????????????磬???????????????????????????????????​

​​

?4 3D?????????????????????????????????????????????????????????????????????????????????????????????????沿???????類???????????У?????0.6?????????????????????????????????????????????????????????????????RGB????????​

????????У?????????????????????ж???????????????Щ??????​

3. ???????????????​

?и???????????????????????????????????????????????????????????????????????п???????????????????????????????????????????????壬??????????????????????????????????????????????似???????ToF??????????????屻??????????????????Э???λ????????????????????巴?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????​

?????????????????????????????????????磬??????????????????????????????????????????????????????????б?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????ж???????????????????????????????????λ????????????????“????-????-?????”???????????????????????????????????????????????5?????​

​

?5 ?????????????????????????????????????????????????佫?????????????????????????????????????????????????????????????????????????λ????????????????????￡?????????????????????????????????????????????????????????????????????????​

?????????????????????????????????????????????????????????????????????????100??????磬Pixelated ToF???????????????Kinect?????С??????????У?????“????”???????????????????????С???????????????????????????????????????????輤????????Щ?????У??????????????????????????????????????????裬???????????????????????????????????????????????????????????????塣???磬??“????”???????У????????????????????????·???????????????????????????????????????PrimeSense??Kinect????????????????????“?????”????????????????????????????????仯?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????λ??????????????Ψ???????????“????”???????????ζ????й?????????????????????????￡???????й??е????????????????????????????????????п????????????????????????????????????????????￡?????????????????????????“????”????????????“????”???????????????????????????????????????????????????????????????​

??????????????????????????????????????м??????????????Щ????????????????????“??-???”????SfM???????????????????????統????????????????????????????Ч?????A??B????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????SLAM?????????λ???????????????????????????????????????????????IMU???????????????????????Щ??????????????????????????????????????????????????????????????????????????????????????????????????Щ??????????????????????????????????????????????????????????????????“???????????????????????????????????”“???????????к?????????????????????????????????仯?ó?????????????????????忴???????????????????????????????????С????????硢?????????/???????????????????????????屻????????????????????????????????Щ???????????????Щ???????????ó??????????????????ó???????????????​

????????????Щ??????????С????????????????磬????????????????????????ó??????÷??棬??Щ?????????????????á???????????????????????????????硢?????????????????????????????????????????????——?????????????​

?????2????У???????????????????????????????????????????????????????????????D4xx????RealSense™???????????????????????????????????????????????????????????????????????/?????????AR / VR?????????????????????????????????????????????????​

4. ?????????ó?????????​

????綽????????????????????????????????綽?????????????????????????????????????1????С??2???????????3???????4?????????÷??????????????Щ?????????????????????и????????????????????????????????????????????磬?????????????????????и???????????????3D????????x-y????????????????????????????z???????????????3D?????????????????????????￡???????????????????????????????????У?????????????????????У????????????????????????????????????棬????????????????????????????1??“??????????????”??2??“??????????????????”​

????ToF???????????????????????????????????????????????????????????????????????磬????????????????????з?????????????????????????6???п?????????????????3D????????????????????????????п????????????????е????????沿?????л????????????????????????鱦?????Σ????3?е??????????????????????????????????????????????????????????·???????????????塢?鱦??????????????????????????????????????????????????????????????Ч?????????????????“????”?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????940nm???ε??????????????????????????????????????/????????????????????????????????????????????????????????????????????й??????????????????????????????????????????????????ó???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????Щ????????????????????????壬???????????????￡????????????????￡????????????????÷???á?​

​​

?6A ????3D??????????????????????????????????????????????????????????????????????????RealSense D405??????????????????????綽​

​

?6B ??RealSense D435??????????????????????????????????????а??????????????????????????????????????????н?????????????????​

?????????????????????????????????????????????????????????????????????????????????????С???????????????????????????????????????????????????????????????3????????????????????????????棬??????????????綽????????????С?й?????????????????????????????????????????????????????????????????????????????????????????磬??????????綽?д???????λ??????????????????Ч??????Χ????????????????С?????????????min-z??????????????дЧ????????????????Χ?????????????????????????????????????????????????????ú??????????????????????????????????????????????????????????????​

??????????????????????????й?????磬?Щ??????λ??????????????????е??????????????磬ToF???????????????????????????????ζ????????????????η?????????????塣?????????????????????????????????????????“???”???????????????????????κ?????з????“è??”?????????????????????????????·???β????????????????????????????Щ?????????κ??????????????????????????????????????????????￡?????????′??????????????????????????????????????Χ???????????????????????????????????????????????????????д?????????????????仯??????????????????ī??????????????????????????2????????°???????????????????????????????????????????????????????????????????????????????????????仯??????????￡?????????????????Χ????????????????????????????????????????????????????????????????????????????????????????????????????????????????Щ?????У??????????????????????????????????????????????????????????????????​

??????????????????????????????????????????????????????е???????????????????????????????????????????????仯?????????????????????????????????????и??????????????????????????????????????????????????????????“???????????Χ??????”“?????????????????????????????????“????”???????Щ??????Ч??Χ?????????????????????????????????????????????????????????????????????????????????????Χ?????????????????á???3D?в????????????????????????????????????????????????????????????е?????????????????????????????????????????????С?????????????佹????????С??????????????????????????????????????????????????????????????л??棬???????ó???????????????????​

????????????????????RealSense™????????????????????????????????????????????????????????????ó?????​

5. ????RealSense™?????????????????????​

????????????????????????????????????????????????????????????м????????似?????????????е??????м????У????????????????????????????????????????????÷????????????????????????????????????????????????????????????з?????????????????????????????——?????????????????????????????????????????????????????????????​

??????δ????????????????????????1839??Charles Wheatstone??ν?????????????????????????????????????ViewMaster kids ' toy?????????7?У???????????????????????????????????????????????????ο???????????????????????????????????????壬??????????????????????????????????????????????????????????????????????????е??????????????7?????????????????????????????е???????????????и????????????????????????鱻?????????????????????????????????????????????????????????????У????????????????????????????????????????????????????????￡???64??128????????????????????????????ж?????????????????????????????????????????С????MinZ??​

​

?7 ???????????????????????????????????????????????????????????????????????????????????????????????￡?????????????????????????????????????​

??????????????20????80????????????????????о???????1974??????Marsha Jo Hannah??????????????????????????????????????????2002??????????????????????????Middlebury????????????2012??????KITTI?????????????????????????????????????????????????????ü?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????Щ???????????????????????????????2MP???????????????i7??4???????????10?????????​

​

?8 ??????RealSense™ D4m????????????м?????RealSense™ D4xx????????鱻????????????????????RealSense™ USB3????????D435​

​

?9 D405??????ο??????????????????RGB?й?????????15mm?????????????????е?????й?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????б????​

?????з????????????о????????????3600???/????????????????????????????????>90 fps???????6.3 mm x 6.3 mm??С??о???????????i7???С???????ò???22 nw /????,????128?????????????????????????????????????????????????????????????????С??????????豸????????????????????????????????????????????????????????硢????????????硢??????????????????????????????ASIC????????????????????????Ч?????Щ???????κ????????????????????塢??????ToF???????????????????????????????????????????????????????????????????????????10??​

​

?10 ??????????LR200???????????????????μ?D410????????????????????????????????​

??????????????????????????????????????????С??0.1????????????????ζ???????????????????????????????????????????λ??????????????????????????????????????0.05??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????塣?????????????????????????????????????????????????????????????????????????????????Щ????????????????????????????￡??????????????????????????????????????????????????????????α???λ?????100??С?????????????У????????“????”??“????”???????????????????????????????????????????????????????????????????????????????????????У?????????Щ????????????????????????????????????????????????????????λ????????????????​

???????????????????????????????????????????????> 850nm????????????????????????????????????????Щ?????汾???????????????????????????????????????1??????????????????????????????????????????????????????????????????????????????????????????????к??????????????????????????????а?????·?????????????к????????????????RMS ~0.07 vs ~0.05)?????????30%????????​

????????????????????????????????????棬??????????е????????????????????????????η????С????磬????????????????????????????????????仯????????????????????????,?????????????????????κ????????仯??????????????????????????????λ?ú?????????????????????????????????????????????????????Ｄ????????????????????????????仯??????С??????????????????????????????????????????????????????????????????????????????????????????y???????????????Χ?????????8????????????С??г?????????????????????????????????????????????????ü????????????????????????????У????????????????У????????????????У????????????????????????​

???????????????????????????????????????????????????????????磬?????С????????????????????磬????????????????????????????????????????????????????????????????????11??????????????????????????????????????????????????????????????​

​

?11 ?????????????????????????????3D?????????????????????????????У??????????????ж???????????????????D405???????????棬?????????Щ??????????????????????????????????????????RealSense D410 3D?????????λ???????????????????????任???????????​

?????????????????????????????????????????????????????????????л?????????????2??????????????????????????????????????????????????????????????????????????????????????????????—??????????????????????????????????沿?????????й?????????????????沿?????????ú????????????????????????Ρ????????????????沿??????????????????????????????????????????????????н???????????????????????????????????沿???????????????????Щ?????????????????????????????????????????????????￡??????????????????????????????????????​

????????????????????????????????????????????????12????????????????????????????????????????RealSense???????????????????????????????????????????????????￡????????????????????п?????????????????????????????????л??棬????????????????????????????磬?????Щ?????????????????????????????????????У?????????????CMOS?????????????????Χ?????????????????????????????????????飬???????????????????????????????????????????????????????С?????????????????CMOS???????????????????????9?????D405??​

​​

?12 ???D4xx RealSense????????????????????????ASIC​

?????????????????????????1???????2??CMOS??????????????????????????????HDR????? vs. ??????3????????FOV????4??????????????13??????Щ?????RealSense?????????????????仯?????????Щ????????RMS???????????????????????????FOV?????????????С?????????????в?????????Ч?????13???????????????????У??????Ч?????????????????????С??????ζ?????1280 x 720??????MinZ = 50???????飬?????????640 x 360????????MinZ???25?????RMS???????????2???????13????????????Χ?????????п?????1mm???????????ú???Ч????​

​

?13 ?????????RMS?????????????????????Χ?????????С??????????????????????С??1mm????????С???????D405?????D4m VPU????????????15mm??680 x 530??Ф????FOV​

​

?14 D405?????鱻??δ???????6?????Χ????????????3D????????????渽????????????RMS??????60??????????????????????????????????​

6. ????????????????​

??????ú???????????????????????Щ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????——???????????????????????????????????​

?14 ?????????????????RMS???????????????????????????????????????????????RMS?????????????????RMS???Z1 ​

???????????????????м??????????仯?????????????????“???”??????????????????????????????????￡???????????????????????????????????????仯???????????????????????????ж???仯???????????????????????Ч????????????????????????????????????ж????????????????Щ?????￡??????????????????????????????????????????????“??Ч”???????????????е?????????????????????????????????????????????????Щ????￡??????Ч???????????????????????????Щ???????Щ????￡???????????????????Ч?????????????????кá????????????????????????????????????????????????????????????????2?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????Щ?????????????????????塣​

???????????????????????????Ч??Χ??????????????????????????????????????????????????????????????——“?????????”??????????????Χ????????????????Χ???????????????????????????????????????ξ????????????????Χ????????????????????н?????????​

?????????????壺​

Z????????????????????????????????????????????Ground Truth????Z???????????????????壬?????????????????????????????????????????????????????????????????????????????????????????????​

????????????????????????????????????仯????????????????????????????????￡??????????????????????????????????????????????????????RMS???????????????????У????????????????????????????????????????????????????檔​

??????????????????????????????仯???????????????????????Щ????????????????????10???????????????????????????????????????????????????λ???????????豸?????????????????​

???????????Ч????????????????????Ч???????????????????????????????????????????????????????????????????κ??????????ROI????​

?????????????????​

??????У???????о???ζ????Щ?????????????????ν????????????????????“???–???”??????????????????????????????????????в?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????磬????????????????????????????????????????????????????????????????????????????????????????????????????????????塢????????????????????????????????????????????????????????????????????????????????????????????????????????У????????????????????????????????????????????????????????????????????????????????????​

?????????????????????????????????????????????ù??????????????????????????????????????????????????????????????????п???????????????????????????????棬????????????????????￡?????????????????????????ToF???????????????????????????????????????о????????????????????и??????????????????????????????????????????????????????????????????????????????????????Щ????????????????С???????????￡????????????????????????????????????????????????????????????????????????????????????????????繽??????????????​

???????????????????????????????????????????￡???????б??????????????????￡??????????????????????????????????￡????????????????15?????????б?????????????????????????????????????????????????????????????????????????????????????????????????з??Σ???????????????????в?????​

??????????????????????RealSense™????????????????​

​​

?15 ????????????????????????????????е???????????????????????????????​

?????????????????????????a?????????????????????????????????????????????????з????????????b???????????????????????????ù???????????????????????​

????RealSense????????????????​

???????????????????????????????RealSense????????????????????????????????????е????????????????????????100 ~ 200Lux??????????????????????????????????в??????????????С??Ч????min-Z??????????Ч??????????????С???????????????????????????????????????????1.5m ~ 2m????????????????FOV????????ξ??????????????????С????????????????????​

D410?????????????Z?????????????55mm?????65????FOV?????16????????????????????30fps??1280 x 720????????????10mw??????????????????￡??????????????????????Full = Full FOV??Center = central 40% of FOV????????????????????????2%?????????????ó????б??????????????​

​

?16 D410???????????Z??full?????center????????????????????????????​

????????????????????????????????17???????????????????????仯?????????????????????????????RMS?????????????????????????4?????????????????С??1%???????????????????????RMS??????????1mm????????????????????????????????????????????????????????​

​

?17 D410??????????????RMS???StD???????????​

?????????????????????????磬?????????????????з?????????????????????????????????￡??????????????????????????????????????????> 99%??????4??????18?????????????D410???????????????????4?????100%?????????????????????300mw??????????180mw???4??????????100%?????????????????????????????????????????0.7%????​

​

?18 ???????????????4???Χ???????????????????????????????????????RMS?????仯??~ 0.7%​

????????￡??????????????????????????????????????????????????????????????á?​

??????????​

?????4?????????RealSense D410?????????????????????????????￡????????????????????????​

???????Χ???????????????Z?????????????????????磬???< 2%?????< 1% RMS?????????????????D410??Χ?~ 6??6.5???????????????????????????????????????????????????????????????????7??????????????????????Χ??????????????????????????????Ч??Χ??????????????????????????????????????Ч????​

7. ???​

??????????????????????????????????????綽?????????????????????????????????t??о???г????????????????м????????С????????????Щ??????????????????????????????????????????????????????????????RealSense?????????????????飬??D405 ??15?????????ο????????????????????????????????????????????????????????????????????????????С?????????????????????????​

?ο?????​

a. By The White House - http://www.flickr.com/photos/whitehouse/14081505711/, Public Domain, https://commons.wikimedia.org/w/index.php?curid=32567572​

b. https://www.doc.ic.ac.uk/~ajd/Publications/davison_iccv2003.pdf​

c. https://en.wikipedia.org/wiki/Depth_perception

d. By User Davepape on en.wikipedia - Photo by Davepape, Public Domain, https://commons.wikimedia.org/w/index.php?curid=961098​

e. Marsha Jo Hannah, “Computer Matching of Areas in Stereo Images”, AIM-239, July 74 (PhD Thesis).​

f. http://vision.middlebury.edu/stereo/data/​

g. http://www.cvlibs.net/datasets/kitti/eval_stereo.php​

h. “Intel RealSense Stereoscopic Depth Cameras”, L.Keselman et al, 2017 https://arxiv.org/abs/1705.05548​

?????????

??3D????????-2017?桷

??MEMS??????-2017?桷

??????LED???????????????ú????????

??CMOS?????????????-2017?桷