Visualization for Extended Reality (VR/AR/MR)

DXR: A Toolkit for Building Immersive Data Visualizations

This paper presents DXR, a toolkit for building immersive data visualizations based on the Unity development platform. Over the past years, immersive data visualizations in augmented and virtual reality (AR, VR) have been emerging as a promising medium for data sense-making beyond the desktop. However, creating immersive visualizations remains challenging, and often require
complex low-level programming and tedious manual encoding of data attributes to geometric and visual properties. These can hinder the iterative idea-to-prototype process, especially for developers without experience in 3D graphics, AR, and VR programming. With DXR, developers can efficiently specify visualization designs using a concise declarative visualization grammar inspired by Vega-Lite. DXR further provides a GUI for easy and quick edits and previews of visualization designs in-situ, i.e., while immersed in the virtual world. DXR also provides reusable templates and customizable graphical marks, enabling unique and engaging visualizations. We demonstrate the flexibility of DXR through several examples spanning a wide range of applications.


  • [PDF] Ronell Sicat, Jiabao Li, JunYoung Choi, Maxime Cordeil, Won-Ki Jeong, Benjamin Bach, and Hanspeter Pfister. DXR: A Toolkit for Building Immersive Data Visualizations. IEEE Transactions on Visualization & Computer Graphics, (1), 2019.
    title={DXR: A Toolkit for Building Immersive Data Visualizations},
    author={Ronell Sicat and Jiabao Li and JunYoung Choi and Maxime Cordeil and Won-Ki Jeong and Benjamin Bach, and Hanspeter Pfister},
    journal={IEEE Transactions on Visualization \& Computer Graphics},


Gadget Arms: Interactive Data Visualization using Hand Gesture in Extended Reality

Extended Reality (XR), such as virtual and augmented reality, has huge potential for immersive data visualization and analysis. In XR, users can interact with data and other users realistically by navigating the shared virtual space, allowing for more intuitive data analysis. However, creating a visualization in XR also poses a challenge because complicated, low-level programming is required, which hinders broad adaptation in visual analytics. This paper proposes an interactive visualization authoring tool based on hand gesture for immersive data visualization—Gadget Arms. The proposed system provides a novel user interaction to create and place visualization in the 3D virtual world. This simple, but intuitive, user interaction enables user designs the entire visualization space in the XR without using a host computer and low-level programming. Our user study also confirmed that the proposed user interaction significantly improves the usability of the visualization authoring tool.

  • [PDF] 최준영, 정해진, and 정원기. 가젯암: 확장현실을 위한 손 제스처 기반 대화형 데이터 시각화 시스템. 컴퓨터그래픽스학회논문지, {25}:31-41, 2019.
    author={최준영 and 정해진 and 정원기},
    title={{가젯암: 확장현실을 위한 손 제스처 기반 대화형 데이터 시각화 시스템}},
    booltitle={{컴퓨터그래픽스학회논문지 제25권 제2호}},
    abstract={{가상 및 증강현실과 같은 확장현실(XR: Extended Reality)은 몰입형 데이터 시각화 및 분석을 위한 거대한 잠재력을 가지고 있다. 확장현실에서 사용자는 3차원 가상 공간을 활용하여 데이터 및 여러 사용자와 사실적으로 상호 작용할 수 있으므로 보다 직관적인 데이터 분석이 가능하다. 그러나 확장현실의 장점을 제대로 활용하기 위한 시각화를 생성하는 것은 복잡한 프로그래밍이 필요하기 때문에 상당히 어려운 일이다. 본 논문에서는 손 제스처만으로 XR을 위한 시각화 전 과정을 수행하고, 모든 3차원 공간을 활용할 수 있는 가젯암(Gadget Arms) 시스템을 제안한다. 이 시스템에서 분석가는 데스크탑 기반 환경이나 복잡한 프로그래밍을 사용할 필요 없이 XR 기기를 착용한 상태에서 직관적으로 전체 시각화 공간을 디자인할 수 있으며, 가상의 손을 임의의 3차원 공간에 자유자재로 위치시킬 수 있는 인터랙션을 통해 거대한 3차원 공간을 효과적으로 활용할 수 있다. 우리는 사용자 연구를 통해 제안된 시스템이 시각화 제작과 공간 활용의 사용성을 크게 향상시시키는 것을 확인하였다.}},
  • [PDF] 최준영, 정해진, and 정원기. 가상현실을 통한 볼륨렌더링 깊이인식 향상. 컴퓨터그래픽스학회논문지, 24(2):29–40, 2018.
    title={가상현실을 통한 볼륨렌더링 깊이인식 향상},
    author={최준영 and 정해진 and 정원기},