[CHI 2001, Sensetable] Sensetable: A Wireless Object Tracking Platform for Tangible User Interfaces
오늘 소개할 논문은 Sensetable입니다. Humac Computer Interaction(HCI)의 Tangible User Inteface(TUI) 분야의 연구로, 과학관 같은 곳에서 프로젝트로 상호작용하는 것을 구현하였습니다. 기존에는 컴퓨터 비전 기술이나 wire를 puck(상호작용에 사용되는 물체)에 연결하여 TUI를 구현하였는데, 인식이 부정확하며 느린 반응속도를 보이거나, wire를 사용함으로써 거추장스러워지는 단점을 가지고 있었습니다. 본 연구에서는 이 문제를 해결하고자, 전자기를 이용해 물체를 인식하며 dial이나 modifier를 쉽게 장착할 수 있게 만들어, 보다 다양한 상호작용을 할 수 있게 된 것이 특징입니다.
Introduction
기존 연구의 한계는 컴퓨터 비전 기술을 활용하게 되면서 robust하지 못하다는 것이었습니다. 밝기가 변하는 것과 같이 상황이 변하게 되면 물체를 인식하지 못하게 되기 때문입니다. Tracking latency도 문제가 되었고, 이를 좀 해결하기 위해 magentic tracker를 사용하기도 했는데, 트랙킹을 위해서는 wire를 추가로 달아야 하는 문제가 있었습니다. 본 연구에서는 이에 2가지 목표를 설정하게 됩니다.
- Accurate, low-latency, wireless tracking of 6-10 objects
- Modify the objects to make TUI more interesting
기존에는 2개의 object를 사용하는 것이 한계이기도 했고, TUI가 많은 일을 할 수는 없었기 때문에 위와 같은 목표를 설정하게 됩니다.
Related work
- Wellner's Digital Desk로 인해 tabletop 개념이 시작됩니다.
- Brick은 wire를 사용해 real-time 트랙킹을 가능하게 만들었고 input과 output을 물리시스템에 표현합니다.
- metaDESK에서는 Brick의 연구를 참고해, icon tracker를 만들어 컴퓨터 비전으로 같은 결과물을 만들었습니다.
- I/O bulb에서는 컴퓨터 비전 기술을 사용해 unique pattern이나 color dots을 인식해 구현하였습니다.
- 상업용으로 좋은게 많은데, 사용 가능한 object의 수에 제한이 있습니다. Wacom Intuos의 TUI가 state-of-the-art 였습니다.
- Zowie Intertainment(지금은 LEGO Group)에서 여러개의 object를 동시에 사용가능한 TUI를 만들었지만, object의 identity나 position만 인식 가능하였습니다.
Zowie사의 TUI는 object에서 가능한 활동이 적기 때문에, 본 연구가 시작되었습니다.
Implementation
Sensetable
컴퓨터 비전 기술을 사용하지 않기 위해, Wacom Intuos의 tablets을 이용해 object를 인식합니다. 여러개의 태블릿을 이어서 큰 책상, Sensetable을 만들었습니다. Sensetable은 1000 dpi로 object를 인식할 수 있고, 컴퓨터 비전 기술과 비교했을 때 낮은 latency를 가집니다. 태블릿의 mouse는 32 bit serial 번호를 가지고 있어, 구분에 용이합니다.
다만 태블릿이 한번에 2개의 object만 인식할 수 있습니다. 이 문제를 해결하기 위해, object는 random으로 on/off가 됩니다. Fairness를 위해 사용 시간의 1/3은 on이 보장됩니다.
Sensetable puck
Low latency problem
Random으로 on/off해서 인식하게 되면, 실제 사용하는 친구의 latency가 길어지게 됩니다. 이 문제를 해결하기 위해, 터치 감지 센서를 추가하여, 사용되는 puck은 바로 on이 되도록 구현하였습니다. 실제 Wacom사의 puck과 반응속도는 같게 구현되었습니다.
Puck communication
Puck에는 2개의 소켓이 있습니다. 2개의 소켓은 16 wire bus와 연결됩니다. Wire bus는 puck 위에 설치될 dial이나 modifier와의 통신을 위해 사용됩니다. 4개는 dials, 4개는 modifiers, 나머지 8개는 나중에 필요하면 사용할 수 있습니다.
Dial, modifier stack
Dial이나 modifier는 같은 bus connector를 공유할 수 있기 때문에, 수직으로 쌓일 수 있습니다.
System architecture
2개의 processor가 사용되며, Sensetable과 수직 모니터로 구성됩니다. 전체적인 구조는 그림과 같습니다.
Limitation
2개의 puck이 동시에 터치되면, latency가 커지는 문제가 발생합니다. 이 문제는 future work에서 sensing table을 새롭게 제작하면서 해결될 수 있다고 보고 있습니다. 또한 테블릿 사이의 3.5cm 간격이 있어, puck이 동시에 인식되는 문제가 있는데, 이 역시도 같은 방법으로 해결될 수 있다고 보고 있습니다.
Applications
실제 사용이 목표이다 보니, 실제 application(화학, 시스템 다이나믹스)을 만들어서 PoC를 통해 프로토타입을 개선하는 방식으로 논문이 작성되었습니다.
Chemistry
PoC로 화학 반응을 학습할 수 있는 화학 어플리케이션을 만듭니다. Puck은 atom이나 molecule과 mapping되고, dial을 이용해 전하량을 조정할 수 있습니다. 또한, puck끼리 가까워지면, 화학 반응이 일어나게 됩니다. 화학 반응의 결과물은 다시 화학 반응에 사용할 수 있습니다.
System dynamics
실제 시스템 다이나믹스 연구진들의 도움을 받아 만들어졌습니다. 시스템 다이나믹스는 실제 비즈니스나 사회 과학에서의 복잡한 피드백 시스템을 연구하는 분야로 "what if"라는 질문을 통해 서로 다른 parameter가 서로에게 어떤 영향을 주는지 이해하는 것이 목표입니다. Sensetable에서 시스템 다이나믹스의 node는 puck이 되고, puck의 dial을 통해 parameter 값을 조정하게 됩니다.
Interaction techniques
TUI 를 구현함에 있어서, 필요하다고 생각되는 기술 4가지를 주로 피드백을 받습니다. 4가지 기술은 다음과 같습니다.
- Binding and Unbinding
- Manipulating digital information
- Visualizing complex information
- Sharing information between tabletop and screen
해당 기술들은 Chemistry application을 통해 피드백을 받으며 개선되었습니다.
Binding and Unbinding
Binding
Puck에 정보를 할당하는 문제입니다. Puck이 digital item의 수보다 많다면, puck에 item을 할당하는 것이 문제가 되지 않습니다. 다만, puck의 수가 digital item보다 적어지면 어떤 item을 puck에 할당할지 문제가 됩니다. 나이브하게 생각해보면, 먼저 할당되는 item을 puck에 할당하면 되겠죠. 그러나 이는 세밀한 시스템에서는 적합하지 않습니다. 해결한 방법은 다음과 같습니다.
- Digital item 사이의 거리를 조절합니다.
- Binding process time을 증가시킵니다.
Unbinding
초기 구현에서 사용한 방법은 shaking이었습니다. Puck을 흔들면 binding이 해제되게 구현하였는데, 실험을 진행하다 보니 사람들이 puck을 그냥 들어서 다른데 놓는 방식을 선호하게 됩니다. 이 방식이 더 합리적이라고 결론지었지만, 첫 프로토타입의 한계로 기능을 구현하지는 못하게 됩니다. 두번째 프로토타입에서는 이를 무게감지로 해결하게 됩니다.
Data on puck
초기에 digital item을 puck 밑에 구현하였습니다. 실험을 진행하다 보니, puck과 digital item 사이의 관계가 불명확해 사람들이 어려움을 겪게 됩니다. 이 문제는 digital itme을 puck 위로 프로젝트함으로써 해결하게 됩니다.
Manipulating digital infromation
Puck 위에 dial과 modifier를 위치시켜 puck과 연결된 digital item의 parameter를 변경할 수 있게 구현하였습니다. 기존 연구에서는 하나의 parameter에 하나의 dial이나 modifier를 연결하여 따로 구현하였는데, 실험 결과 사람들이 본 연구에서 사용한 방식을 더 선호한다는 결과를 얻습니다. 그러나 2가지 비평도 줍니다.
- Dial을 조작했을 때, 정보가 sensing surface와 screen에 표시되면 좋겠다.
- 그래픽적 피드백이 dial 근처에 있으면 좋겠다. 세팅값이 뭔지 좀 확인하게
Visualizing complex information
사람들은 sensing surface에 읽기 쉽게 표현되는 것보다 한번에 많은 정보와 상호작용하기를 원할 수 있습니다. 이를 위해 다음의 기술을 만들었습니다.
Prominence layout algorithm
이를 위해 layout 알고리즘을 만들어 digital item의 중요도를 기반으로 중요한 아이템만을 표현합니다. 서로 겹치는 item이 있을 경우, 덜 중요한 item을 어둡게 만들어 중요한 정보를 잘 확인할 수 있게 만듭니다.
Indicating center of attention
Digital item을 조작하거나 옮기기 위해 puck을 사용한다는 말은, puck 근처의 digital item은 user의 interest가 반영되었음을 의미합니다. Puck 근처의 digital item에 display 우선도를 높게 줍니다.
Semantic zooming
Puck 사이의 거리는 데이터 detail과 연관이 있다고 볼 수 있습니다. 그러므로 puck 사이의 거리가 가까워질수록, 덜 중요한 digital item을 흐리게 만듭니다. 이렇게 하면, 여러 level의 detail을 확인할 수 있습니다.
Sharing information between tabletop and screen
표현해야 하는 정보가 많을 경우, sensetable의 크기는 제한되어 있기 때문에, 모든 정보를 표현할 수 없게 됩니다. 이를 해결하기 위해 screen에 higher-level view를 만들고, 사용자가 보고자 하는 view를 마우스를 이용해 physical tabletop으로 slide down하면 sensetable에서 동작을 가능하게 만듭니다.
Experiment
실험 세팅은 다음과 같이 되었습니다.
- Application: System dynamics
- Subjects: System dynamics를 연구하는 교수님부터 생초보까지 8명
- 실험 그룹: 수준이 비슷한 2명, 아니면 1명
- 실험 세션: 10
- 실험 시간: 30 ~ 60분
- 실험 프로토타입: 개발이 진행되는 과정에 맞춰서 2번, 3번씩 실험이 진행됨
- 실험 평가: 실험하는 과정에서 구두로 피드백
Conclusion
Robust한 tabletop을 기존에 존재하던 Wacom intuos 테블릿을 이용해 구현하였고, 높은 반응속도와 정확성을 보여줬습니다. 또한, 정보의 중요도에 따라 디지털 화면을 구성하여 제한적인 화면 크기에도 정보를 최대한 표현하려 노력하였고, 실제 사용을 통해 피드백을 받아 만족스러운 tabletop을 완성하게 되었습니다.
그러나 개인적인 생각으로는, 실험 인원이 8명이었던 점, 실험 평가가 유저의 구두 피드백으로 이루어진 점이 아쉬웠던 것 같습니다. 구두로 피드백이 진행됨으로써, 정량적인 지표가 없기 때문에 피드백 반영시의 문제가 생길 수 있으며, 실험 인원이라도 많았더라면, 다수의 피드백을 반영하여 개선시켰다는 발언에 무게감이 실릴 수 있겠지만, 그렇지 못한 연구였습니다. (페이퍼에 피드백 선정과 관련된 기준에 대한 명확한 설명은 없었습니다.)