처음 학교에서 배웠던 사용자 조사 방법론은 설문(survey) 였다. 지금은 생소하지만 당시에는 트랜드였던 웹캐스팅(web caseting), 이름만 들어도 알만한 바나나TV를 비롯한 성인 방송이나 주병진이 만들었던 프랑켄 슈타인을 접목한 사이트도 있었고 (http: //www.frank.co.kr; 들어가지는 마시라 현재 확인을 해보니 성인사이트로 이동을ㅡㅡ;) 물론 교육 사이트도 상당히 많았었다. 이런 웹캐스팅 사이트 사용자들을 대상으로 만족도나 UI 관련 설문을 해서 이걸 구조방정식 모델중 하나인 (어떻게 보면 당근 알만한 정답을 많은 시간과 노력을 기울여모델링을 해준다) 리즈렐을 통해 열심히 돌렸던 기억이 난다. 사실은 지금도 설문이나 이런 류의 통계적 기법에는 매우 취약하다. 아마도 내가 잘 몰라서 그렇겠지만 이런 류의 분석은 실무에 적용하기에는 난이도나 비용이 너무 드는 반면에 얻게되는 실익은 거의 없다고 해도 과언은 아니다. 아마도 학문적 가치나 정교함에서 전문 분야에서 활용이 되면 좋을 것 같다. 일주일이 넘게 걸려한 정교한 설문 및 분석과 한시간이 걸려 얻은 Quick & Dirty 방법을 적용한 (쉽게 말하면 대충한) 설문 결과가 달라지는 경우는 UI 업계에서는 거의 없을 것 같다.
사설이 길었지만, 설문을 시작으로 프로토콜 분석 (Protocol analysis; 이 방법론 역시 실용적이지는 못하다), 각종 심리학적 실험, 간단한 필드 리서치를 끝으로 학교에서의 사용자 조사 수업은 끝났다. 지금 돌이켜 보면 배웠던 양도 양이지만, 교수님의 독특한 약간의 경쟁과 석사 1학기 과정학생에게도 맡기는 PM 역할로 인해 알지못하는 새로운 방법론이나 과제에 대한 적응력이 무척는 것 같다. (지도교수님께 감사를 ^^;)
회사에 들어와서는 주어긴 여건의 제한과 계속 바뀌는 프로젝트와 환경으로 본의아니게 다양한 방법론을 수행할 수 밖에 없었다. 특히 혼자서 습득을 하기에는 필드 리서치에 대한 경험이 없었던 것은 정말 아쉬었다. 다른 방법론과는 달리 시간과 비용이 많이 드는 필드 리서치를 회사에서 학습의 기회를 갖기는 거의 불가능했다. 인터넷과 논문 그리고 몇번의 세미나를 통해 듣긴했지만, 이론에서 실무로 이어지는 부분은 항상 들을 수가 없어 개인적인 툴킷을 몇개 만들어 사용하고 있지만 제대로 하고 있는지는 잘 ㅡㅡ;
몇년전쯤 책에서 본 방법론을 사사분면에 분류를 한 그림이다. John M. Carroll이 편집했던 4년전쯤 책인것 같다. 제목이 Design Research로 기억이 난다. Daum에 있었을때 아마도 Lab 공유용으로 이미지를 만들어 뒀던것 같네요!
우선 사용자 조사는 양적조사(Quantitative) 와 질적조사(Qualitative)로 나뉩니다. 처음엔 양적조사가 더 어렵게 느껴지지만, 하다보면 질적조사가 들어가는 시간이나 분석의 난이도가 훨씬 높다는 생각이 차차 듭니다. 설문조사나 통계분석 그리고 비디오 촬영을 통한 프로토콜 분석등이 양적 조사에 속하고, 관찰, 인터뷰, 사용성 테스트, 문화적 분석 등은 질적 조사에 속합니다. 사용성 분석을 학교에서는 간혹 통계적 분석을 적용하기도 하는데 참여자 수가 너무 적고 실험조건의 전반적인 타당성(validity)가 떨어져서 통계적 분석이 의미있는 분석이라고 보긴 어렵고 보통 참여자의 코멘트나 개선사항 도출등이 의미있는 결과로 활용됩니다.
다음으론 시각적 분석과 언어적 분석으로 나뉩니다. 비디오 분석 및 관찰같이 시각적인 수집이 이루어지는 경우 시작적 분석으로 설문/언어/인터뷰/사용성 테스트 등과 같이 사용자의 말이 중요한 수집 및 판단 근거가 된느 경우를 언어적 분석이라고 합니다. 아마도 사용성 테스트와 인터뷰가 매우 비슷하다고 생각이 될 수 있는데요, 실제로 크게 다르지는 않습니다.
혹시 공부하시는 분들을 위해 시험에 나올지도 모르는 정량적 분석과 정성적 분석의 차이를 정리해 보았습니다. ^^
| 구분 |
정량적 |
정성적 |
| 진행 방법(method) |
사전에 결정된 (predetermined) |
Ad hoc, opportunistic |
| 샘플링(sampling) |
랜덤으로 추출된 모집단 대표가 가능한 큰 규모의 참여자
Large, Representative, Random |
전략적으로 선택한 적은수의 참여자 Small, Strategic |
| 분석 (data analysis) |
통계의 ANOVA등 정밀한 방법
Standardized measures allow efficient data reduction Facilitates combining, comparing across cases |
경우에 따라, 분석자에 따라 다름
Volume of raw data overwhelming, often of unclear pertinence
Data reduction not straight-forward Non-standardized, non-equivalent across cases |
| 평가(evaluationn) |
Standards of quality exist, looks objectives, degree of support for inferences open to scrutiny |
Inferences seem to come from “invisible” intuitions, hard to assess quality |
| Focus |
Questions should be specified in advanced, based on theory
Must be narrowed, sometimes ridiculously Isolates variables, or task “black box” approach |
Initial focus broad, open to possibility we may not know right questions in advance Broad, holistic, explanatory, tries to grasp complex interactions of factors |
| Aimed at |
What?
Numerical Abstractions Characterize the population |
How & why dynamics
Rich, realistic representations Characterize the “design space” |
결론적으로 정량적 방법은 통계적 의미를 찾아 이를 일반화하는데 유용하고 정성적 방법은 UI 개발에 있어 실무적인 인사이트를 찾는데 유용합니다. 시간이 나는대로 사용자 방법론 별로 상세한 설명자료를 올리도록 하겠습니다.
