리커트 척도로 할지,5점으로 할지 7점으로 할지,문항은 몇 개나 넣어야 할지.
설문지 앞에 앉으면이런 질문부터 떠오릅니다.
그런데 이 질문들에바로 답부터 찾으면설문지는 반드시 흔들립니다.
답은 간단합니다.
문항을 쓰기 전에연구모형과 변수,조작적 정의부터먼저 확정해야 하기 때문입니다.
석사논문 설문지는 문항 하나하나의 완성도보다, 그 문항이 어떤 변수를 어떻게 측정하는지가먼저 정해져 있어야 합니다.
이 글에서는 석사논문 설문지 작성 방법을문항을 쓰기 전 단계부터예비조사까지 순서대로 정리했습니다.······
문항보다 먼저 정해야 할 것 — 연구모형과 조작적 정의
이 단계의 핵심은”무엇을 측정할지”가 아니라”그 개념을 어떻게 조작적으로 정의했는지”입니다.
조작적 정의(Operational Definition)는사물이나 현상을객관적·실험적으로 기술하기 위한 정의입니다.
대개 절차적 과정순서와수량화할 수 있는 내용으로구성됩니다.
연구의 맥락 속에서개념이 무엇을 의미하는지명백히 드러내는 것,
이것이 연구의 타당성을뒷받침하는 이유입니다.
연구모형을 세우는 순서도 정해져 있습니다.
선행연구 고찰을 통해 변인의 척도·내용 확인변인 간 관계 구성가설 설정연구모형 구성
이 순서에서 문항은맨 마지막에 나오는 산출물입니다.
변수의 조작적 정의가 흔들린 상태에서문항부터 쓰면,문항이 실제로 측정하려는 개념과어긋나는 결과로 이어집니다.
실제로 실증연구에서는개념적 정의와 조작화(operationalization) 간불일치가 반복적으로 지적되는 문제입니다.
연구자들이 자신의 개념적 정의에 맞는측정 도구·표본을 잘못 선택하는 경우가 많고,
“개념과 조작화 간의 일치성”,”이론과 연구설계 간의 일치성”을유지하는 것이 중요하다고 지적됩니다.
리커트 척도, 몇 점으로 몇 문항 써야 할까
이 단계에서는 새 척도를 만드는 것보다기존에 검증된 척도를 쓰는 것이먼저입니다.
리커트 척도는 사회과학 분야에서가장 널리 쓰이는 측정 도구입니다.
척도점(anchor) 사이의 간격이동등하다는 전제 위에서 사용됩니다.
그런데 실제로는”매우 그렇다”와 “그렇다” 같은구체적 표현에 따라
응답자가 지각하는 간격이동등하지 않을 수 있다는 점이학술적으로 지적됩니다.
척도점 개수는최소 5점에서 최대 7점이일반적으로 권장됩니다.
상대적으로 간단한 평가에 적합. 국내 대학 강의평가 대부분이 채택
응답자 의견을 더 세밀하게 구분하고 싶을 때 사용
척도 수를 늘리는 것이근소하게 더 나은 결과를 가져온다는연구도 있습니다.
다문항(3개 이상)으로동일 구성개념을 측정하고 합산할 경우,
신뢰도 분석에서 Cronbach’s α가0.7 이상이면 등간 자료에 준해평균 비교·t검정 등 모수통계 사용이가능하다고 보는 것이 일반적 기준입니다.
척도를 자체 제작하려 한다면탐색적 요인분석과 신뢰도분석 절차를함께 계획해야 합니다.
문항의 낮은 신뢰도,리커트 응답 양식이 보이는서로 다른 왜도(skewness)까지함께 고려해야 하기 때문입니다.
그래서 실증연구에서는선행연구에서 이미 신뢰도·타당도가 보고된기존 척도를 그대로 또는 수정(번안)해 쓰는 것이일반적인 관행입니다.
기존 척도를 번역·번안해 쓸 경우원저자의 허락,국제검사위원회(ITC)의 번역·번안 지침 같은표준화된 절차를 따르는 것이 권장됩니다.
기존 척도를 쓰더라도자신의 표본에서확인적 요인분석과 신뢰도분석을다시 실시해야 합니다.
이 척도가 이번 연구에서도타당하고 신뢰할 만한지확인하는 과정입니다.
변수-문항 연결에서 가장 흔한 실수 5가지
변수와 문항을 연결하는 과정,즉 조작화 단계에서실수가 가장 많이 나옵니다.
리서치 전문 기업이 정리한실무 사례를 기준으로가장 흔한 실수 다섯 가지를 정리했습니다.
“가장 최근에 캔 커피를 마신 이유는?”
“500ml 용기 기준으로 몇 캔 드시나요?”
“트렌디하게 리뉴얼한 A 제품 디자인에 만족하시나요?”
“A 제품 디자인에 얼마나 만족하시나요?”
“C 팀장은 업무를 잘 배정하고 성과를 책임진다”
이 다섯 가지에는공통점이 하나 있습니다.
“변수 하나 = 문항 하나(또는 명확히 구분된 문항 세트)”라는 조작화 원칙이 무너질 때 발생한다는 점입니다.
특히 이중질문은하나의 문항이 실제로는서로 다른 두 변수를 동시에 측정하려다
어느 쪽도 정확히 측정하지 못하는,조작화 실패의 대표 사례입니다.
문항 하나를 쓸 때마다”이 문항이 측정하는 변수는 정확히 무엇인가”를스스로 되묻는 것,
이것이 흔들리지 않는 조작화의출발점입니다.
설문지 문항 배치, 순서가 응답률을 바꾼다
문항 순서는응답의 신뢰성과완료 여부에 영향을 줍니다.
초반 문항이 응답자에게”이 설문이 무엇에 관한 것인가”라는인식을 형성하기 때문입니다.
그래서 유사한 주제의 문항을함께 묶고,순서를 신중하게 설계해야 합니다.
신뢰도·타당도가 이미 검증된기존 척도를 사용할 경우도 마찬가지입니다.
하나의 척도(구성개념)에 속한 문항들은흩어놓지 않고하나의 블록으로 묶어 배치하는 것이일반적입니다.
같은 맥락의 질문에연속해서 답하도록 해측정 오차를 줄이기 위함입니다.
인구통계학적 문항의 위치는실무에서도 의견이 갈립니다.한쪽은 설문 마지막 배치를 권장합니다.
로직이나 응답자 분기(라우팅)에꼭 필요한 경우가 아니라면,
응답자가 민감한 개인정보를요구받기 전에본 주제에 충분히 답할 기회를 가지면중도 포기가 줄고데이터 정확도가 향상된다는 논리입니다.
다른 쪽은 설문 처음 배치를 권장합니다.인구통계 문항은 중립적이고위협적이지 않아,응답자를 설문에 편안하게 진입시키는”워밍업” 역할을 한다는 것입니다.
실제로 처음에 배치했을 때인구통계 문항 자체의 응답률이 높아지고,다른 문항의 응답률이나 평균 점수에는영향을 주지 않았다는조사 결과도 있습니다.
두 원칙 중 어느 쪽이절대적으로 우월하다고결론 내린 자료는 없습니다.
다만 공통적으로 강조되는 것은”설문 목적상 응답자를 걸러내야(스크리닝) 하는인구통계 문항”이라면예외적으로 맨 앞에배치해야 한다는 점입니다.
석사논문처럼 특정 변수 간 관계(독립변수-종속변수)를 측정하는 것이핵심 목적인 설문이라면,연구모형의 변수를 측정하는핵심 문항을 앞에 배치하고인구통계 문항을 뒤에 배치하는 방식이다수 실무 가이드에서더 자주 권장되는 편입니다.
문항 쓰고 끝이 아니다 — 예비조사(pilot test)가 필요한 이유
문항을 다 썼다고설문지가 끝난 것이 아닙니다.
예비조사(pilot study)는연구문제에 대한 정보나 지식이충분치 않을 때,
질문지·면접조사 등조사 도구의 초안을 잡기 위해실시하는 조사입니다.
공식적인 표본설계나표본추출 절차를엄격히 따르지 않아도 된다는 점에서
사전조사(pre-test)와구분됩니다.
사전조사는 예비조사 결과를 바탕으로작성한 질문지가실제로 타당하고 신뢰할 만한 자료를수집할 수 있는지 확인하기 위해,예정된 응답자 중 일부를 선정해본조사와 동일한 절차·방법으로 시행합니다.
질문의 내용·어구 구성·응답 형식·질문 순서 등의오류를 찾아내질문지의 타당도를 높이는 것이 목적입니다.
예비조사가 충분히 시행되면본조사에서 발생할 수 있는 문제를사전에 해결하고,조사 기간을 단축하며,오차를 통제하는 효과가 있습니다.
리서치 플랫폼 업계 자료에 따르면파일럿 테스트의 표본 규모는전체 조사 대상의 5~10% 또는최소 30명 이상(보통 30~50명)이권장됩니다.
실제 배포 환경과최대한 유사한 조건에서진행해야 합니다.
같은 자료가 제시하는파일럿 테스트 절차는 다음과 같습니다.
본조사 타겟과 유사한 참여자 선정실제 배포 환경과 동일한 테스트 환경 구축혼란스러운 문항·완료 시간 등 데이터·피드백 수집기술적 오류를 우선 수정하고 이후 내용 개선대규모 수정이 있었다면 후속 테스트 반복
점검해야 할 핵심 항목은유도 질문 여부,문장의 명확성(중학생도 이해할 수준),설문 구조의 논리적 흐름,선택지의 상호 배타성(겹치지 않고 모든 경우를 포괄하는지)입니다.
문항 하나를 완성했다고안심할 일이 아닙니다.
예비조사로 한 번 더 걸러내는 것,이것이 본조사에서되돌릴 수 없는 오류를 막는 방법입니다.
석사논문 설문지 작성은 문항을 쓰는 일이 아니라,
연구모형과 변수, 척도를 먼저 확정하는 일에서 시작됩니다.
연구모형, 변수명, 설문 초안을 보내주시면
문항 구성과 척도 적합성을 검토해드릴 수 있습니다.
#석사논문설문지#석사논문설문지작성방법#논문설문지문항구성#리커트척도설문지#논문설문지#설문지문항구성#조작적정의#예비조사#파일럿테스트#석사논문컨설팅#석사학위논문#대학원논문지도#논문작성컨설팅#SKY논문통계연구소#skybrain
▶ 석사/박사논문 컨설팅 자세히 보기