논문 통계분석 검토, 투고 전 스스로 할 수 없는 이유

안녕하세요sky논문통계연구소입니다
논문 통계분석 검토,투고 전 스스로 할 수 없는 이유는능력의 문제가 아닙니다.
“내가 분석했으니까내가 제일 잘 안다.”
맞습니다.그런데 바로 그게 문제입니다.
분석을 직접 한 사람은결과를 너무 잘 압니다.
어떤 숫자가 나와야 하는지이미 알고 있습니다.그래서 표를 볼 때 숫자를”읽는” 것이 아니라 “확인”합니다.

확인은 오류를 찾는과정이 아닙니다.
논문 통계분석 검토가투고 전에 필요한 이유입니다.

프린스턴대 Pronin et al.(2002)의연구는 “편향 맹점(Bias Blind Spot)”을 이렇게 설명합니다.
사람들은 다른 사람의 판단에서는편향을 잘 발견하면서,
자신의 판단에서는발견하지 못합니다.
자신이 어떻게 결정을 내렸는지알고 있기 때문에편향이 없었다고 믿습니다.
논문 통계분석 검토에그대로 적용됩니다.
내가 설계하고내가 분석한 결과를 내가 검토할 때,우리는 숫자를 읽는 게 아니라확인합니다.
이미 어떤 숫자가 나와야 하는지알고 있으니까요.틀린 숫자도 맞게 읽혀버립니다.

eLife에 게재된 연구(Makin & Orban de Xivry, 2019 / PMC6785265)는학술 논문에서 반복되는통계 실수 10가지를 정리했습니다.
놀라운 건 이 실수들이통계를 모르는 연구자가 아니라,알고 있는 연구자에게서도반복된다는 점입니다.
이유가 있습니다.논문 통계분석 검토 없이결과를 해석할 때,연구자는 자신이 기대했던 방향으로 읽게 됩니다.
유의한 결과는 강조하고,유의하지 않은 결과는무심코 덜 서술하게 됩니다.
이 선택들이 쌓이면심사위원이 잡아내는 지적이 됩니다.

계획했던 분석과 실제 논문 사이에서 벌어지는 일

Stanford, Bristol,King’s College London 연구팀의공동 연구(Ioannidis et al., 2014 / PMC4078993)는연구 계획서와 실제 게재논문 사이의 분석 방법 차이를추적했습니다.
계획서에 적어놓은분석과 논문에 실제로 보고한 분석이다른 경우가 드물지 않았습니다.
의도한 것이 아닙니다.분석 과정에서 자연스럽게 내린작은 선택들이 쌓인 결과입니다.
이 선택들이 적절했는지논문 통계분석 검토 없이혼자 판단하는 건 어렵습니다.

논문 통계분석 검토에서가장 자주 나오는 문제는 이겁니다.
본문에 적힌 수치와결과표의 수치가 다릅니다.
분석을 여러 번 반복하다 보면,본문을 먼저 쓸 때의 수치와최종 확정된 수치가어긋나는 경우가 생깁니다.
그런데 분석을 직접 한 사람은최종 수치를 이미 알고 있어서,본문을 읽을 때틀린 숫자를 맞게 읽어버립니다.
JAMA Network Open에게재된 논문에서도이런 이유로 게재 3주 만에정정 보고가 올라왔습니다.
심사위원도, 편집자도,저자도 보지 못한 것이었습니다.

그래서 언제 받는 것이 가장 효과적인가

분석이 완료되고결과표가 정리된 직후입니다.
논문을 완성한 후에논문 통계분석 검토를 받으면,결과표에서 문제가 발견됐을 때결과 서술, 논의의 해석,결론의 시사점까지연쇄적으로 수정이 필요합니다.
결과표 단계에서먼저 잡으면 원고 전체를처음부터 올바른 방향으로쓸 수 있습니다.
나중에 전체를다시 고치는 것보다훨씬 효율적입니다.

논문 통계분석 검토를혼자 하기 어려운 건실력의 문제가 아닙니다.
분석을 직접 한 사람이라는 것 자체가스스로 검토하는 데가장 큰 장애물입니다.
편향 맹점, 기대 방향으로의 해석,익숙해진 숫자에 대한 무감각.이것들은 누구에게나 생깁니다.
논문 통계분석 검토,투고 전 스스로 할 수 없는 이유.
논문 통계분석 검토,투고 전 스스로 할 수 없는 이유는분석을 직접 한 사람이라면누구에게나 해당되는 이야기입니다.

현재 분석결과표를 보내주시면게재 가능성과 보완 범위를검토해드릴 수 있습니다.

Makin, T. R., & Orban de Xivry, J. J. (2019). Ten common statistical mistakes to watch out for when writing or reviewing a manuscript.eLife, 8, e48175. PMC6785265.Ioannidis, J. P. A., et al. (2014). Publication and other reporting biases in cognitive sciences.Trends in Cognitive Sciences, 18(5), 235–241. PMC4078993.Pronin, E., Lin, D. Y., & Ross, L. (2002). The bias blind spot.Personality and Social Psychology Bulletin, 28(3), 369–381.JAMA Network Open. (2024). Errors in results and tables. PMC11061764.

#논문통계분석검토#논문분석자료검토#통계분석검토#논문투고전점검#통계분석#논문컨설팅#SKY논문통계연구소#논문전문가#연구자지원#논문심사#논문수정#학술지투고#효과크기#결과표검토#논문통계#학술논문#논문도움#게재전략#석사논문컨설팅#박사논문컨설팅#편향맹점#통계실수#논문상담#논문서론#연구방법론#첫투고#논문전환#논문교정#데이터검토#KCI논문