패널데이터·DID 분석논문 심사에서 자주 지적되는통계분석 문제
안녕하세요~sky논문통계연구소입니다.오늘은 저희 고객님들 중에한 사례를 소개할까 합니다.고객님 중 한분은DID 분석을 처음 논문에적용했을 때심사위원으로부터"평행추세 가정 검증이 없다"는코멘트를 받고연락 주신 분이 있으셨는데요,방법론 교과서에도나와 있는 내용인데,막상 논문을 쓸 때는많이들 놓치게 되시죠.SKY논문통계연구소에서지금까지 수많은 패널데이터·DID 논문을 검토하면서반복적으로 등장하는심사 지적 유형들이 있습니다.오늘은 그 중에서도실제로 가장 많이 걸리는 문제들을솔직하게 정리해보려 합니다.
1. "평행추세 가정, 그냥 넘어가셨죠?"
DID를 쓰는 연구자라면누구나 알고 있는 가정입니다.처치군과 통제군이개입 이전 시점에동일한 추세를 따랐어야 한다는 것.그런데 막상 논문에는"두 집단은 처치 이전유사한 추세를 보였다"고한 줄 서술하고 끝내는 경우가정말 많습니다.심사위원 입장에서는당연히 묻게 됩니다.
Event Study Plot으로처치 전 각 연도의계수를 시각화하거나,Placebo Test로가상의 처치 시점을설정해서 효과가나타나지 않음을 보여줘야 합니다.그래프 하나가열 줄의 설명보다 훨씬 설득력 있습니다.
2. Hausman 검정 결과, 논문 어디에 있나요?
고정효과(FE)를 쓸지,확률효과(RE)를 쓸지선택하는 건 패널 분석의기본 중 기본입니다.그런데 그 선택 근거를본문에 명시한 논문이생각보다 많지 않습니다."고정효과 모형을 적용하였다"는문장만 있고,왜 그 모형을 선택했는지설명이 없으면심사에서 꼭 짚고 넘어갑니다.Hausman Test 결과를표로 제시하고,귀무가설 기각 여부와 함께모형 선택 이유를한 문단으로서술해두는 것만으로도이 지적은 충분히예방할 수 있습니다.별거 아닌 것 같지만,없으면 티가 납니다. 😅
3. 표준오차 클러스터링, 혹시 빠뜨리셨나요?
패널데이터는같은 개체를 반복 관측하는구조이기 때문에오차항 사이에자기상관이생길 수밖에 없습니다.이걸 무시하고일반 OLS 표준오차를그대로 쓰면 유의성이과대평가될 수 있어요.실제로 클러스터표준오차를 적용했더니유의했던 변수가유의하지 않게바뀌는 경우도 있습니다.심사위원들이이 부분을 민감하게 보는이유가 여기 있습니다.개체(id) 수준 또는시간(year) 수준의Clustered Standard Error를적용하고,결과표 하단에 명시해주세요.클러스터 수가30개 미만으로 적다면Bootstrap 표준오차적용 여부도 함께검토하시길 권합니다.
Staggered DID 문제요즘 심사에서부쩍 많이등장하는 지적입니다.정책 도입 시점이집단마다 다른 경우,전통적인 TWFE(Two-Way Fixed Effects) 추정이편의를 가진다는 사실이계량경제학계에서활발하게 논의되고 있거든요.Callaway & Sant'Anna(2021),Sun & Abraham(2021) 같은 논문들이이 문제를 정면으로 다루고 있는데,심사위원 중 계량 전공자라면반드시 언급합니다.모든 논문에서이 방법론을다 적용할 필요는 없지만,적어도 방법론 절에서이 한계를 인식하고 있다는서술은 있어야 합니다.그리고 여건이 된다면강건성 분석에서대안 추정량을 함께 제시하면훨씬 탄탄한 논문이 됩니다.
이건 패널데이터·DID 논문만의 문제가아니지만DID에서는특히 더 중요합니다.통제변수가처치 이후에 영향을 받는 변수,즉 매개변수(mediator)일 경우오히려 포함하면안 된다는 원칙이 있습니다.예를 들어특정 정책 도입이고용률에 미치는 효과를분석하면서,정책 이후 함께 변할 수 있는임금 변수를 통제변수로 넣으면인과 경로를막아버리는 셈이 됩니다.각 통제변수를 왜 포함했는지선행연구 근거와 함께명시하고,처치 이후변동 가능성이 있는 변수는민감도 분석에서따로 다루는 방식이 안전합니다.
6. 결과 하나만 달랑 제시하면 심사위원은 불안합니다
분석 결과가 아무리 좋아도,그 결과가 특정 표본 구성이나모형 설정에만 의존한다면신뢰성 있는 논문으로보기 어렵습니다.심사위원들이강건성 분석을 요구하는 이유가바로 이겁니다.표본을 다르게 구성해봤을 때도,모형을 바꿔봤을 때도결과가 크게 달라지지 않는다는 것을보여줘야 합니다.PSM-DID,합성통제법(Synthetic Control), Placebo Test 중논문의 맥락에 맞는 방법을하나라도 추가해두면심사 통과 가능성이확연히 높아집니다.
패널데이터 DID 심사 지적은결국 "당신의 분석 설계를얼마나 꼼꼼하게고민했는가"에 대한질문입니다.분석 자체가잘못된 게 아니라,그 과정을 독자와 심사위원에게충분히 설명하지 않아서생기는 경우가 대부분입니다.논문을 쓰다 보면결과에만 집중하게 되는데,사실 심사를 통과하는 논문은방법론 절이 탄탄한 논문입니다.오늘 정리한 여섯 가지,제출 전에 한 번씩 꼭체크해보시길 바랍니다.패널데이터·DID 분석논문 심사에서 자주지적되는 통계분석 문제,혼자 해결하기 어렵다면SKY논문통계연구소와함께 검토해보세요.
패널데이터·DID 분석논문 심사에서 자주 지적되는통계분석 문제를사전에 점검하고대응 전략을 세우는 것,생각보다 훨씬큰 차이를 만들어냅니다.
현재 원고, 심사의견서,분석결과표,투고 예정 학술지를 보내주시면게재 가능성과 보완 범위를검토해드릴 수 있습니다.
#패널데이터DID심사지적#패널데이터분석#DID분석#이중차분법#논문심사#KCI논문#SSCI논문#Scopus#학술지심사#심사의견대응#평행추세가정#고정효과모형#확률효과모형#Hausman검정#클러스터표준오차#StaggeredDID#TWFE#강건성검증#PlaceboTest#논문통계#계량경제학#패널회귀분석#논문컨설팅#통계분석컨설팅#학술논문#논문투고#재투고전략#SKY논문통계연구소#논문수정#게재가능성참고문헌Callaway, B., & Sant'Anna, P. H. C. (2021). Difference-in-differences with multiple time periods.Journal of Econometrics, 225(2), 200–230.Sun, L., & Abraham, S. (2021). Estimating dynamic treatment effects in event studies with heterogeneous treatment effects.Journal of Econometrics, 225(2), 175–199.Hausman, J. A. (1978). Specification tests in econometrics.Econometrica, 46(6), 1251–1271.Bertrand, M., Duflo, E., & Mullainathan, S. (2004). How much should we trust differences-in-differences estimates?The Quarterly Journal of Economics, 119(1), 249–275.Angrist, J. D., & Pischke, J. S. (2009).Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press.Wooldridge, J. M. (2010).Econometric Analysis of Cross Section and Panel Data(2nd ed.). MIT Press.Goodman-Bacon, A. (2021). Difference-in-differences with variation in treatment timing.Journal of Econometrics, 225(2), 254–277.
