공기 청정기를 교실에 도입하면, 시험 점수가 오른다?

"공기 청정기를 도입 한 학교의 학생들은 성적이 향상됐다"라고하는 놀라운 연구 결과가, 2020년 1월에 발표되었다. 이 연구의 내용에 대해서, 컬럼비아 대학 응용 통계 센터에 근무하는 통계 학자 앤드루 겔만 교수가 해설을 했다고하는데....



2015년 10월 23일에, 캘리포니아 주 샌페르난도 밸리의 천연 가스 저장 시설에서 가스 누출이 발생. 이 소동을 계기로 가스 누출을 일으킨 시설로부터 5마일(약 8km)거리에 있는 모든 학교 교실에 굥기 청정기가 설치되었다.


뉴욕 대학의 경제학 교수 인 마이클 길렌 씨는, 공기 청정기를 설치한 학교에 다니는 학생의 성적 추이를 조사하고, "Air Filters, Pollution and Student Achievement"라는 논문을 2020년 1월에 발표. 




길렌 씨는 논문에서 "비 연속 회귀 디자인을 사용하여, 공기 청정기를 도입 한 학교의 학생들의 성적 데이터를 분석 한 결과, 성취도가 크게 향상되었고 수학과 영어 성적이 올랐다"라고 보고하고, "공기 청정기의 설치는 학생들의 성적을 올리기위한 매우 비용 효율적인 개입"이라고 주장하고 있다.



이 논문 내용을 외신 Vox가 보도하여, 길렌 씨의 발표 내용은 큰 화제가되었다.


그러나, 이 논문에 대해, 겔만 교수는 자신의 블로그에서 "논문의 링크를 클릭했지만 믿을 수 없습니다. 대기 오염과 뇌가 어떻게 관계하고 있는지 전혀 모릅니다만, 에어 필터가 이 테스트의 성적을 크게 향상 시켰다고 할 수는 없으며, 문제의 연구가 주장의 근거를 제공하고 있다고는 생각하지 않습니다"라고 이의를 제기했다.




다음은 수학(상)과 영어(아래)의 성적 추이를 나타낸 그래프로, 세로축은 성적의 표준 편차의 변화, 가로축은 가스 누출이 발생한 시설에서 학교까지의 거리를 나타낸다.


via https://statmodeling.stat.columbia.edu

그러나, 겔만 교수는 "그래프에서 직선과 곡선을 제거하고 시험 점수와 학교 간의 차이를 볼 경우, 그리 놀라운 것은 없습니다"라고 말하고, 샘플수가 적기 때문에 이 데이터 분석으로는 충분한 결론을 도출 할 수 없다고 지적했다.


또한, 비 연속 회귀 디자인으로 데이터를 분석 한 것에 대해 "다루고있는 문제의 맥락을 생각하면, 너무 의미가 없습니다"라고 겔만 교수는 말하고, "나의 주장에서 중요한 점은 "공기 청정기에 의해 성적이 향상되었다는 결론이 잘못되어있다"라는 것이 아니라 "제시된 분석이 그 주장을 나타내는 근거가 없다"는 것입니다"라고 언급했다.


겔만 교수는, 이 논문을 다룬 Vox의 기사가 오해의 소지가 있다고 말하며, "작은 연구에서 아무런 성과도 얻을 수 없다는 결과가 나온것으로, 그 연구를 그만두는 이유로는 되지 않습니다. 하지만, 그 작은 연구를 기사에 쓸것이라면, 실제로는 성과를 얻지 못했다는 것을 사실적으로 적어야한다"라고 말하고있다.