Jennifer Raff의 블로그는 최근에야 알게 되었는데 자기 연구 분야에 대해 공유하는 포스트가 인상적인 내용이 많았다. 또한, 연구 분야 외에도 비전문가를 위해 논문을 읽고 분석하는 방법을 제시하면서 실제로 그 과정을 보여주는 포스트도 인상 깊었다. 이 포스트는 Jennifer의 How to read and understand a scientific paper: a guide for non-scientists를 번역한 글이다. 글에서 언급했듯 모든 내용을 동의하지 않을지도 모르지만 논문을 읽어본 경험이 없다면 좋은 지침이 되리라 생각한다. 그리고 앞서 번역한 글과는 또 다른 접근 방식을 채택하고 있다. 모든 일이 그렇듯 한가지 방법만 있는 것이 아니므로 자기 상황에 맞는 방법을 전략적으로 참고하면 좋겠다.
지난주 포스트(예방 접종에 대한 진실: 당신의 의사가 구글 대학보다 더 많이 알고 있습니다)가 열띤 토론에 불을 지폈고, 댓글을 작성한 몇명은 이 글로 인해 자신이 작성한 논문에 대한 오류가 입증되기 때문에 나(그리고 다른 독자)를 설득하려 했다. 그 댓글을 읽고 자기 생각을 덧붙이라고 권장하기 전에, 토론을 해볼 만 한 더 큰 이슈에 초점을 맞춰보고 싶다. 무엇이 과학적 권위를 구성하는가?
이 이슈는 단순하게 즐거운 학술적 문제에 그치지 않는다. 과학이 잘못된 방향으로 가는 것은 실제로 매우 중대한 문제다. 예를 들면, "독소"에 대한 두려움과 기도로(또는 식이요법, 운동, 그리고 "청결") 질병의 감염을 예방할 수 있다는 생각으로 커뮤니티가 아이들에게 예방 접종을 하지 않았을 때, 문제는 폭발적으로 나타나게 된다.
"회의적으로 접근하라. 하지만 증거를 찾는다면, 증거를 수용해라." – Michael Specter
충분한 증거를 구성하는 것은 무엇인가? 이 질문에 대해서는 모두 다른 답을 갖고 있다는 것은 명백하다. 하지만 과학적 주제에 대해 제대로 된 교육을 받은 의견이 형태를 갖추기 위해서는, 해당 영역에서 진행되는 현재 연구와 친숙해질 필요가 있다. 그러기 위해서 "주요 연구 논문(primary research article)" (종종 "문헌" 이라 불리는) 을 읽어야 한다. 이전에 과학 논문을 읽어봤다면 난해하고 허풍스런 문체와 익숙지 않은 용어에 좌절한 경험이 있을 것이다. 나도 같은 경험에 대한 기억이 있다. 연구 논문을 읽고 이해하는 것은 모든 박사와 과학자가 학부 시절에 습득하는 기술이다. 어떤 기술이든 인내와 연습으로 얻을 수 있는 것처럼 당신도 이 기술을 배울 수 있다.
나는 사람들이 더 많이 과학적으로 문헌에 기반을 둔 의견을 낼 수 있도록 돕고 싶다. 그래서 비전문가라도 어떻게 과학적 연구 논문을 읽고 이해하는데 어떻게 접근해야 하는지에 대해 안내하기 위해 이 글을 작성했다. 이 글은 과학이나 의학에 배경이 전혀 없는 사람에게 적합하다. 또한 독자가 논문에 대한 기초적인 이해와 그 연구가 제대로 된 연구인지 아닌지에 대한 결정을 내릴 수 있는 것으로 가정하는 것을 기본으로 한다.
여기서 이야기하는데 인용하고자 하는 과학 논문은 주요 연구 논문이다. 이 논문은 특정 질문(또는 질문들)에 대한 새로운 연구로, 상호 비평(peer-reviewed)을 받은 보고서에 해당한다. 또 다른 유용한 형태의 출간문은 **비평 논문(review article)**이다. 비평 논문 또한 교차 평가를 받았고 새로운 정보를 제시하기보다는 여러 주요연구문헌의 결과를 요약해 어떤 합의와 논쟁, 결론 없는 질문이 이 분야에 있는지 요약한다. (여기서 이 내용에 대해 더 많이 작성하진 않지만 비평 논문을 읽을 때는 주의해야 한다. 이런 논문은 출간 당시의 상황을 기준으로 하기 때문이다. 2003년에 출간되어 2001년에 연구된 연구를 비평한 내용을 2013년에 읽는다면 아주 유용하지는 않을 것이다. 대부분의 연구는 비평 논문이 발표된 그해에 이미 그 연구 내용을 대부분 변경한다.)
시작하기 전에: 몇 가지 일반적인 조언
과학적 논문을 읽는 것은 과학에 대한 블로그나 신문기사를 읽는 것과는 완전히 다른 과정이다. 단순히 다른 순서로 정리된 섹션을 읽는 것뿐만 아니라 읽으며 필기하고, 여러 번 반복해서 읽고, 더 자세한 내용을 보기 위해 다른 논문도 아마 살펴봐야 할 것이다. 처음에는 논문 하나 읽는데도 시간이 오래 걸린다. 인내심을 가져라. 경험이 늘어날 때마다 이 과정은 더욱 빨라진다.
대다수의 주요 연구 논문은 초록(Abstract), 서론(Introduction), 절차, 결과, 그리고 결론/해석/토론으로 구성된다. 이 순서는 어느 저널에서 출간하느냐에 따라 달라진다. 어떤 저널에서는 연구에 대한 중요 내용이 포함된 추가 파일을 요구한다. (온라인 정보 부록 Supplementary Online Information 이라 부른다.) 만약 이런 저널에 온라인으로 출간할 때는 논문에 포함되어야 한다. (이 파일을 건너뛰지 않도록 주의해야 한다.)
논문 읽기를 시작하기 전에 저자와 협회를 기록한다. 협회에 따라 제출자를 잘 존중하기도 하지만 (e.g. University of Texas) 어떤 협회는 법적으로는 연구 협회지만 실제로는 의제 중심인 경우도 있다. (e.g. Discovery Institute) 팁: "Discovery Institute"를 구글에서 검색해보면 여기에서 나온 논문이 진화론과 관련해 과학적 권위를 갖기 어렵다는 사실을 알 수 있다.
또한, 저널이 어디에서 출간되었는지도 기록한다. 좋은 평판의 (생물의학) 저널은 Pubmed와 같은 곳에 색인이 있다. 물론 생물의학 저널이 아니라면 Pubmed에 없다. 더 넓은 과학 영역에서의 저널 색인은 Web of Science에서 확인할 수 있다. 불확실한 저널은 주의한다.
읽는 동안, 이해할 수 없는 __모든 단어__를 적고 확인해봐야 한다. (그렇다, 모든 단어다. 이게 완전 고통스럽다는 것은 잘 알고 있다. 하지만 어휘를 이해하지 못하면 이 논문을 이해할 수 없다. 과학에서 쓰이는 어휘는 극단적으로 정확한 의미를 담고 있다.)
주요 연구 논문을 읽는 단계별 방법
초록이 아닌 서론부터 읽기 시작한다
초록은 밀도 높은 첫 단락으로 논문에서 가장 앞에 위치한다. 많은 비과학자가 논문에서 이 부분을 먼저 읽고 과학적인 논의를 시작한다고 하는 경우가 종종 있다. (최악의 관례다. 절대 하지 말아야 한다.) 나는 읽기 위한 논문을 고를 때, 제목과 초록의 조합에 기초해 내 흥미와 연관성이 있어 보이는 논문을 고른다. 하지만 깊게 읽기 위해 조합된 여러 논문 묶음이라면, 나는 항상 초록을 가장 __마지막__에 읽는다. 이런 방식을 사용하는 이유는 초록이 전체 논문의 내용을 간결하게 요약한 것으로 이것을 먼저 읽는 것으로 연구 결과에 대한 저자의 해석을 무의식중에 택하게 되는 경우가 발생할지도 모른다는 우려 때문이다.
큰 질문을 확인한다
"이 논문은 무엇에 대한 것인가" 식의 질문이 아니라 "이 전체 영역에서 해결하려고 하는 문제는 무엇인가"에 대해 질문해야 한다.
이 질문은 왜 이 연구가 수행되는가 하는 점에 초점을 맞출 수 있다. 주제에 대한 연구에 어떤 동기부여가 있었는지 그 증거를 자세히 확인한다.
다섯 문장 또는 그보다 적게 논문의 배경에 대해 요약한다
여기 도움이 될 만한 질문이 있다:
이 분야에서 큰 질문에 답변하기 이전까지 완료된 연구는 무엇인가? 그 연구에서의 제약은 무엇인가? 저자에 따르면 다음 완료되어야 할 연구는 무엇인가?
이 다섯 가지 질문에 대한 것은 좀 제멋대로인 경향이 있지만, 연구의 맥락에 대해 생각하게 하고 간결하게 접근할 수 있도록 강제성을 준다. 연구를 이해하기 위해 왜 이 연구가 완료되었는지에 대해 설명할 수 있어야 한다.
세부적인 질문을 확인한다
저자가 이 연구를 통해 정확히 답변하고자 하는 것은 무엇인가? 이 질문엔 여러 답이 있을 수도 있고 단 하나의 답이 있을 수도 있다. 그 질문을 적어본다. 만약 그 연구를 한번 또는 그 이상 점검해서 비어있는 가설(귀무가설)이 있는지 확인한다.
_비어있는 가설_이 어떤 의미인지 확신이 없다면 이 글을 읽어본다. 내가 앞서 작성한 포스트에서 언급한 글(이런 글)을 읽고 어떤 부분이 비어있는 가설인지 확인한다. 물론 모든 논문에 대해서 비어있는 가설을 확인할 필요는 없다는 사실을 기억하자.
접근 방식을 확인한다
저자가 세부적인 질문들에 대해 어떻게 답변하려고 하는가?
이제 절차(methods)를 읽는다. 각각의 실험에 대한 다이어그램을 그리고 저자가 정확히 무엇을 했는지 표현한다.
내 뜻은 말 그대로 그림을 그려야 한다. 그 연구에 대해 완전히 이해할 수 있을 만큼 세부적인 내용을 포함한다. 다음 그림은 내가 오늘 읽은 논문의 절차를 그림으로 그린 것이다. (Battaglia et al. 2013: “The first peopling of South America: New evidence from Y-chromosome haplogroup Q”) 이 그림은 물론 당신이 필요로 하는 것보다 훨씬 적은 내용을 담고 있는데 이 논문은 내 분야에 해당하고 나도 이런 절차를 항상 사용하기 때문이다. 하지만 만약 이 내용을 읽다가 "네트워크를 통해 감소-미디안 절차로 데이터를 처리한다"가 무슨 의미인지 모른다면 찾아봐야 한다.
이 연구의 세부적인 내용에서 반복적으로 사용되는 절차에 대해 이해할 필요는 없다. 그 일은 논문 리뷰어가 해야 하는 일이다. 하지만 기초적인 절차에 대해 다른 사람에게 설명할 정도가 되지 않는다면 결과를 읽을 준비가 되지 않은 것이다.
결과를 읽는다. 각각의 연구, 수치 그리고 표에서 나타나는 결과를 하나 또는 그 이상의 문단으로 요약한다. 아직 그 결과가 어떤 의미가 있는지 정하지 않아도 된다. 그 결과가 무엇인지에 대해서만 작성한다.
일반적으로 좋은 논문이라면 가장 결과의 중요한 부분은 수치와 표에 요약되어 있다는 점을 찾을 수 있을 것이다. 이 부분을 유의해서 보자. 몇 결과를 확인하기 위해서 온라인 정보 부록을 확인해야 할 수도 있다.
만약 이 논문에서 사용된 통계적 질의에 대해 이해할 수 있는 충분한 배경지식이 없다면 이 부분이 어려워질 수 있다. 이 포스트에서 통계에 대해 가르칠 수 없지만 다음 글(1, 2, 3)에서 기초적인 부분을 배울 수 있을 것이다. 이 내용에 대해 친숙해질 것을 강력하게 권한다.
결과에서 주의깊게 봐야 할 부분
-
"유효한 significant"나 "유효하지 않은 non-significant" 같은 표현은 언제든 사용할 수 있다. 이 단어는 명확한 통계적 의미를 담고 있다. 이 내용은 이 글을 참고한다.
-
그래프가 있다면 거기에 오차 막대가 포함되어 있는가? 특정 분야 연구에서는 자신감 결여로 큰 차이가 발생하는데 주요한 적신호로 볼 수 있다.
-
표본 규모. 이 연구의 대상이 10명인가, 10,000명인가? (연구 목적에 따라 10명 규모의 표본도 충분할 수 있지만, 대다수의 연구는 많을수록 좋다.)
결과를 활용해 세부적인 질문에 답할 수 있는가? 결과의 의미가 무엇이라고 생각하는가?
이 부분에 대해 생각하기 전까지 다음으로 넘어가지 말아야 한다. 저자의 해석에 따라 자기 생각을 바꿀 생각이라면 괜찮다. 이런 분석에 관해 초보자라면 이 고민 없이 넘어갈 것이다. 하지만 다른 사람의 견해를 읽기 전에 자기 자신의 해석을 형성하는 것은 정말 좋은 습관이다.
결론/토론/해석 섹션을 읽는다.
결론에 대해 저자는 어떻게 __생각__하는가? 저자의 주장에 동의하는가? 저자의 해석에 대해 어떤 __대안__이 있는가? 저자의 그 연구에서 확인할 수 있는 약점이 없는가? 저자가 놓친 부분은 없는가? (절대 틀릴 일 없다고 가정하지 않는다!) 다음 단계에 대해 어떤 제안을 하는가? 그 제안에 대해 동의하는가?
이제 처음으로 돌아가서 초록을 읽는다.
저자가 논문으로 얘기하는 부분과 초록이 일치하는가? 논문을 읽고 생각한 해석과 초록이 일치하는가?
마지막 단계: (이 단계를 등한시하지 말 것) 다른 연구자가 이 논문에 대해 어떻게 이야기 하는가?
(자칭이든 타칭이든) 이 분야에서 전문가는 누구인가? 그 전문가가 이 연구에 대해서 비평할 때 이런 식으로 생각해본 적이 없다고 하는가 아니면 전반적으로 지지하는가?
개인적으로 추천하는 방법은 구글을 활용하는 것이다. 하지만 이 과정은 마지막에 해야 한다. 그래서 다른 사람들이 어떻게 생각할지 비판적으로 생각하고 미리 준비할 수 있게 된다.
그리고 이 단계는 어떤 분야의 논문을 읽는가에 따라 다른 부분이다. 나에게는 아주 중요하다! 인용된 문헌을 확인해서 저자가 어떤 논문을 인용했는지 확인한다. 이 과정은 이 분야에서 중요한 논문을 알 수 있게 된다. 그리고 내 글이 인용되었는지 확인할 수 있... 이건 농담이다. 이 과정으로 유용한 아이디어, 기술의 원천을 찾는 데 도움이 된다.
이제 더 큰 일에 도전할 수 있게 되었다. 다음 주에는 쟁점이 많은 논문을 읽을 때 위 방법을 활용해보자. 어떤 식으로 읽고 싶은가? 지난주에 게시한 논문을 함께 읽고 비평해보는 것도 좋을 것 같다. 만약 예제를 보고 싶으면 예제: 어떻게 예방접종 안전에 대한 연구를 읽는가를 확인한다.
감사하게도 논문을 어떻게 비평적으로 읽고 분석하는가에 대한 방법을 José Bonner, Bill Saxton 교수님께 배울 수 있었다. 이 방법을 배울 기회가 있던 것은 영광이었다.
추가하고 싶은 조언, 전혀 다르지만, 더 낫다고 생각하는 방법이 있거나, 추가적인 질문, 다른 유용한 자료가 있다면 댓글을 남겨주기 바란다.