티스토리 뷰
트위터를 보다보면 매 학기초 시즌마다 꾸준히 올라오는 유형의 글이 있는데, '조별과제를 하는데 조원이 발표자료 레퍼런스로 위키피디아나 꺼라위키 (...) 같은걸 달아놔서 답답해 죽겠다, 제발 RISS든 DBpia든 논문 사이트 좀 찾아볼 생각을 해라' 류의 글이다.
물론 글이나 발표자료에 대한 레퍼런스를 달 때 위키류 사이트나 뉴스, 블로그가 아니라 논문이나 공신력 있는 기관의 화이트페이퍼 같은 것을 쓰는게 일반론적으로 맞는 얘기긴 하다.
그렇지만 대학원을 다녀본 입장에서 그런 얘길 보고 있자면 가끔은 이 사람들이 논문이라는 매체를 과대평가 (?) 하고 있는게 아닌가라는 생각을 하게 된다. 모든 논문이 지적인 이상을 추구하고 엄격한 실험 과정과 리뷰를 통해 탄생한 것이 아니며, 오히려 현실적인 여건상 그 반대인 경우가 꽤 많다는 것을 알고 있기 때문이다.
이 글에서는 내가 겪었고 봐왔던 것들을 토대로, 국내 공대 대학원을 기준으로 논문이 어떤 과정을 거쳐 만들어지며, 퀄리티가 떨어지는 논문이 양산되는 이유에 대해서 손 가는대로 써보려고 한다.
1) 대학원 연구실의 구조
공대 대학원은 대체로 연구실 (Lab) 체제로 돌아간다. 교수가 자기 전공분야를 주제로 연구실을 차리면 그 밑에 대학원생 (박사과정이나 석사과정) 이 들어가고, 그 외에 대학원생들을 컨트롤하거나 연구를 보조하는 사람들 (흔히 포닥이라 불리는 박사후 과정, 조교수 등) 이나 행정적인 일을 도맡아 하는 사무원이 있는 경우도 있다.
연구실 체제 하에서 풀타임 대학원생은 사실상 학생이라기보단 회사원에 가깝다. 물론 비-연구실 체제로 돌아가는 대학원의 학생들과 마찬가지로 대학원 커리큘럼에 따른 수업을 듣기도 하지만, 그 비중은 높지 않다. 수업이 있거나 조교를 들어가는 시간을 제외하고 출근시간부터 퇴근시간까지 연구실에서 일하는 것이 기본이다.
사실상 회사라고 했으니 대학원생을 포함해서 연구실에서 일하는 사람들은 보통 돈을 받는다. 그렇지만 정말로 법적으로 회사인 건 아니라서, 최저임금제가 적용되진 않기 때문에 돈을 안 받거나 쥐꼬리만큼 받으면서 일할 수도 있다. 웃기게도 대학원생에게는 최저임금이 아니라 최대임금제 (...) 가 적용된다. 국가과제로 받을 수 있는 인건비를 기준으로 석사과정은 최대 월 180만원, 박사과정은 최대 월 250만원이다.
돈은 어디서 나오는가 하면 프로젝트를 따온다. 위에서 국가과제라고 했는데 그게 뭐냐면, 한국연구재단이라는 기관에서 매년 과제 공고를 내면 연구실에서 프로젝트 제안서를 써서 제출하고 그게 붙으면 돈을 받고 해당 과제를 수행하게 된다. 또는 기업과제라고 해서 기업으로부터 돈을 받고 수행하는 과제도 있다. 국가과제는 연구재단의 설립 취지상 논문이나 특허와 같은 연구적인 성과를 추구하는 편이고, 기업과제는 아무래도 기업은 돈이 돼야 하다보니 뭘 실제로 개발하는 게 목표인 경우가 많다.
이런 과제에서 나오는 연구비, 대학원 지원사업을 통한 장학금, 그리고 학교에서 가지고 있는 추가적인 과제나 정책 등을 통한 지원금을 합쳐서 연구실을 운영하게 된다.
2) 국가과제의 목표: 논문 실적 채우기
제안서를 열심히 써서 국가과제를 따왔다. 연구재단 입장에선 돈을 받았으면 결과를 내놓으라고 할 것이다. 당연히 연구비를 받았는데 아무것도 안 하면 문제가 된다. 5년짜리 과제라 치면 매 년마다 연구내용과 실적에 대한 보고서를 써서 내야하고, 중간에 큰 문제가 생기면 과제가 잘릴 수도 있다. 다 끝난 뒤에도 연구재단이 판단하기에 결과가 미흡하다고 생각되면 그 연구실이 차후 다른 국가과제에 지원할 때 페널티를 매길 수도 있다.
그럼 무엇을 기준으로 프로젝트 결과를 평가하는가? 위에 살짝 써놨지만 논문과 특허의 수다.
조금 더 자세히 얘기하면 논문은 SCI 논문과 일반논문으로 구분하고, 특허는 출원과 등록으로 구분한다. SCI (Science Citation Index) 라는 것은 과학/공학 분야의 저널 (논문집) 을 모아놓은 리스트인데, 모든 저널이 다 SCI에 올라가는게 아니라 어느정도 수준이 되는 저널들이 올라간다. 쉽게 말하면 SCI 논문을 써야 더 인정받는 것이고 가치가 있다.
특허의 경우 출원 -> 등록의 절차를 밟게 되는데, 출원은 변리사한테 돈 주고 리뷰만 받으면 대체로 가능하지만 등록은 좀 더 조건이 까다롭다.
문제는 제안서를 쓸 때 실적 목표치를 써야한다는 것이다. 아직 과제가 시작하지도 않았는데 1년차에는 논문 몇 편, 2년차에는 논문 몇 편을 쓰겠다고 제안서에 써놔야 한다.
계획대로 되면 참 좋겠지만 현실은 그렇지 않다. 제안서 쓸 땐 이러이러한 기술을 써서 이렇게 하면 될 것 같다고 나름 열심히 조사를 해서 써놨지만 막상 실제로 해보면 그렇게 안 되는 경우가 많다. 그럼 연구 방향을 틀어야 하고 실험도 다시 해야 한다. 시간이 걸린다. 논문을 써도 바로바로 실리는 게 아니다. 저널은 심사 과정이 있기 때문에 국내 저널만 해도 결과 통보를 받는데만 한두달, 실제로 실리기까지는 세달 이상이 걸리는 경우가 부지기수고 해외 저널의 경우 1년 넘게 걸리기도 한다.
그렇지만 "연구하다가 이러이러한 문제점이 있어서 실적을 목표치만큼 못 냈다" 라고 보고서에다 써서 낼 수는 없다. 어떻게든 채웠다고 써야 한다. 그러려면 저자 본인이 보기에도 논문에 결함이 많아도, 실험 결과가 제대로 통제되지 않은 환경에서 나왔거나 심지어 조작된 것이라 해도, 눈 감고 내야하는 것이다.
3) BK 사업: 논문 실적으로 학교와 연구실을 평가한다
대학원을 지원하는 국가 사업 중에 대표적인 것으로 BK21 사업이라는게 있다. BK는 아마 Brain Korea의 약자였던가 그랬던 것 같다. 내용은 연구실의 규모와 실적에 따라서 장학금을 지급하는 것이다. 연구실에서 따온 프로젝트만으로는 인건비를 충분히 지급하기 어려울 수 있는데 부족한 인건비를 이 장학금으로 메꿀 수 있다는 점에서 대학원생의 생계에 도움이 되는 정책이라 할 수 있다.
그렇지만 이 BK 사업도 정량적인 논문 실적 평가를 하기 때문에, 결국 위에서 얘기한 것과 같은 문제가 생긴다. 심지어 실적이 안 좋으면 연구실이 아니라 학교 단위로 사업이 잘릴 수 있기 때문에 학교 레벨에서 압박을 넣기도 한다.
이런 사례도 있다. 실적을 평가할 때 해외 컨퍼런스랑 국내 컨퍼런스에 차등을 두는데, 해외 컨퍼런스에 논문을 내면 더 높게 쳐준다. 여기서 해외 컨퍼런스의 기준은 '구두발표 (Oral Session) 발표자 중 50% 이상이 외국 국적일 것' 인데, 이걸 악용해서 국내 기관에서 컨퍼런스를 외국에서 열고 일부러 오럴 세션 발표자의 정확히 50%를 외국인이 제 1저자인 논문으로 뽑는 (...) 경우를 본 적이 있다. 분위기나 수준은 사실상 국내 컨퍼런스지만 BK 사업 실적에는 해외 컨퍼런스로 써먹을 수 있게 되는 것이다.
컨퍼런스에 논문을 쓰면 일반적으로 그 심사 결과 점수에 따라 좋은 논문이 오럴 세션, 그렇지 않은 논문이 포스터 세션으로 뽑히는 것이 정상이지만 저 외국인 50% 기준을 맞추기 위해서 심사 결과가 조작되었을 것이라고 생각할 수 있다.
이 내용이랑 별개로 BK 장학금을 교수가 갈취해가는 경우도 있는데.... 대학원생 인권과 관련된 중요한 문제지만 이 글의 논점에서는 조금 벗어나니 그런 경우가 있다는 것만 언급해두고 넘어간다.
4) 논문 심사 과정: 교수는 일하지 않고 대학원생에겐 시간이 없다
결함 많은 논문을 찍어내면 심사 과정에서 걸리지 않겠느냐고 생각할 수 있지만 국내 논문이 그렇게 되는 경우는 별로 없다.
국내 저널에 논문을 내면 표면적인 심사 절차는 이렇다. 컴퓨터 분야에서 대표적인 학회인 정보처리학회를 예로 들면, 정보처리학회지라는 저널에 논문을 내면 정보처리학회 소속인 각 대학의 교수들 중 몇 명에게 논문을 보낸다. 그러면 그 교수가 논문을 읽고 심사해서 결과를 리턴해 주는데, 보통 국내 저널의 경우 어지간히 논문이 구린 게 아니라면 칼같이 거절하는 경우는 별로 없고 수정요청을 하거나 바로 붙여주거나 한다. 컨퍼런스도 절차는 비슷하다.
그렇지만 실제로는 교수가 아니라 대학원생이 논문심사를 하는 경우가 많다. 이유는 당연히 교수가 논문 읽고 피드백 해주기 귀찮으니까.... 대학원생도 당연히 귀찮다. 안그래도 꾸준히 해야 하는 자기 일도 많은데 갑자기 교수가 나타나서 "이거 심사 좀 해줘" 하면 짜증이 난다. 그렇기 때문에 논문을 자세히 검토하지 않고 눈에 띄는 오타 같은 것만 교정해서 보내주곤 한다. 그러면 당연히 큰 문제점은 없는 것이라고 판단한 것이기 때문에 그대로 논문이 되고 저널이나 컨퍼런스 논문집에 실린다. 사실 자세히 검토한다고 해도 자기 분야가 아닌 이상 대학원생한테 얼마나 전문성이 있다고... 제대로 된 심사라고 보기 어려울 것이다.
내가 이런 글을 쓸 수 있는 것도 내가 그런 논문 심사를 여러 번 해봤고 그 과정에서 정말 기본조차 안된 떨어뜨리고 싶은 논문도 종종 본 적이 있기 때문이다....
저널이나 컨퍼런스 논문 말고 학위논문이라는 것도 있다. 다른 표현으로는 졸업논문이다. 언뜻 생각하면 석사를 기준으로, 2년동안 연구했던 것의 정수를 담은 결정체이니만큼 퀄리티가 좋을 것이라고 생각할 수도 있다.
하지만 실제로는 다양한 변수가 있다. 연구실에 과제가 여러 개 있으면 2년동안 한 주제만 파는게 아니라 이것저것 해야 할 수도 있다. 예를 들어서 A라는 과제를 1년 반동안 해오다가 A 과제가 끝나버리거나 다른 동기랑 주제가 겹쳐서 마지막 졸업학기에 급하게 B라는 과제에 대한 주제로 졸업논문을 쓰게 되는 경우가 생길 수 있다. 게다가 일반 논문을 쓸때도 흔히 생기는, "이렇게 하면 될 것 같았는데 해보니 아니더라" 같은 사태가 졸업논문 발표를 눈앞에 두고 일어나는 경우도 흔하다. 그걸 바로잡겠다고 석사를 한 학기 더 하겠다? 그럴 사람은 없을 것이다. 교수들도 어지간하면 석사는 2년만에 졸업시키겠다고 생각하기 때문에 논문 심사가 별로 엄격하게 이루어지지도 않는다. 물론 박사과정은 얘기가 다르겠지만 나는 석사까지밖에 안했기 때문에 석사 기준으로 이야기하면 그렇다는 것이다.
5) 학계의 치부: 저널과 컨퍼런스는 장사다
이렇게 생각할 수도 있다. "허접한 국내 저널이나 컨퍼런스는 대충 써서 내도 되겠지만 위에 보면 SCI 논문도 내야 한다는데, SCI에 들어갈 정도의 저널이면 결국 충분한 시간을 들여서 열심히 연구를 해야 하지 않나요?"
반 정도는 맞는 말이다. 확실히 SCI 저널은 비-SCI 저널이나 작은 국내 컨퍼런스들보다는 엄격한 심사를 한다. 심사 과정에 대해서 간략하게 얘기하면 저널 에디터라는 사람이 있어서 제출한 논문을 먼저 확인한다. 에디터가 척 보기에도 논문이 너무 허접하다 싶으면 에디터 선에서 잘라버리기도 한다. 그 정도 수준은 아니라면, 에디터가 2명 이상의 리뷰어에게 논문을 보낸다. 리뷰어들이 논문을 심사해서 결과를 알려주는데 바로 Accept (통과) 가 되는 경우는 거의 없고, 수정 사항이 날아온다. 논문 전체를 관통하는 중대한 문제가 지적받은 경우를 Major Revision, 오타라던지 그림 수정같은 자잘한 요구를 받는 경우를 Minor Revision이라고 한다. 메이저든 마이너든 리비전 요청에 대해서 답을 해서 보내주면 재심사를 한다. 재심사 결과 Accept가 나올 수도 있지만 또 리비전이 날아오거나 Reject (탈락) 가 되는 경우도 있다.
근데 어떤 저널은 이런 절차를 형식적으로만 갖추고 있어서 사실상 내면 붙는 수준이지만 그 대신 터무니없이 비싼 게재료를 요구하는 경우도 있다. 막말로 돈 주고 SCI 실적을 살 수 있다는 것이다.
그런 경우가 아니라도 SCI 저널들은 보통 Accept가 나오더라도 바로 저널에 실리는게 아니라 밀린 다른 논문들이 있어서 대기를 하게 되는데, 돈을 더 내면 우선순위가 올라가는 경우도 있다. 이게 왜 필요하냐면 과제 기간 내에 인정받을 수 있는 실적이 나와야 하기 때문이다. 예를 들어서 5년짜리 국가과제인데 마지막 5년차에 SCI 논문이 Accept 됐다. 근데 저널에 밀린 논문이 많아서 내년쯤이나 되어야 실제로 저널에 실린다고 하면, 그땐 이미 과제가 끝나고 최종보고서를 작성한 이후다. 이럴 때 돈을 더 내면 올해 실리니까 실적으로 써먹을 수 있게 된다는 뜻이다.
컨퍼런스도 크게 다르지 않은데, 해외 컨퍼런스들을 보면 참가비가 엄청나게 비싼 경우가 많다. 참가비에 비하면 시설이 딱히 호화롭거나 밥이 잘 나오는 것도 아니다. 저널도 마찬가지지만 자기 돈 내고는 절대 참가하고 싶지 않을 것이다. 그렇게 엄청나게 비싼 참가비를 걸어놓고 배짱을 부릴 수 있는 것은 참가비가 개인의 돈이 아니라 과제, 연구비에서 나온다는 사실을 모두가 알고 있기 때문이다.
대학원과 학계의 이러한 문제점들은 사실 넓게 보면 그들만의 문제는 아니다. 실적과 결과물을 중시하고 보이는 실적에 급급해서, 마감 기한이 얼마 남지 않아서 일처리는 엉성하게 하고 돈으로 덮어버리는 것. 한국 사회 전체의 문제일 것이다(어쩌면 사람 사는 곳은 다 비슷할지도). 그렇기에 당장 이게 문제니 이렇게 바꿔야 한다는 결론을 내가 내리진 못하겠다. 나 역시 그런 사회의 일원으로서 수없이 그런 식으로 일처리를 해왔을 것이고, 내 논문도 그렇게 실렸을 것이고.
다만 간혹 학계에 대한 지나친 환상을 갖고 있는 사람들이 있다. 기업이야 돈에 찌들어서 그런다지만 대학원과 학계는 순수한 학문 추구의 장이고 논문은 그 결정체라고 생각할 수 있다. 현실은 그렇지 않다는 것을 얘기하고 싶다. 물론 모든 논문이, 연구자들이 다 그렇다는 것은 아니다. 일부가 그렇고, 환경이 그렇다는 것이다.