“대한민국의 연구자 평가 시스템은 피인용지수를 신봉한다.

객관적인 평가를 위한 독립적인 도구가 필요하다는 점에서 불가피한 측면은 있지만, 피인용지수에 대한 개별 연구자와 정책기관 공동의 성찰은 반드시 필요하다.”

과학자는 무엇으로 사는가? 밥도 돈도 중요하지만 상당수의 과학자는 자신의 연구가 높은 영향력을 갖기를 바라는 마음으로 살아갈 것이다. 그러다 보니 과학자들은 자신의 논문을 출판할 최적의 저널을 결정하기 위해 매년 클래리베이트의 피인용지수 발표에 귀를 기울인다. 

올해의 피인용지수는 지난달 28일에 발표되었다. 지난 한 해 동안 각 저널별 피인용실적을 반영한 지표였다. 클래리베이트의 내부 심사를 거쳐, 9천여 종의 새로운 저널이 SCIE급 학술지로 편입되었다. 이로써 SCIE급 학술지로 인정받아서 피인용지수를 부여받는 저널의 수는 2만1천500종을 상회하게 되었다. 

특히 올해의 피인용지수 평가에는 인문·예술계열 학술지의 모음인 A&HCI 학술지가 대거 신규편입됐으며, 융합 분야 학술지가 다수 포진해 있는 ESCI 학술지도 새로 인정을 받게 됐다. 결과적으로 현재 학술지의 피인용지수 시스템에 의해 집계되고 있는 학술지는 자연과학·공학 분야 1만3천668종, 사회과학 분야 7천123종, 그리고 예술·인문학 분야 3천248종에 달한다. 피인용지수를 부여받았다는 것은, 비로소 해당 학술지에 출판된 논문이 다른 연구자의 지적 활동으로 구성되는 생태계에 포착되기 시작했다는 뜻이 된다.

그런데 서로의 논문을 인용하는 행위를 정량화하겠다는 시도는 왜 이루어지기 시작했던 것일까? 학술논문의 분류·인용작업을 체계화하겠다는 시도는 이미 19세기부터 성행했던 것으로 보인다. 시카고의 출판사 세일즈맨이었던 프랭크 셰퍼드는 1875년 법조인을 대상으로 이전의 판례를 인용할 수 있도록 체계화한 법률 백과사전을 제작해 판매하기 시작했다. 그는 각각의 판례가 다른 판례에 의해 지지되거나 기각되는 사례도 추가적으로 수집해 각주를 단 개정판을 지속적으로 출간했다. 이윽고 미국 법조계에서 셰퍼드의 법률 가이드를 사용하지 않는 사람을 찾을 수 없을 지경이 되자, 그의 책에는 ‘셰퍼드 인용 체계’라는 이름이 붙여졌고, 그는 자신의 독립 회사를 차려 비즈니스를 확장하기에 이른다. 

과학자들이 법조인들의 인용체계에 관심을 기울이기 시작한 것은 20세기 중반의 일이었다. 1955년 『사이언스』에 실린 짧은 칼럼에서 화학자 유진 가필드는 체계적인 학술정보 분류·인용체계가 과학공동체에 엄청난 기여를 하게 될 것이라고 주장했다. 그의 의견에 따르면 과학의 진보는 ‘아이디어의 연계’를 통해 발생하는 것이었다. 후속세대의 과학자들은 자신이 속한 분야에서 꼭 읽고 참고해야 하는 선행연구를 읽고 배워야 하며, 더 나아가 선행연구와 자신의 연구를 연계시킴으로써 유의미하게 새로운 지식을 만들어 낸다는 것이다. 

물론 실용적인 문제 또한 산적해 있었다. 세계대전 이후 과학기술자의 학술활동이 급속도로 증가하면서, 자신이 속한 분야의 핵심 문헌이 무엇인지 가려내는 일조차도 버거워지기 시작했던 것이다. 학자들이 각자 서로 다른 분류체계와 판단 기준을 갖고 있었던 점도 문제였다. 즉, 자신의 연구 분야가 무엇인지 가려내는 것, 그리고 그 분야에서 신뢰할 수 있는 선행연구는 무엇인지 판단하는 것이 더 이상 개인의 몫으로 남아있기 어려운 상황이 된 것이다.

피인용지수라는 단어가 처음 등장한 것도 바로 이 가필드의 『사이언스』 칼럼이었다. 그는 모든 논문에 숫자 코드를 부여하고, 각각 다른 논문에 의해 얼마나 인용되는지 집계하는 시스템을 제안했다. 이를 통해 후속 연구자가 중요한 연구가 무엇인지 판단할 수 있게 하고, 과학계의 의사소통을 원활하게 하자는 취지였다. 그는 과학 연구가 새로운 발견을 하는 것 못지않게 ‘아이디어의 역사’를 다루어야 하는 학문이라고 생각했다. 

더 나아가 과학은 근본적으로 공동체의 협업을 통해 수행되는 것이지, 개인의 창조성에만 의존하는 학문이 아님을 강조하기도 했다. 이는 동시대의 존 데스먼드 버널과 같은 마르크스주의 사회학자의 영향을 받은 것이기도 했다. 『과학의 사회적 기능』(1939)이라는 책을 쓰기도 했던 버널은 학술회의에서 가필드를 만나 오랫동안 교류했던 것으로 알려져 있다. 과학기술사회학자 로버트 머튼 또한 가필드의 책에 추천사를 써주기도 했다.

물론 가필드에게는 이러한 아이디어를 『사이언스』에 소개한 것을 계기로 하여 자신의 사업을 구축하고자 하는 야망이 있었다. 그는 과학자들이 자신의 영향력을 객관적으로 측정하고 싶어하고, 또한 이를 과시하고 싶어한다는 사실을 잘 알고 있었다. 그러나 이를 집계하는 것은 현실적으로 엄청난 작업을 요구하는 것이었다. 법조계의 셰필드 인덱스는 한 해에 고작 3만 건 정도의 인용정보를 업데이트하고 있었는데, 이미 1955년 시점에서도 과학기술계의 출판규모는 이와는 비교할 수 없을 만큼 커져 있었다. 가필드가 조사한 바에 의하면 이미 약 5만여 종의 과학기술분야 논문이 매년 출간되고 있었고, 이들은 각각 평균적으로 40여 편의 논문을 인용하고 있었다. 즉, 매년 200만 개의 인용 정보가 발생하고 있었던 것이다. 이처럼 방대한 양의 데이터를 수기로 관리하는 것은 불가능했고, 결국 가필드는 가장 명망있는 학술지를 시작점으로 하여 그들에 의해 인용된 타 학술지로 집계를 확장시켜 나가는 방식을 선택했다. 가필드는 이를 통해 불가피한 손실이 발생할 수밖에 없음을 인지하고 있었으나, 이를 통해 읽을 가치가 있는 학술지와 저자가 판별되는 긍정적인 효과도 있을 것이라고 보았다.

가필드는 이러한 작업을 수행하기 위해 과학정보연구원(ISI)을 설립했고, 수십년이 지난 지금, 이는 톰슨 로이터스 출판사로 성장했다. 곧이어 ISI는 클래리베이트 출판사로 세분화됐고, 이제는 전 세계의 거의 모든 학술지 정보를 좌우하는 공룡기업이 됐다. 오랜 시간이 흐르면서 가필드가 상상했던 것 이상으로 과학기술계 학술정보 데이터베이스의 역할과 파급력 또한 커졌다. 과학연구의 영향력을 측정하려고 만들었던 시스템이, 그 자체로 거대한 영향력을 갖는 또 다른 시스템이 된 것이다. 

서지분석학 연구자들은 최근 세밀한 피인용정보를 활용해 영향력 있는 과학연구가 본질적으로 무엇인지를 밝혀내기 위한 연구에 몰입하고 있다. 몇 가지 흥미로운 관찰사항을 소개하고자 한다. 먼저, 많이 인용된 논문이 그만큼 가치 있고 영향력 있는 논문이라고 단순화 할 수 없다는 점이다. 다른 학자들이 널리 인용하는 논문은, 새로운 생명력을 부여받고 또 다른 학자들에 의해 규범적으로 재인용되는 경향이 있다. 과학자는 타인의 시선에 따라 자신이 응당 읽고 인용해야 하는 논문이 무엇인지 판단하기 때문이다. 가령, 어떤 논문은 너무나 그 평판을 축적한 나머지, 그것을 인용하지 않으면 해당 분야에 논문을 출판할 만한 정당한 훈련을 받지 못한 것으로 여겨지기도 한다. 피인용지수의 ‘마태효과’라고 알려진 개념이다. 같은 학술지 안에서도 피인용지수의 빈익빈 부익부는 상당히 극명하다.

둘째, 피인용수의 누적에는 ‘최초 보고자’·‘문제 확립자’의 이점이 동시에 작용한다. 즉, 특정 분야에서 첫 패러다임을 제시한 것으로 알려진 논문은 이후 대대로 학자들에 의해서 인용되며 오랜 시간동안 안정적으로 피인용수를 획득해 나간다. 대부분의 경우 비슷한 수준의 피인용지수를 보유한 학술지에서 출간된 논문들은 비슷한 정도로 매년 피인용수를 누적해 나가므로, 최초 보고자의 논문은 후속 논문들보다 피인용수의 우위를 획득한다. 

그러나 예외적으로 문제 확립자가 등장하는 경우 이 우위는 뒤집어진다. 문제 확립자는 해당 분야에 새로운 이론적 기여를 했다기 보다는 기존에 존재하는 문제를 신중하게 정리해 학계가 장차 풀어야 할 문제가 무엇인지 드러내 보여주는 사람이다. 이들이 새로 정의해 낸 퍼즐에 후속 학자들이 동의하는 경우, 이들은 매우 빠른 속도로 피인용수를 축적해 이윽고 최초 보고자를 넘어서기에 이른다. 즉, 영향력이 높은 논문이 되기 위해서는 ‘최초’의 자리를 점유하거나, 학계의 현황을 종합해 공동체의 새로운 ‘문제’를 제시해야 한다.

셋째, ‘새로운 융합과학’은 양날의 칼이다. 누적 피인용지수를 추적해 보면, 다양한 학문 사이의 연계를 통해 새로운 문제를 해결하는 방식의 융합연구는 매우 높은 피인용지수를 획득하거나, 혹은 매우 낮은 피인용지수를 획득하는데 그친다. 평균적으로 보면 단일 학문을 기반으로 한 논문이 융합연구 기반의 논문보다 피인용지수가 높다. 융합 연구기반 논문의 피인용지수는 분산값이 높다. 양극화가 뚜렷하게 나타난다는 뜻이다. 

이 ‘새로움’의 딜레마를 해결하기 위한 방법으로는 “익숙함과 연결되는 새로움”을 주장하는 전략이 있다. 즉, 새로운 시도를 하면서도, 정작 전통적인 학문분야의 익숙한 이론적 논의를 인용하며 자신의 기여도를 설명해야 한다는 것이다. 오래된 예시로는 다윈의 ‘종의 기원’이 꼽힌다. 진화라고 하는 파격적인 개념을 제시하면서도, 다윈은 이미 생물학자들에 의해 널리 받아들여지던 육종학의 개념어를 활용해 책을 써나갔다. 최신의 예시도 있다. 1천800만 편의 논문을 분석한 결과, 기존의 개념을 바탕으로 하되 약간의 새로운 ‘조합’을 시도한 논문이 다른 논문에 비해 두 배 가까이 많이 이용된다는 점이 발견되었다. 

피인용지수가 과연 과학자와 과학저술의 영향력과 질을 제대로 측정할 수 있느냐는 비판에 대해서, 가필드는 여러 번에 걸쳐 긍정론을 펼쳤다. 다양한 변수가 있을지언정, 장기적으로 이보다 더 객관적으로 과학적 업적을 평가할 수 있겠느냐는 의견이었다. 그러나 피인용지수가 과학자들의 소통과 연구를 위한 수단이 아닌, 외부인에 의한 평가의 수단으로 고착화되는 것에 대한 성찰은 이루어지지 않은 듯 하다. 피인용지수는 분야, 방법론, 서술 전략, 인용 전략, 심지어 연구자의 국적, 성별, 소속 기관 등에 의해서도 크게 달라질 수 있는 불확실한 사회적 결과물이다. 연구의 질을 대략적으로 예측할 수는 있겠지만, 정확한 과학적 수단은 아니라는 뜻이다. 

노벨상을 받는 연구자가 결과적으로 생애 전체에 걸쳐 높은 피인용지수를 축적해왔을 수는 있지만, 피인용지수가 높은 연구자가 차례대로 노벨상을 받는 것은 아니다. 대한민국의 연구자 평가 시스템은 피인용지수를 신봉한다. 클래리베이트에 의해 인정을 받았는지, 얼마나 많이 인용되는 학술지로 집계됐는지에 따라 연구자에 대한 평가가 갈라진다. 객관적인 평가를 위한 독립적인 도구가 필요하다는 점에서 불가피한 측면은 있지만, 피인용지수에 대한 개별 연구자와 정책기관 공동의 성찰은 반드시 필요하다. 

연구자 사이의 소통을 돕겠다는 취지로 만들어지기 시작한 소박한 집계 시스템이 국가 과학기술정책을 좌우하는 상황이 된 것은 역사의 희극이라고 할 만하다. 기왕 유용한 집계 도구가 존재하는 것은 환영할 만한 일이나, 모든 도구에는 그 역사적 경로에 의해 구축된 나름대로의 한계점 또한 존재하기 때문이다.

전준
충남대 사회학과 교수
카이스트 화학과를 졸업하고, 같은 대학원에서 과학기술정책학 석사를 했다. 미국 위스콘신-매디슨대에서 사회학 박사학위를 취득했다. 국회미래연 구원에서 부연구위원으로 일했다. 현재 과학기술사회학, 환경사회학, 사회 이론에 대한 연구를 수행하고 있다.

전준 다른기사 보기