최근 대통령 직속 국가교육위원회가 추진 중인 대학수학능력시험 서·논술형 평가 도입 논의에서 핵심 쟁점은 채점의 공정성이다. 1점 차로 당락이 갈리는 대입에서 왜 점수가 깎였는지 납득시키지 못하면 공정성 시비가 우려된다는 것이다. 급기야 채점자 간 오차를 아예 0에 수렴시켜야 한다는 주장도 나온다.
채점의 공정성은 당연히 확보해야 한다. 그러나 오차를 0으로 만들려면 정답이 정해진 시험이어야 한다. 그건 객관식과 다를 게 없다. 해외 주요국의 논술형 대입 채점 시스템을 살펴보자. 영국 에이레벨, 프랑스 바칼로레아, 중국 가오카오, 국제바칼로레아(IB) 모두 표준화된 논술 채점 체계를 운영한다. 이들은 논술에 단 하나의 옳은 점수가 있다고 전제하지 않는다. 1점 차이에 대한 ‘설명 가능성’보다, 누가 채점해도 허용범위 내 일관된 점수가 나오는 ‘재현 가능성’을 시스템으로 구현한다.
예컨대, IB 채점관은 ① 매 시험마다 채점 테스트를 통과해야 하고(작년에 채점관이었어도 올해 다시 테스트를 통과해야 함), ② 기준 답안지로 채점 연습을 하며 눈높이를 맞추고, ③ 답안지 세트(10개 단위)마다 기준 답안지가 무작위로 배치되어 오류가 감지되면 자동 로그아웃되고 그 세트는 다른 채점관에게 재배정된다. ④ 교차채점 이견은 책임채점관이 최종 판정하고, ⑤ 결과에 이의가 있는 학생은 재채점을 신청할 수 있다. 이런 겹겹의 장치가 전 세계 채점을 하나의 기준에 수렴시킨다. 중국 가오카오도 2인 채점 후 평균을 내고, 둘의 점수 차이가 허용범위를 넘으면 제3자와 전문가가 재채점한다. 올해 1290만 명이 응시했고 훈련된 교사·교수들이 2주 안에 채점을 끝냈다. 50만 명이 치르는 우리 수능이 못할 이유가 없다.
1점의 민감함을 줄이려면 평가의 폭도 넓혀야 한다. 수능 국어는 단 한 번의 시험으로 끝나지만, IB 국어는 지문 분석, 비교 논술, 에세이, 구술평가를 결합한다. 외부평가는 블라인드 채점을, 내부평가는 교사 채점 결과를 외부에서 무작위 표집해 재검토·보정한다. 여러 시점·방식·평가자로 반복 확인해 측정의 안정성을 높이고 1점의 민감성을 분산하여, 한 번의 시험이나 한 사람의 판단에 과도하게 좌우되지 않도록 설계한 것이다. 여러 각도의 시험 점수를 합산한 원점수와 등급점수가 함께 공개되지만, 전 세계 상당수 대학들이 세밀한 원점수보다 여러 겹의 교차검증을 거친 등급점수만 활용할 정도로 공신력을 얻었다.
물론 일관성만으로 공정성이 완성되진 않는다. 채점 기준 자체가 타당해야 한다. 중국 가오카오의 작문 채점 기준에는 ‘창의성’도 있지만 ‘사상의 건전성’도 명시돼 있어, 아무리 창의적이어도 사상이 불건전하다고 판단되면 고득점을 받을 수 없다. 영국 에이레벨은 사고력보다 지식의 양이 유리하다는 지적에 개혁 압박을 받고 있다. 실제로 비교 연구들을 보면 같은 논술형이라도 사고력을 얼마나 깊이 측정하느냐는 평가 체제마다 뚜렷한 차이를 보인다. 일관된 채점 못지않게, 무엇을 잴 것인가를 제대로 정하는 일도 평가 공정성에 결정적 요인이다.
세상에 완벽하게 공정한 평가는 없다. 더 공정한 시스템을 설계하려는 노력이 있을 뿐이다. 채점은 일종의 게임의 룰이다. 수능 시간을 2배로 늘리면 석차가 바뀐다. 수능은 ‘아는 것’만이 아니라 ‘속도’까지 재기 때문에, 몰라서 못 쓴 경우와 시간이 모자라 못 쓴 경우에 같은 점수를 준다. 공정하지 않지만 그럼에도 수용되는 것은 모두에게 같은 룰이 적용되기 때문이다. 논술 채점도 마찬가지다. 검증된 시스템을 벤치마킹해 사람이든 AI든 기준 답안지와 오차 보정이라는 표준화 절차를 거쳐 일관된 룰을 구축하면 평가의 신뢰성은 충분히 확보할 수 있다.
평가의 공정성은 채점자의 판단을 없애는 데서 나오지 않는다. 그 판단이 타당하고 일관되게 재현되도록 시스템을 설계하는 데서 온다. 국교위 앞에 놓인 본질적 선택은 ‘오차 0’과 ‘오차 있음’의 사이가 아니다. 오차를 숨기는 시험과, 오차를 인정하고 정교하게 관리하는 시험 사이의 선택이다. 세계 주요국 논술 대입 체제는 이미 후자를 택했다.