코로나19 팬데믹이 시작된 2020년부터 종식선언이 이루어졌던 지난해까지 많은 국내 기업이 채용 과정을 온라인으로 전환하였다. 이는 거리두기 등으로 인한 불가피한 제약을 극복하고 해결하기 위한 방법이었을 뿐만 아니라, 기존 오프라인 방식의 한계를 극복하고 시간과 비용을 절약하기 위한 전략적인 선택이기도 하였다. 하지만 온라인 방식은 오프라인 방식 대비 모든 응시자에게 공정한 테스트 환경을 조성하는 것이 어렵다는 점, 특히 ‘부정행위를 어떻게 방지할 것이냐’가 해결해야 할 큰 과제이다. 이를 해결하기 위해 기업들은 기술적 혹은 제도적인 측면에서 해결책을 고민하고 있다.
 
[기술적 해결책 vs 제도적 해결책]
 
먼저, 기술적 해결책으로는 온라인 화상감독 시스템 등을 도입하여 실시간으로 응시자의 화면과 음성을 모니터링하거나 녹화하는 방법이 있다. 하지만 기존과 다른 방식의 감독절차를 충분히 이해하고 있는 감독관 섭외가 필요하며, 감독관 섭외 관련 인건비 부담이 크다. 응시자 집단의 규모가 크면 클수록 그만큼 부담감이 커진다. 따라서 특히 경제적 측면을 고려한다면 제도적 해결책을 우선으로 고려해볼만하다.
제도적 해결책은 검사 설계 단계에서부터 오프라인 검사와 차별화된다. 검사가 측정하고자 하는 역량은 동일하나, 각각의 응시자에게 제공되는 문항을 최대한 달리하여 서로 다른 검사지 형에 응시하도록 하는 것이다. 이때 문항 제공 기준은 각 단계에서 응시자의 응답에 대한 정답 여부가 된다. 응시자 수준에 따라 다양한 검사지 형태가 만들어지므로 부정행위 문제와 문항 유출 문제에서 자유로울 수 있으며, 검사가 진행되는 동안은 실시간 감독이 필요하지 않다는 장점이 있다.
 
[검사지 구성을 다양화하기 위한 두 가지 접근방식]
 
이러한 배경에서 온라인 검사에 특화된 두 가지 주요한 접근 방식으로 문항반응이론(Item Response Theory: 이하 IRT) 모형을 기반으로 하는 컴퓨터 기반 적응형 검사(Computerized Adaptive Testing: 이하 CAT)와 결정트리(Decision Tree: 이하 DT) 모형을 기반으로 한 적응적 검사가 있다. 이때 DT 기반 검사는 즉시 구성형 선형 검사(Linear On the Fly Testing)와 유사한 개념으로 볼 수 있다.
IRT 모형 기반 CAT는 검사가 진행되는 과정에서 응답에 따른 응시자의 능력을 측정하여 실시간으로 그에 맞춤화된 문항을 제공하는 방식이다. IRT에서는 피험자 집단의 능력 분포가 어떤지와 상관없이 문항의 난이도와 변별도가 불변성을 지니므로, 적은 수의 문항으로 다양한 피험자의 능력을 정확하게 측정할 수 있는 장점이 있어 현재 가장 보편적으로 활용되고 있다. 그러나 IRT를 기반으로 한 검사를 설계하기 위해서는 문제은행의 모든 문항이 하나의 역량만을 측정하기 위한 도구라는 단일 차원성(unidimensionality) 가정과 한 문항에 대한 응답이 다른 문항에 대한 응답에 영향을 미치지 못하며, 확률적으로 독립이어야 한다는 지역독립성(local independence)이 가정이 성립되어야 하는데, 이는 매우 엄격하여 충족하기가 쉽지 않다는 단점이 있다.
DT 모형 기반 검사는 기계학습(Machine Learning) 분야의 알고리즘을 활용하는 것으로, 대규모의 데이터를 분석하여 설계된 나무모형 탐색을 통해 응시자의 응답에 적합하다고 세팅된 문항을 차례로 제공하는 방식이다. IRT 기반 CAT와 비교하였을 때, 엄격한 기본 가정을 충족하지 않아도 된다는 점에서 개발과정에서 드는 공수가 적다. 또한, 실시간으로 변화하는 것이 아닌 이미 완성된 트리 구조에 따라 검사를 진행하므로 최종 검사구조를 사전에 검토하기 쉽다는 장점이 있다.
 
[DT 기반 적응적 검사의 구체적 사례: ACT]
 
채용 장면에서의 인지 검사가 온라인 방식으로 전환되는 과정에서 ORP연구소가 선택한 해결책은 무엇이었을까? ORP연구소는 이에 대한 해결책을 강구하기 위하여 IRT 기반 CAT와 DT 기반 적응적 검사에 대한 시뮬레이션을 실시하고, NCS 문항은행의 문항들이 IRT 기본 가정을 충족하는지 확인하는 프로젝트를 진행하였다. 그 결과, NCS 검사가 DT 기반의 적응적 인지검사에 더 적합하다고 판단하게 되었고, 이에 따라 DT 기반 적응적 인지 검사인 ACT(Adaptive Cognitive Test)를 개발하게 되었다.
ACT는 다양한 직무 관련 인지 능력을 평가하기 위해 9개의 인지능력 검사의 트리구조 모듈형을 탑재하고 있다. 언어이해, 언어추리, 사무지각, 수열추리, 응용계산, 자료해석, 문제해결, 공간지각, 집중력의 9개 모듈이 있으며, 다양한 직무와 능력 평가에 맞추어 트리 구조를 조정할 수 있어, 기업의 특정 요구에 맞춘 맞춤형 검사가 가능하다. 또한, ACT는 응시자 응답에 가장 적합한 문항을 순차적으로 제공하여 불필요한 문항을 줄이고, 적은 수의 문항으로도 높은 신뢰도와 타당도를 확보할 수 있다. IRT 기반 CAT와 달리 실시간 계산이 요구되지 않으므로 고가의 서버나 복잡한 시스템 없이도 운용이 가능하며, 다양한 직무와 능력 평가에 맞춘 트리구조를 쉽게 조정할 수 있다는 장점이 있다.
 
IRT 기반 CAT와 DT 기반 적응적 검사는 쉽게 말해, 온라인 방식으로 전환된 채용검사의 효율을 극대화할 수 있는 제도적 장치 중 하나이다. 기업의 인사담당자는 각 방법론의 특성을 이해하고, 자사의 채용 목표와 요구사항에 맞는 평가 도구를 선택함으로써 보다 효과적인 채용 프로세스를 구축할 수 있을 것이다. 온라인 방식으로의 전환 트렌드를 섣불리 좇을 것이 아니라, 공정한 테스트 환경 조성을 위하여 어떤 장치를 활용할 것인지에 대한 고민이 충분히 이루어진다면 의미 있는 온라인 전환을 이뤄낼 수 있을 것이다.

ⓒ 2024. ORPi. All right Reserved.

※ 본 내용을 인용할 경우에는 출처를 명시해 주시기 바랍니다.