다시 돌아왔습니다🖐🏻

주먹밥 쿵수석입니다. 이번 연재부터는 AI를 채용 프로세스에 실제로 활용하는 것 뿐만 아니라 검사에 있어서 AI가 도움을 줄 수 있는 방법에 대한 연재를 해 나갈 예정입니다.🙂

해당 내용을 본격적으로 들어가기 앞서서, HR담당자가 AI를 채용 프로세스에 활용할 때 어떤 입장으로 대해야 할 것 인지에 대해서 정리를 하고 들어가고자 한다.

전 세계적으로 AI 기반 평가 도구를 도입하여 채용의 프로세스를 개선하고 있는 것은 누구나 다 아는 사실이다. 현재 AI가 채용 프로세스 내 서류전형, 인적성검사, 면접 등 모든 과정에서 쓰이고 있다는 것은 인사담당자라면 한 번쯤 고민해볼 만한 내용이고, 실제도 도입한 기업도 많이 있다. 아무래도 AI를 사용했을 때, 효율성이 높아지고 편향성도 줄일 수 있고 비용도 절감된다는 내용이 포함되어 있기 때문이다.

하지만, 과연 이러한 장점만이 존재하고 AI는 언제나 우리에게 행복한 미래만을 아무런 대가 없이 가져다줄까? 이러한 질문에 우선 답을 한다면...

“아니다”

AI가 너무 똑똑할 때, 사람은 덜 생각하게 된다. 이는 두 가지 측면으로 나누어 볼 수 있다.

우선 조직심리학적 관점에서 보자면 인간은 에너지를 아끼기 위한 최소한의 정보와 노력을 들여 판단하는 경향이 있다. 따라서 AI의 권위와 정확성이 높을수록 사람은 스스로 판단하지 않아도 된다고 인식한다. 본 글에서 주로 인용할 논문 “Falling asleep at the wheel”의 결과 역시 이와 같은 결론을 제시한다. AI가 "정답처럼 보이는 정보"를 제공하면, 인간은 그 판단 과정을 생략하고 심리적 자동화를 선택해버린다.

다음은 교육학적 관점이다. 교육학을 전공했다면 비고츠키(Lev Semenovich Vygotsky)를 들어봤을 것이다. 비고츠키의 근접발달영역 이론(ZPD)에 따르면 적절한 지원은 학습을 촉진하지만, 지나친 지원의 경우 학습자의 자율성과 문제해결능력을 억제할 수 있다. AI가 문제를 너무 잘 풀어주는 경우, 학습자는 더 이상 문제를 스스로 해결하려 하지 않으며, 의존적인 학습자가 되어버린다.

결국 AI를 도입했을 때, 사람이 사고하고 개입할 여지를 남기는 것이 매우 중요한 이슈로 등장할 것이다.

오늘 살펴보게 될 논문은 『Falling Asleep at the Wheel: Human/AI Collaboration in a Field Experiment on HR Recruiters』이다. 저자는 Fabrizio Dell’Acqua 로 현재 소속은 Laboratory for Innovation Science, Harvard Business School 이다. 위 논문의 연구 결과를 먼저 이야기하자면 완벽에 가까운 AI를 지원 받는 사람들은 AI 추천을 그대로 따르면서 주의력을 잃고, 평가의 정확도도 낮은 수준을 보였으며, 가장 높은 성과를 낸 그룹은 정확도가 낮은 AI를 사용한 그룹이었다.

해당 논문은 AI의 성능이 높아질수록 인간이 덜 개입하고, 판단을 AI에 무비판적으로 맡기게 되는 현상을 분석한다. 특히, 채용 평가 과정에서 리크루터들이 AI의 조언을 얼마나 따르고, 그로 인해 얼마나 정확한 결정을 내리는지를 실험설계를 통해 살펴본다.

실험에는 181명의 전문 리크루터가 참여했고, 이들에게 서로 다른 성능의 AI(완벽한 AI, 고성능 AI, 저성능 AI, AI 없음)를 무작위로 배정했다. 지원자의 실제 수학 능력을 기준으로 평가의 정확도를 측정했다.

주요 결과는 다음과 같다.

1) AI가 너무 정확할수록, 인간은 판단을 위임하고 수동적으로 변하며, 오히려 평가 정확도가 낮아졌다.

2) 반면, 저성능 AI와 협업한 리크루터는 더 적극적으로 개입해 평가 정확도가 높았다.

3) 특히 숙련된 리크루터일수록 저품질 AI와 함께할 때 더 좋은 성과를 보였다.

이 연구는 AI의 성능이 무조건 높다고 협업 성과가 좋아지는 것이 아니며, AI의 품질과 인간의 개입 사이의 균형 설계가 중요함을 강조하고 있다.

결국 인사 담당자가 채용 프로세스 내 AI도구를 도입할 때 가져야 할 입장은 크게 4가지로 봐야 하지 않을까 싶다.

1. AI를 도입하되, 맹신하지 말자.

- AI는 채용에서 강력한 도구가 될 수 있지만, "정확한 예측"이 곧 "올바른 판단"을 보장하지는 않는다.

- AI가 너무 똑똑해 보일수록 오히려 사람은 스스로 판단하려는 노력을 줄이고, 무비판적으로 따르게 되는 경향이 있다. 이는 지원자 평가의 질을 떨어뜨릴 수 있다.

2. 사람의 개입을 설계에 포함시켜라.

- AI의 조언은 참고용으로 활용하되, 최종 판단은 사람이 하도록 설계되어야 한다.

- AI의 조언을 ‘검토’하고 ‘반론을 제기할 수 있는 여지’를 남기는 구조가 필요하다. 이는 단지 기술의 문제를 넘어서, 의사결정의 책임성과 품질을 보장하기 위한 조직적 장치다.

3. 숙련된 인사 담당자일수록 더욱 AI를 ‘활용’하라.

- AI는 숙련된 인사 담당자의 경험과 직관을 대체하는 것이 아니라 보완하는 도구다.

- 특히 AI의 판단이 불완전할수록, 숙련된 담당자의 개입이 더욱 중요해진다. 그러므로 HR담당자는 AI의 판단에 대한 자기 확신과 검증 태도를 동시에 가져야 한다.

4. AI 도구를 선택할 때는 '정확도'보다 '협업 가능성'을 따져라.

- 가장 좋은 AI는 반드시 ‘정확도가 가장 높은 AI’가 아니라, 사람이 몰입하고 사고하게 만드는 AI다.

- 도입하는 AI가 리크루터의 판단력을 마비시키는가, 아니면 자극하는가를 기준으로 검토하라.

이러한 가이드라인을 가지고 앞으로 채용 프로세스 내 AI를 탑재한다면 좀 더 인사 담당자의 역량 측면에서 접근할 수 있지 않을까 싶다.

(참고문헌)

Fabrizio Dell’Acqua (2023) Falling Asleep at the Wheel: Human/AI Collaboration in a Field Experiment on HR Recruiters

(https://www.almendron.com/tribuna/wp-content/uploads/2023/09/falling-asleep-at-the-whee.pdf)

ⓒ 2025. ORPi. All right Reserved.

※ 본 내용을 인용할 경우에는 출처를 명시해 주시기 바랍니다.