AI가 취업 준비생을 돕는 역할에서 그들을 평가하는 역할로 바뀌면 어떤 일이 벌어질까? 개발자를 평가하고 채용하는 데 기업들이 사용하는 플랫폼인, 기업들이 개발자를 평가하고 채용하는 데 사용하는 플랫폼인 HackerRank가 는 면접을 진행하고, 지원자의 작업 과정을 관찰하며, 답변뿐 아니라 그 답에 이르기까지의 과정까지 평가하는 AI 에이전트인라는 AI 에이전트를 통해 그러한 취업 면접의 미래가 어떤 모습일지 엿보게 하고 있다. Chakra는 면접을 진행하고, 지원자가 작업하는 모습을 관찰하며, 답변뿐만 아니라 그 답에 이르기까지의 과정까지 평가한다.
약 6개월간의 베타 테스트를 거친 후, HackerRank는 월요일 Chakra를 고객들에게 정식 출시한다. 이 스타트업은 AI 면접관이 테스트 기간 동안 이미 500,000회 이상의 면접을 진행했으며, Snowflake, Snorkel, Capgemini를 포함한 기업들이 이를 사용해 보았고, HackerRank 역사내부적으로도 제품을 테스트했다고 밝혔다.
약 6개월간의 베타 기간을 거친 후, HackerRank는 월요일 Chakra를 고객에게 정식 출시한다. 이 스타트업은 테스트 기간 동안 AI 면접관이 이미 500,000건이 넘는 면접을 진행했으며, Snowflake, Snorkel, Capgemini 등의 기업들이 이를 사용해 보았고, HackerRank도 사내에서 제품을 테스트했다고 밝혔다. AI는 한동안취업 면접 에서 필수적인 요소였으며, 기업들은 음성 에이전트와 기타 자동화 도구를 사용해 지원자를 선별하고 채용 과정의 효율을 높여왔다. 한편 구직자들도 면접에 대처하는 데 도움이 되는 자신만의 AI 도구를 점점 더 많이 갖추게 되었고, 때로는 고용주가 알지 못하게 사용하기도 한다.HackerRank는 Chakra를 통해 AI가 면접이 진행되는 방식뿐 아니라 고용주가 측정할 수 있는 것도 바꿀 수 있다고 믿고 있다. 이 스타트업은 누군가 정답에 도달했는지 여부를 넘어, 비판적 사고와 판단력 같은 포착하기 어려운 신호, 그리고 회사가 “AI 유창성”이라 부르는 것, 즉 지원자가 AI에게 문제를 얼마나 잘 정의하고, AI의 출력을 판단하며, 해결책을 향해 AI를 이끄는지를 평가하고자 한다.
“이전의 평가 방식은 결과물을 평가하는 것이었습니다”라고 HackerRank의 공동창업자이자 CEO인 Vivek Ravisankar가 인터뷰에서 말했다. “이제는 AI 덕분에 누구나 결과물을 만들어낼 수 있습니다.” 그는 고용주에게 중요한 질문은 그 결과물을 만드는 데 들어간 사고와 판단을 이해할 수 있는가가 된다고 말했다.
실제로 Chakra 면접은 전통적인 코딩 테스트를 치르는 것보다 실제 업무를 수행하는 것에 더 가깝게 설계되었다. 지원자는 실제 코드 저장소와 관련된 과제를 받고, AI 어시스턴트가 포함된 캔버스에서 이를 해결해 나간다. 지원자가 작업하는 동안 Chakra는 그들이 하고 있는 작업의 맥락을 활용해 왜 한 접근 방식을 다른 방식보다 선택했는지, 또는 새로운 제약 조건이 추가되면 해결책이 어떻게 달라질지 같은 후속 질문을 할 수 있다.
실제로 Chakra 면접은 전통적인 코딩 테스트를 치르는 것보다 실제 업무를 수행하는 것에 더 가깝게 설계되었다. 지원자는 실제 코드 저장소와 관련된 과제를 받고, AI 어시스턴트가 포함된 캔버스에서 이를 해결해 나간다. 지원자가 작업하는 동안 Chakra는 그들이 하고 있는 작업의 맥락을 활용해 후속 질문을 할 수 있다. 예를 들어 어떤 접근 방식을 다른 방식 대신 왜 선택했는지, 또는 새로운 제약 조건이 추가된다면 해결책이 어떻게 달라질지 등을 묻는다.
면접 중에 지원자에게 AI 접근 권한을 주는 것은 부정 행위를 더 쉽게 만드는 것처럼 보일 수 있다. 그러나 HackerRank는 그 반대를 발견했다고 밝혔다. Ravisankar에 따르면, 의심스러운 활동 플래그는 지역과 연차 같은 요인에 따라 차이가 있었지만, Chakra 면접에서 유사한 전통적인 HackerRank 평가보다 70%에서 80% 낮았다.
면접 중에 지원자에게 AI 접근 권한을 주는 것은 부정행위를 더 쉽게 만드는 것처럼 보일 수 있다. 그러나 HackerRank는 오히려 그 반대라는 것을 발견했다고 말한다. Ravisankar에 따르면 의심스러운 활동 플래그는 Chakra 면접에서 유사한 전통적인 HackerRank 평가보다 70%에서 80% 낮았으며, 다만 그 비율은 지역과 경력 수준 같은 요인에 따라 달라졌다.
2012년 TechCrunch Disrupt에서
출시된 HackerRank는 2012년 TechCrunch Disrupt에서 발표된 이후 코딩 챌린지를 중심으로 사업을 구축했고, 결국 기업들이 기술 역량을 기반으로 개발자를 평가하고 채용하도록 도왔다. Y Combinator의 지원을 받는 이 스타트업은 현재 Amazon, Nvidia, Clay, Replit를 포함한 3,000개가 넘는 기업 고객과 전 세계 30 million 명이 넘는 개발자 커뮤니티를 보유하고 있다.
Chakra는 HackerRank가 수년간 구축해온 기술 평가 사업에 대한 도전적인 베팅을 대표한다. 기존 제품은 주로 개발자가 코딩 문제를 올바르게 해결할 수 있는지를 테스트했다. 그럼에도 Ravisankar는 AI가 HackerRank의 이전 모델을 엔지니어링 능력을 측정하는 데 덜 유용하게 만들었다고 믿는다.
Ravisankar는 사내에서 이 전환을 Apple이 iPod에서 iPhone으로 넘어간 것에 비유했는데, 기존 제품도 여전히 가치가 있지만 새 제품이 스타트업이 믿는 시장의 미래 방향을 대표하기 때문이다. “Chakra가 헤드라인이 될 것입니다”라고 그는 말했다. “앞으로 나아갈 방식이 될 것입니다.”
그러나 지원자 평가에 AI에게 더 깊은 역할을 부여하는 것은, 특히 채용 결정을 알고리즘에 어느 정도 위임해야 하는가에 관한 새로운 질문을 제기한다. Ravisankar는 TechCrunch에 Chakra는 지원자의 점수를 매기도록 설계되었을 뿐 최종 채용 결정을 내리지 않으며, 그 결정은 여전히 사람에게 남아 있다고 말했다.
AI는 고용주가 설정한 기준을 일관되게 적용함으로써 면접의 더 구조화된 부분을 처리할 수 있고, 인간 면접관은 지원자와 실제로 함께 일하고 싶은지 판단하고 회사, 팀, 직무에 관한 질문에 답하는 데 더 많은 시간을 쓸 수 있다고 Ravisankar는 말했다.
“제대로 조정하면 AI는 인간보다 훨씬 편견이 적습니다”라고 Ravisankar는 말하며, AI 시스템은 지원자의 배경이나 학력 같은 요인의 영향을 받는 대신 모든 지원자에게 동일한 평가 기준을 따르도록 지시할 수 있다고 주장했다.
그러나 동일한 기준을 일관되게 적용하는 것만으로는 AI 시스템이 편향에서 자유로워지는 것을 보장하지 않는다. 자동화된 채용 도구는 구축에 사용된 데이터, 모델 및 기준에서 편향을 물려받거나 증폭시킬 수 있어, 규제 당국이 고용 결정에서의 사용을 면밀히 검토하고 있다.
채용 분야에서의 AI 사용은 이미 규제 조사를 받고 있다. 예를 들어 뉴욕시는 특정 자동화 고용 의사결정 도구를 사용하는 고용주에게 독립적인 편향 감사를 받고, 해당 도구를 사용하기 전에 후보자에게 통지하도록 요구한다. Ravisankar는 채용이 규제 대상 분야임을 인정하며, 이러한 요구 사항을 준수하는 것이 HackerRank가 구축해야 했던 사항의 일부라고 말했다.