펜실베이니아주립대 연구진 논문…교수 37명 61문항 분석, 답안 형식 제한은 오히려 점수 올라
기사와 상관없는 이미지. 게티이미지뱅크
문제를 의도적으로 복잡하게 꼬는 방식만 AI가 많이 틀렸고, 답안 형식을 까다롭게 제한한 문항에서는 오히려 점수가 높았다.
16일(현지 시간) 펜실베이니아주립대 연구진은 논문 사전공개 사이트 ‘아카이브’(arXiv)에 이같은 내용의 논문을 올렸다.
● 교수 37명이 만든 ‘AI 방지’ 문항 사용
연구진은 비교 기준으로 온라인 강의에서 가져온 문항 14개를 대조군으로 더해, 모두 75문항을 분석했다. 대조군은 AI가 풀기 어렵도록 만든 문제인지 알 수 없는 일반 문항이다. 분야는 컴퓨터과학이 33문항(44%)으로 가장 많았고, 미디어학·공학·통계학·수학·인문학·물리학 등 17개 학문이 포함됐다.
● 최고 83.2점…대조군과 차이는 4~6점
연구진은 GPT-5.4, 클로드 소넷 4.6, 제미나이 2.5 플래시 등 총 3종에 모델마다 문항당 10번씩 풀게 했다. 강의 자료를 줬을 때와 안 줬을 때를 나눠 모두 4500개 답안을 만들었다.
● 교수들의 다섯 가지 전략
연구진은 교수들이 문항을 설계하며 밝힌 설명을 분석해 전략을 △인터넷에서 검색되지 않는 독창적 문제 만들기 △AI가 약한 영역을 겨냥하기 △수업에서만 다룬 개념·표기 요구하기 △문제를 복잡하게 만들기 △답안 형식 제한하기 등 다섯 가지로 분류했다.
‘AI가 약한 영역 겨냥’에는 단어를 배열하는 경우의 수를 구할 때 글자 위치를 계속 추적하게 한 수학 문제 등이 있었다. ‘복잡하게 만들기’에는 이미지에 ‘적대적 노이즈’를 더하거나, 오해를 유도하는 내용을 넣거나, 힌트와 문제명을 지우는 방식이 포함됐다. ‘형식 제한’은 카르노 맵과 블록 다이어그램을 그리게 하거나, ‘쟁점-규칙-적용-결론’ 순서로 답하게 하는 식이다.
전략별 점수(문항별 평균의 중앙값)를 대조군(88점)과 비교하면 차이가 뚜렷했다. 독창적 문제 만들기(83점), AI 약점 겨냥(84점), 수업 고유 개념 요구(82점)는 대조군보다 4~6점 낮은 수준이었다.
복잡성을 더한 문항은 78점으로 대조군보다 10점 낮아 하락 폭이 가장 컸다. 이 전략에는 AI 점수가 100점 만점에 3점에 그친 물리학 문제도 포함됐다. 반면 답안 형식을 제한한 문항은 91점으로 대조군보다 오히려 높았다.
문제를 고치기 전후를 비교한 11쌍에서도 같은 경향이 나왔다. 복잡성 전략을 쓴 5문항 중 4문항은 고친 뒤 점수가 0.5~9.2점 내려갔다. 형식을 제한한 한 컴퓨터과학 문항은 오히려 84점에서 96점으로 올랐다. 연구진은 “어렵게 고친 문제가 AI에게 더 쉬워지는 경우도 있다”고 설명했다.
● 연구진 “평가 방식을 바꿔야”
다만 한계도 있었다. 문항이 75개로 적고, 전략별 비교는 서로 다른 문제끼리 한 것이어서 학문 분야와 난이도 차이가 섞인 것으로 봤다. 이에 대한 평가는 GPT-5.4가 맡았다. 연구진이 사람이 직접 채점한 102개 답안과 비교했을 때 통계적으로 유의한 차이는 없었지만 제미나이는 평균 7.5점 차이가 난 것으로 전해졌다.
최재호 기자 cjh1225@donga.com