ChatGPT는 일부 대학 과정에서 학생보다 더 나은 점수를 받았습니다.

ChatGPT는 대학 과정의 약 4분의 1에 대한 평가에서 학생들과 같거나 더 나을 수 있습니다. 그러나 이는 일반적으로 비판적 분석보다는 기억 회상이 필요한 명확한 대답이 있는 질문에만 적용됩니다.

아랍에미리트에 있는 뉴욕대학교 아부다비의 야시르 자키(Yasir Zaki)와 그의 팀은 다른 학과의 동료들에게 연락하여 컴퓨터 과학, 심리학, 정치학, 비즈니스를 포함하여 대학에서 가르치는 과정의 평가 질문을 제공하도록 요청했습니다.

이 동료들은 또한 질문에 대한 실제 학생들의 답변을 제공했습니다. 그런 다음 질문은 자체 답변을 제공하는 인공 지능 챗봇 ChatGPT를 통해 실행되었습니다.

다음으로 두 가지 응답 세트가 모두 채점팀에 전송되었습니다. Zaki는 “이 채점자들은 이러한 답변의 출처나 채점 목적을 알지 못했습니다.”라고 말합니다.

설문 조사에 참여한 32개 과정 중 9개 과정에서 ChatGPT의 답변은 학생의 답변과 같거나 더 나은 것으로 평가되었습니다. 때로는 답변이 훨씬 더 좋았습니다. 예를 들어, 공공 정책 소개라는 과정의 질문에 답할 때 학생들의 평균 점수가 거의 두 배에 달하는 성과를 거두었습니다.

“ChatGPT는 정보 회상이 필요한 질문에서는 훨씬 더 나은 성능을 보였지만 중요한 분석이 필요한 질문에서는 성능이 좋지 않았습니다.”라고 Zaki는 말합니다.

결과는 다음과 같은 문제를 강조합니다. Imperial College London의 Thomas Lancaster는 대학 평가가 어떻게 설정되는지 말합니다. ChatGPT로는 달성할 수 없는 학생들의 비판적 사고를 조사해야 합니다. “만약에 [better answers are] 가능한 [with ChatGPT]이는 평가 설계에 결함이 있음을 시사합니다.”

Lancaster는 또한 ChatGPT를 통해 속이기 쉬운 평가 중 상당수가 기존 계약 부정 행위 서비스에 취약했을 수 있다고 말합니다. 이곳에서는 학생들이 전문 에세이 작가에게 비용을 지불하여 작업을 수행하지만 마찬가지로 비판적 분석을 수행하지 않을 수도 있습니다.

이와 별도로 Zaki와 그의 팀은 영국, 미국, 인도, 일본 및 브라질의 학자와 학생들을 대상으로 ChatGPT에 대한 태도를 조사했습니다. 모든 국가에서 학생들은 학자들이 생각했던 것보다 챗봇을 사용할 가능성이 더 높았습니다.