23 수능 국어 상위 5%에 도달한 인공지능
게시글 주소: https://m.orbi.kr/00064160457
안녕하세요, 오르비 여러분.
오픈소스 한국어 문서 기반 질의응답 AI 시스템을 탐구하는 프로젝트 팀 NomaDamas입니다.
23 수능 국어에서 상위 5%를 인공지능으로 달성하여 뉴스 기사가 나왔습니다!
수험생시절 오르비에서 도움을 많이 받았던 기억이 나
혹시 저희 프로젝트가 수험생 여러분들께 조금이나마 도움이 될까 싶어 공유합니다!
세 줄 요약
- 기존 3등급(86점, 상위 22%)이던 GPT-4의 수능 국어 성적을, 프롬프트 엔지니어링으로 2등급(94점, 상위 5%)로 향상시켰습니다.
- 문제 유형에 특화된 프롬프트를 사용하면 1등급(96점, 상위4%)까지 달성할 수 있습니다.
- 사용한 프롬프트 전문과 소스코드, 수능 국어 데이터셋을 오픈소스로 공개했습니다.
1. 프롬프트 엔지니어링?
긴 글을 시작하기에 앞서, 많은 분들의 이해를 돕기 위해 저희가 사용한 프롬프트 엔지니어링에 대한 간단히 설명 드리겠습니다.
프롬프트 엔지니어링은 대화형 인공지능 (예: Chat-GPT)에 들어가는 입력 프롬프트를 신중하게 작성하고 개선하여, 원하는 고품질의 응답을 생성하는 과정입니다.
간단히, 어떻게 인공지능에 ‘잘’ 질문 하는지 연구하는 것입니다.
‘수험공부를 하면서 얻은 나름의 노하우들을 프롬프트에 적용하면, 인공지능의 수능 점수가 어디까지 올라갈까?’ 라는 의문이 들었고, 프롬프트 엔지니어링을 통해 적용해 보았습니다.
2. 사용한 프롬프트
어떤 프롬프트를 사용했는지 궁금하시죠?
핵심부터 말씀 드리자면, 지문 속에서 정답과 관련이 있는 문장을 찾도록 한 것입니다.
수험생 시절에 지문에서 ‘1+1=3’ 이라고 한다면 그냥 받아들이고 풀겠다는 마음가짐으로
지문 속에서 근거를 찾는 연습을 하며 기출 문제 분석을 많이 했었는데요,
그 경험을 프롬프트에 반영해 보았습니다.
그 결과 인공지능의 점수가 8점 상승하여 94점이 되었습니다.
지문에서 근거를 찾는 능력의 중요성을 다시 한번 느낄 수 있었고, 수험생분들에게도 공유하고 싶었습니다.
[실제 사용 프롬프트]
위의 프롬프트는 <보기> 가 없는 경우에 사용한 프롬프트 입니다.
저희는 <보기>가 있는 경우와, 없는 경우를 구분하여 프롬프트를 사용하였습니다.
본문이 너무 길어질 것 같아 <보기>가 있을 때 프롬프트는 더 궁금하신 분들이 참고하실 수 있도록
자세한 설명이 있는 링크를 함께 달아두겠습니다 :)
3. 빈출 유형 대응 프롬프트
위의 프롬프트로는 13번, 15번, 40번 문제를 제외하고 모두 풀 수 있었습니다.
GPT-4가 ‘동음이의어’, ‘다의어’ 관련 문제를 못 푸는 것을 확인했습니다.
이에 수험생들이 기출문제로 문제 해결의 방향을 잡는 것처럼,
인공지능에게도 문제를 푸는 방법을 알려주는 13번 문제 맞춤 프롬프트를 제작하기로 했습니다.
[실제 사용한 13번 전용 프롬프트]
(프롬프트에 사용된 표현이 정확한 표현인지는 잘 모르겠습니다..)
제가 이 문제를 실제 시험장에서 만났다면 다음 프롬프트와 같이 행동했을 것이라고 생각하고 작성해보았는데요,
저의 수험생활경험으로 만들어진, 13번 유형의 문제들만 해결할 수 있는 맞춤형 프롬프트 입니다.
오직 ‘지문 속 근거가 된 문장’만으로는 인공지능이 해결하기 어렵다고 판단하여 맞춤형 프롬프트를 제작하였고,
그리하여 13번 문제까지 정답을 맞춰 96점, 1등급에 도달할 수 있었습니다.
하지만 이 프롬프트는 같은 유형의 문제가 나왔을 때에만 재사용 가능한 프롬프트라는 점에 있어서,
완벽한 1등급에는 도달하지 못했습니다.
오지랖일지는 모르겠지만,,,
그래도 인공지능처럼 많은 수험생분들이 시험장에서 만나게 될 다양한 예상 문제들에 대해 나름의 ‘행동 매뉴얼’을 만들어 시험장에 들어가시면,
훨씬 빠르고 정확하게 문제를 해결할 수 있다는 것을 증명한 사례라고 생각하여 가져와 보았습니다 :)
4. 실제 예시
- 17번 문제 (오답률 84.9%)
17번 문제
인공지능 답변
EBS 해설
5. 오답 풀이
23 수능 국어(화법과 작문)에서 15번(비문학)과 40번(화법과 작문) 문제를 GPT-4가 풀지 못했습니다.
왜 오답을 뱉어냈는지 나름대로 설명 해보는 섹션입니다.
- 15번
- 15번 문제의 핵심은 지문으로부터 '100^0.75'와 '1^0.75'를 유도해 무엇이 더 큰지를 구해야 합니다. 이는 GPT-4의 수학 능력 부족으로 두 숫자 중 더 큰 수 찾기를 힘들어 합니다.
- 또한, 지문만 보고 해당 식을 유도하는 것 조차도 힘들어 합니다. 수학적 수식을 이해하고 그것을 선택지에 응용하는 능력이 떨어지기 때문입니다.
- 비슷한 문제로, 문제의 19년도 수능 31번 문제도 '만유인력 공식'을 이해하고 활용해야 풀 수 있는데, 해당 문제 역시 GPT-4는 못 풀었습니다.
- 40번
- 40번에서는 학생 1과 학생 3 '모두' 상대의 발화 내용을 잘못 이해했는지 파악하는 것이 핵심입니다.
- 실제로 해당 부분에서 학생 1은 상대의 발화 내용을 잘못 이해하고 있으나, 학생 3은 그렇지 않습니다.
- 그래서 3번 선지를 정답으로 골랐어야 했지만,
GPT-4는 학생 1이 상대의 발화를 잘못 이해했다고 잘 파악하였으나,
학생 3은 상대의 발화 내용을 이해하고 있다고 파악하여 오답을 고르게 되었습니다. - 비교적 수험생분들에게는 익숙할 수 있는 평가원의 함정 입니다만, 아직 평가원의 함정을 수월하게 빠져나가지 못하는 인공지능입니다
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
아오 머리아파 0
술은 나랑 안맞아 역시
-
내신형 수능형이 나뉘어져 있는게 정말 이상하네요ㅡㅡ
-
ㄹㅇ 양적관계 표 해석 순한맛 문과ver. 느낌이네여 숫자퍼즐 같아서 은근 재미나네...
-
류뚱이 7이닝 2실점 꾸역투로 막는데 안타 1개가 말이냐?
-
지구 3일 벼락 0
문과라ㅏㅏ 지구 3일 벼락치기 해서 내신 할려하는데 가능할까요 5이상 목표에요 중간땐 6이였어요
-
별관은 걸어서 8분 거리 본관은 버스타고 20분 덜 걸리는데 어디가 나을까요? 강대...
-
어우 피곤해 2
-
기하 시발점 안듣고 뉴런부터 시작해도 차이 업을가여. 그냥 지금 정병훈 이니셔티브...
-
고2 정시 계획 0
1년 반 준비해서 서성한 이상 가기 위해 하교 후 학원 없는 날은 잇올ㅇ같은 관리형...
-
확통 막은 데 있을까요 ??
-
서울대 과탐 0
요즘 서울대 지망하시는 분들 투과목 안하고 물1 하시나요???물1표본이...
-
강대 강메 둘 다 전액 장학금입니다 언 확 생 윤 2024수능 54633에서...
-
조정식 커리 타려는데 일단 고1이고 6모 5등급이라 거의 노베이스임.... 보통...
-
어떤 거에 완전히 몰입해봤던 순간이 공부에 중독되게 만드는 듯 말초적인 것들과는...
-
[단독]'국립중앙의료원 차량 돌진' 70대 택시기사도 "급발진" 주장 1
(서울=뉴스1) 이기범 김종훈 기자 = 3일 오후 5시 18분쯤 서울 중구...
-
박선t 코어특강 1
유자분 포지션인가요? 작년에 들어서 같은 포지션이면 코어특강 들으려고하는데
-
담배빵지질까 차에 ㅋㅋ
-
작년 6평 비문학 1틀 문학 8틀에서 올해 6평 비문학 7틀 문학 2틀됨 왜...
-
!!대량 컨텐츠 출현!! 오르비에서 물리학1 강의 합니다. 8
Coming soon
-
고1 3월달 부터 낭먼 정시파이터 엿는데 오늘 수1 삼각도형 수열 범위 시험 62점...
-
부산 본사 ‘컴포즈커피’, 필리핀 대기업에 매각…지분 70% 3300억 원 1
부산 기장에 본사를 둔 저가 커피 프랜차이즈 ‘컴포즈커피’가 필리핀 식품업체에...
-
20번을 풀기 위한 시간이 5분도 안되는걸 감안하면.. 왜 2점인지도 모르겠네요
-
90년대 초반 기준으로 어느정도 되는거임?
-
[단독]상명대 앞 ‘죽음의 언덕’ 버스 노선 폐지 추진 1
[앵커] 가파른 경사로 '지옥의 오르막'이라 불리는 서울 상명대 앞 언덕입니다....
-
ㅇㅈ 6
대충 이렇게 생김 본인 몇타치?
-
엔트로피니 열량보존이니 하던데 그냥 실외기를 달에 설치하면 되는 거 아닌가요?...
-
냉방병인가 0
춥다 근데 받침이 다 ㅇㅇㅇ이네 ㅋㅋㅋ
-
오분후식 2
gt
-
옛날에는 문제 풀리다가 막히고, 푼 답 선지에 없고 하면 등골에 땀이 오지게 났는데...
-
지구과학 4
지구과학 3.4등급 정도 나오는데.. 이훈식 쌤 기출테크트리 2회독 햇거든요?...
-
6평 인증 2
앞으로 더 정진
-
오늘은 비문학 중 기술 지문입니다 특히, 10번과 11번은 높은 수준의 추론을...
-
솔직히 문학 연계는 필수임 본인이 국어 시간이 부족한데 문학 연계 안했다 -> 문학 연계 하셈 ㄹㅇ
-
일단 셤 끝나고 하루정도 놀고 바로 시작할거같은데 셤끝나고 노는기간+방학 하면 한...
-
5개 틀림 하지만 빨랐죠?
-
I’m praying so hard for miracle
-
지문 읽을 때 손가락으로 머리 찌르면서 뇌를 100% 가동한다는 느낌으로 읽으면...
-
개인적으로 둘 중 어느 강의를 수강해야할지 고민하고 있습니다.. 관리나 수업이나...
-
온몸이 쑤시다
-
생1 24 서바이벌 12회.. 9번.. 이거 답 1번 맞나유 혹시.. ㅠ 도와주세요
-
바로풀리네..?
-
너 나한테 안돼.
-
물2보다 생1유전이 더 어렵네 하 유전 어케하지 진짜 뭍2는 그냥 계산산산하면...
-
한명만 살려주겠다고하면 어떤 결정을 할거같나요? 탈출후에 법적책임은 피할수 없다고하면
-
대체 존재 이유가 뭐임
-
그것도 나중에 판사 임용
-
성남에 있는거 아니었나? 인천지하철에서 가천대 옷? 과잠은 아닌데 가천대로고...
-
#동아시아사 #세계사 #수능 #사탐 #사탐런 #대치동 #현강 #현장강의 #시대인재...
-
4규풀고 드릴5 풀고있는데 어려운 문제만 계속 풀어서 좀 22번급 아닌거 풀고...
-
학력고사 전국 수석 서울대법대 수석 입학 2년동안 준비해서 사법시험 수석
우와… 너무 신기해요…
휴 ai 이겼다
이건 제작자가 천재다