일본은 미국 회사 OpenAI가 만든 인공지능(AI) 챗봇인 ChatGPT의 자체 버전을 구축하고 있습니다. 이 챗봇은 공개된 지 불과 1년이 채 되지 않아 전 세계적으로 센세이션을 일으켰습니다.
일본 정부와 NEC, Fujitsu, SoftBank와 같은 대형 기술 기업은 LLM(대형 언어 모델)으로 알려진 동일한 기본 기술을 기반으로 하지만 일본어를 사용하는 AI 시스템을 만드는 데 수억 달러를 투자하고 있습니다. 영어 버전의 번역보다는.
“GPT와 같은 현재의 공공 LLM은 영어에 뛰어나지만 알파벳 체계의 차이, 제한된 데이터 및 기타 요인으로 인해 일본어에는 부족한 경우가 많습니다.”라고 일본 도호쿠 대학의 자연어 전문 연구원인 Keisuke Sakaguchi는 말합니다. 처리.
영어 편견
LLM은 일반적으로 공개적으로 이용 가능한 소스에서 얻은 엄청난 양의 데이터를 사용하여 자연스러운 말과 산문의 패턴을 학습합니다. 그들은 텍스트의 이전 단어를 기반으로 다음 단어를 예측하도록 훈련되었습니다. ChatGPT의 이전 모델인 GPT-3이 학습한 텍스트의 대부분은 영어였습니다.
인간과 같은 대화를 나누는 ChatGPT의 섬뜩한 능력은 연구자들을 기쁘게 하고 우려하게 만들었습니다. 어떤 사람들은 이를 잠재적인 노동 절약 도구로 보고 있습니다. 다른 사람들은 그것이 과학 논문이나 데이터를 조작하는 데 사용될 수 있다고 걱정합니다.
일본에서는 다른 언어로 된 데이터 세트로 훈련된 AI 시스템이 일본의 언어와 문화의 복잡성을 파악하지 못한다는 우려가 있습니다. 일본어의 문장 구조는 영어와 완전히 다릅니다. 따라서 ChatGPT는 일본어 쿼리를 영어로 번역하고 답변을 찾은 다음 응답을 다시 일본어로 번역해야 합니다.
영어의 글자 수는 26개에 불과한 반면, 일본어는 48개의 기본 문자 두 세트와 일반적으로 사용되는 한자(한자) 2,136개로 구성됩니다. 대부분의 한자는 2개 이상의 발음을 갖고 있으며, 드물게 사용되는 한자가 5만 개 정도 존재합니다. 이러한 복잡성을 감안할 때 ChatGPT가 언어에 어려움을 겪을 수 있다는 것은 놀라운 일이 아닙니다.
일본어에서 ChatGPT는 “때때로 대부분의 사람들이 이전에 본 적이 없는 매우 희귀한 문자를 생성하여 알 수 없는 이상한 단어가 생성됩니다”라고 Sakaguchi는 말합니다.
문화적 규범
LLM이 유용하고 상업적으로 실행 가능하려면 언어뿐만 아니라 문화적 관행도 정확하게 반영해야 합니다. 예를 들어, ChatGPT가 입사 지원서 이메일을 일본어로 작성하라는 메시지를 받으면 표준적인 공손함 표현이 생략되어 명백한 영어 번역처럼 보일 수 있습니다.
LLM이 일본 문화에 얼마나 민감한지 측정하기 위해 연구원 그룹은 LLM이 일본 주제에 대한 개방형 질문에 얼마나 잘 답변할 수 있는지 순위를 매기는 Rakuda를 출시했습니다. Rakuda의 공동 창업자인 Sam Passaglia와 그의 동료들은 ChatGPT에 표준 프롬프트에 대한 답변의 유동성과 문화적 적절성을 비교해달라고 요청했습니다. 결과 순위를 매기기 위해 도구를 사용한 것은 6월에 출판된 사전 인쇄를 기반으로 한 것인데, 이는 GPT-4가 인간 검토자와 87%의 시간 동안 동의한다는 것을 보여줍니다.1. 일본 최고의 오픈 소스 LLM은 Rakuda에서 4위를 차지했으며, 경쟁 심사위원이기도 한 점을 고려하면 당연하게도 1위는 GPT-4입니다.
“확실히 일본어 LLM은 훨씬 나아지고 있지만 GPT-4보다 훨씬 뒤떨어져 있습니다”라고 도쿄 대학에서 일본어 모델을 연구하는 물리학자인 Passaglia는 말합니다. 그러나 그는 원칙적으로 일본 LLM이 미래에 GPT-4와 같거나 이를 능가할 수 없을 이유가 없다고 말합니다. “이것은 기술적으로 극복할 수 없는 것이 아니라 단지 자원의 문제일 뿐입니다.”
일본어 LLM을 만들기 위한 대규모 노력 중 하나는 세계에서 가장 빠른 일본 슈퍼컴퓨터인 Fugaku를 사용하여 주로 일본어 입력을 훈련하는 것입니다. Tokyo Institute of Technology, Tohoku University, Fujitsu 및 정부 지원 RIKEN 연구 센터 그룹의 지원을 받아 최종 LLM이 내년에 출시될 예정입니다. GPT-4 및 기타 독점 모델과 달리 모든 사용자가 코드를 사용할 수 있도록 다른 오픈 소스 LLM에 합류할 것입니다. 프로젝트에 참여한 Sakaguchi에 따르면 팀은 출력에 영향을 미치고 크기에 대한 척도 역할을 할 수 있는 값인 최소 300억 개의 매개변수를 제공하기를 희망합니다.
그러나 Fugaku LLM은 더 큰 규모의 LLM으로 이어질 수도 있습니다. 일본 문부과학성은 출판된 연구로부터 학습하여 과학적 가설을 생성하고 조사 대상 식별 속도를 높이는 과학적 요구에 맞춰 조정된 일본 AI 프로그램 개발에 자금을 지원하고 있습니다. 모델은 GPT-3 크기의 절반이 조금 넘는 1,000억 개의 매개변수로 시작할 수 있으며 시간이 지남에 따라 확장됩니다.
RIKEN 바이오시스템 역학 연구 센터의 부국장인 Makoto Taiji는 이 프로젝트에 대해 “우리는 과학 연구 주기를 획기적으로 가속화하고 검색 공간을 확장하기를 희망합니다”라고 말합니다. LLM 개발에는 최소 300억 엔(2억 400만 달러)이 소요될 수 있으며 2031년에 공개될 것으로 예상됩니다.
확장 기능
다른 일본 기업들은 이미 자체 LLM 기술을 상용화하고 있거나 상용화할 계획을 갖고 있습니다. 슈퍼컴퓨터 제조사 NEC는 지난 5월부터 일본어 기반의 생성 AI를 사용하기 시작했으며 내부 보고서 작성에 필요한 시간을 50%, 내부 소프트웨어 소스 코드를 80% 단축한다고 주장합니다. 지난 7월, 회사는 고객에게 맞춤형 생성 AI 서비스를 제공하기 시작했습니다.
NEC Data Science Laboratories의 선임 수석 연구원인 Masafumi Oyamada는 “금융, 운송 및 물류, 유통 및 제조 등 광범위한 산업 분야에서” 사용될 수 있다고 말합니다. 그는 연구자들이 코드 작성, 논문 작성 및 편집 지원, 기존 출판 논문 조사 등의 작업에 이를 활용할 수 있다고 덧붙였습니다.
한편 일본 통신업체 소프트뱅크(SoftBank)는 일본어 텍스트로 훈련된 생성 AI에 약 200억 엔을 투자하고 있으며 내년에 자체 LLM을 출시할 계획입니다. 4천만 명의 고객을 보유하고 있으며 OpenAI 투자자인 Microsoft와 파트너십을 맺고 있는 Softbank는 기업이 비즈니스를 디지털화하고 생산성을 높이도록 돕는 것을 목표로 한다고 밝혔습니다. SoftBank는 자사의 LLM이 대학, 연구 기관 및 기타 조직에서 사용될 것으로 기대하고 있습니다.
한편, 일본 연구자들은 정확하고 효과적이며 일본산 AI 챗봇이 과학을 가속화하고 일본과 세계 나머지 지역 간의 격차를 해소하는 데 도움이 될 수 있기를 바라고 있습니다.
“ChatGPT의 일본어 버전이 정확하게 만들어지면 일본어를 배우거나 일본에 대해 연구하려는 사람들에게 더 나은 결과를 가져올 것으로 기대됩니다”라고 게이오대학교 의과대학 의료 기술 연구원인 키노시타 쇼타로(Shotaro Kinoshita)는 말합니다. 도쿄. “결과적으로 국제공동연구에 긍정적인 영향을 미칠 수 있을 것”이라고 말했다.
이 기사는 허가를 받아 복제되었으며 2023년 9월 14일에 처음 게시되었습니다.
