#LLM

매주 수요일, 안철준 촌장의 <수요레터>입니다 👀               너무 똑똑한데, 너무 멍청해! AI의 패러독스     생성형AI는 변호사 시험에 합격할 정도로 똑똑해졌습니다. 그런데 아주 상식적인 질문에는 엉뚱한 대답을 하기도 하죠. 어떤 측면에서는 너무 똑똑한데, 또 다른 측면에서는 어린 아이의 판단에도 미치지 못합니다. 대체 왜 그런걸까요? AI 기업들의 얘기처럼 매개변수가 충분히 더 커지고 학습이 더 많이 이루어지면 문제가 해결 될 수 있는 걸까요? 아니면 생성형AI의 LLM (거대 언어 모델)이 인간의 지능을 모방하는데 근본적인 한계가 있는 걸까요?   워싱턴 대학교의 최예진 교수는 2023년 타임지 선정 인공지능 100대 인물에 포함된 유일한 한국인입니다. 작년엔 AI의 근본적인 문제점을 예리하게 지적한 TED 영상이 큰 반향을 일으키기도 했습니다. 지난 수요일이었죠. 제3회 한겨레신문가가 주최한 <사람과 디지털포럼>에 최예진 교수가 기조연설자로 나왔습니다. ‘엄청나게 똑똑한 AI이지만, 충격적일 정도로 멍청한 AI” 에 대한 이야기를 들려주었습니다. 직접 참석한 소감을 정리해 드립니다.   먼저 AI의 멍청한 실수부터 한번 살펴볼까요? 출처 : 한겨레 신문사     AI의 멍청한 실수 ⓵   5개의 옷을 말리는데 5시간이 걸린다면, 그럼 30개의 옷을 햇볕에서 말리는 데 얼마나 시간이 걸리겠냐는 질문을 ChatGPT-4에게 해보았습니다. 상식적인 질문이죠. 태양 아래에서는 10벌이고, 20벌이건 상관없이 말리는 데 걸리는 시간은 다 똑같습니다. 정답은 5시간이죠. 그런데 ChatGPT는 30시간이라고 대답합니다. 나름 수학적으로 논리를 펴가면서요. 출처 : 최예진 교수 기조연설 발표자료   AI의 멍청한 실수 ⓶   테이블에서 플랭크를 하고 있는 우주인을 그려줘 라고 DALL-E 에게 요청했습니다. 그림에서 보는 것처럼 달리는 그럴싸한 4개의 그림을 뚝딱 만들어 냈습니다. 진짜처럼 너무 잘 그린 그림들이죠. 사람은 이렇게 못합니다. 그런데, 만들어진 그림 중에서 어떤 게 정확하게 그린거야? 라고 물어 봅니다. 그런데 이런 상식적인 질문에 오히려 AI는 잘 답변하지 못합니다. 우리 사람에겐 너무 쉬운 일인데 말이죠. 네 개의 그림 중에서 정상적인 플랭크를 하는 그림은 딱 하나 있고, 이건 사실 어린 아이도 너무 쉽게 맞출 수 있습니다. 출처 : 최예진 교수 기조연설 발표자료 출처 : 최예진 교수 기조연설 발표자료   AI 패러독스   변호사 시험에도 합격할 정도로 똑똑한 AI 이지만, 앞서의 이런 지극히 상식적인 상황과 질문들에 정확한 대답을 하지 못하는 일이 AI 세계에는 비일비재합니다. 좀 더 나은 모델이 있고, 좀 못한 모델이 있는 것도 사실이지만, 근본적으로 생성형AI는 사람에겐 너무 어려운 일은 잘해내지만, 반대로 사람에게 너무 쉬운 판단의 문제를 어려워합니다. 이런 역설적인 상황을 AI 패러독스라고 부릅니다.   무엇이 중한디?   최교수는 생성형 AI와 관련해 가장 시급한 과제로 ‘환각(Hallucination)’ 현상과 더불어 윤리·도덕 문제를 지적했습니다. 그는 “인공지능 모델들은 지금 실제 현실과 가상 현실을 명확하게 구분을 못 하고 또한 사실과 거짓을 혼동하고 있다”며 “이는 결국 인공지능이 주입식으로만 질 낮은 데이터까지 습득해 명확한 사실을 제대로 공부하지 못했기 때문”이라고 말했습니다. “우리 시험공부 때 벼락치기 많이 했잖아요? 그런데 그건 급한 시험 준비엔 도움이 좀 되겠지만, 실제로 깊은 공부가 안된다는 걸 알고 있잖아요. 그런데 지금 거대언어모델(LLM)들은 대규모 데이터를 쏟아붓는 ‘주입식 교육’으로 학습하고 있다고 보면 되는 거죠”     LLM의 근본적인 문제   엄청난 데이터를 학습해서 성능을 높혀가는 LLM 기반의 생성형AI들에는 근본적인 문제가 있다는 것을 알아야 합니다. 사실 LLM은 너무 비효율적인 방식입니다. 실제 하나의 질문에 대답할 때 소모되는 에너지가 구글의 검색 방식에 비해서 10배는 더 발생시킵니다. “무엇보다 중요한 핵심은 사람은 AI 학습 방법처럼 이렇게 세상을 이해하지 않는다는 점입니다. 언어와 지식은 동일하지 않습니다. 그래서 기존의 LLM 방식이 아닌 새롭고 효율적이면서 가벼운 접근 방식이 필요한 시점이 되었습니다.”     인간을 위한 AI   “결국은 인공지능은 인간을 위해서 만들어야 한다고 생각한다.” 고 최교수는 말했습니다. 그동안 인공지능 기술 발전이 더뎠을 때는 인공지능 윤리나 도덕 같은 문제가 사실 그렇게 큰 문제는 아니었습니다. 하지만 이젠 충분히 인류에게 엄청난 영향을 미칠 수 있고 앞으로 그 파급력을 더 커질 것입니다. 그래서 처음부터 인간의 가치와 상식 같은 것들을 인공지능에게 잘 가르쳐야 하는 것이 정말로 중요합니다. 미리 준비하지 않으면 나중에 정말 후회할 상황이 벌어질 수도 있을 것이라 최교수는 강조합니다.   이번 포럼에는 최예진 교수 이외에도 이 시대 최고의 SF작가 중 한명인 테드 창, 인지과학자 아베바 비르하네 교수, 베스트셀러 ‘클루지’의 저자로도 유명한 게리 마커스 교수도 연설자로 나왔습니다. 인간에게 유익한 AI 개발을 위한 다양한 방법들이 제시되었습니다. 몇몇 거대기업과 엔지니어들에게만 AI의 발전을 맡겨두기엔 너무 중요하고 심각한 문제가 되었다는 생각이 듭니다. 다양한 분야의 사람들이 모여 진지한 함의와 고민을 시작해야할 시간이 되었고, 그런 의미에서 이번 컨퍼런스의 의미가 있었다고 생각됩니다.   촌장 드림         🤖 놓치면 안되는 중요한 AI 뉴스     런웨이가 오픈AI의 소라에 대적할 비디오 생성 AI를 선보였다 런웨이가 새로운 동영상 생성 AI 모델 &#39;젠-3 알파&#39;를 발표했습니다. 이 모델은 텍스트, 이미지 또는 비디오를 입력으로 사용하여 10초 길이의 고품질 동영상을 90초 안에 생성할 수 있으며, 감정 표현과 카메라 움직임 등을 세밀하게 제어할 수 있습니다. 런웨이는 이번 주말 유료 사용자에게 먼저 공개하며, 이후 무료 사용자에게도 서비스를 확대할 계획입니다. (기사보기)    애플이 오픈소스를? 온디바이스 AI용 모델 오픈소스로 출시 애플이 온디바이스 인공지능(AI) 앱 구축을 위해 사용할 수 있는 대형 언어 모델(LLM)과 데이터셋을 오픈 소스로 공개했습니다. 새로운 코어 ML 모델 20종과 데이터셋 4종은 메모리와 전력 소모를 최소화하여 최적화되었으며, 네트워크 연결 없이 안전하게 사용자의 장치에서 실행됩니다. 전문가들은 애플의 이번 조치가 클라우드에서 엣지 디바이스로 컴퓨팅 파워를 옮기는 추세와 일치한다고 평가합니다.. (기사보기)    메타의 굴복 : 유럽에서 사용자 데이터를 AI 학습용 사용 중단 메타는 유럽 사용자 데이터 사용을 통한 AI 훈련 계획을 규제 압력으로 인해 중단했습니다. 이 조치는 유럽 연합과 영국에서의 데이터 보호 규정에 따른 것입니다. 메타는 이러한 결정이 사용자 프라이버시를 보호하기 위한 것이라고 밝혔습니다. (기사보기)     Apple Intelligence : 애플의 WWDC2024 정리 애플은 WWDC 2024에서 다양한 새로운 기능과 업데이트를 발표했습니다. iOS 18 을 비롯한 여러 OS의 업데이트 내용들이 선보인 가운데, 애플의 새로운 AI 기술인 Apple Intelligence에 대한 발표가 있었습니다. 그 밖의 다양한 내용을 정리한 기사입니다. (기사보기)               

  가장 투명한 인공지능   2023년 4월 14일, OpenAI 는 ChatGPT-4를 정식 출시했습니다. 하지만 구체적인 데이터는 공개하지 않았습니다. 매개변수는 얼마나 되는지, 연산의 규모는 얼마인지, 학습에 사용된 데이터의 크기는 얼마인지와 같은 내용을 모두 비공개로 했습니다. OpenAI 라는 기업의 이름이 무색한 발표였습니다. 하지만, OpenAI 만 그런 것은 아닙니다. 전세계 Big Tech 기업에서 경쟁적으로 준비하고 있는 AI의 자세한 정보는 공개하지 않고 있습니다. 왜 그럴까요? 그리고 이런 폐쇄적인 정책이 AI의 방향에 어떤 영향을 주게 될까요?   OpenAI는 ChatGPT-4를 발표하면서 관련된 데이터를 공개하지 않았다   <뉴옥타임즈>에  &#39;Stanford Is Ranking Major A.I. Models on Transparency&#39; 란 기사가 소개되었습니다. AI 모델들의 투명성에 관련된 내용입니다.  <뉴욕타임즈>에 소개된 AI 모델들의 투명성에 대한 기사. 요즘은 세션에 AI에 관련된 기사를 쉽게 접할 수 있다. <이미지 출처>   어떤 AI 모델의 투명성이 가장 높았을까?     스탠포드 대학교에서 가장 많이 알려진 AI 모델의 투명성과 관련되어 랭킹을 발표했습니다. OpenAI, Google, Meta 와 같은 회사의 AI Model에 대해서는 대부분 비공개를 하고 있습니다. 스탠포드 대학교의 관련 프로젝트를 이끄는 퍼시 리앙(Percy Liang) 은 이렇게 말합니다. "3년 전만 해도 AI 모델에 대한 세부정보를 대부분 공개했습니다. 그런데, 이제는 어떤 모델을 사용하는지, 어떤 프로세스를 가지고, 어떤 데이터를 사용하는 지 등 관련된 정보는 거의 제공하지 않고 있습니다."   스탠포드 대학교는 기초 모델 투명성 지수(The Foundation Model Transparency Index) 라는 100가지 기준을 만들어 가장 많이 알려진 10개의 LLM 을 비교하여 그 순위를 공개한 겁니다.  가장 많이 알려진 AI 모델에 대한 투명성 랭킹. Meta의 LLaMA2 가 1위를 했다. ChatGPT-4는 3위이다. 그런데 랭킹보다 중요한 것은 절대적인 점수 자체이다  <이미지 출처>   10개의 모델 중 가장 높은 점수를 받은 LLM은 Meta의 LLaMA 2로 선정되었고, 점수는  54%였습니다.  GPT-4는 48%로 세 번째로 랭킹되었구요. 하지만 중요한 것은 사실 1위를 한 LLaMA2도 100점 만점에 54점이라는 턱없이 낮은 점수를 받았다는 점입니다. 그만큼 AI 모델 기업 어디도 적절한 투명성을 제공하지 못하고 있다는 증명입니다.     AI 모델 정보를 공개하지 않는 이유   AI 기업들이 자신들의 AI 모델에 대한 정보를 공개하지 않는 주된 이유를 일반적으로 세 가지를 듭니다. 첫째는 소송입니다. 일부 AI 기업들은 자사의 AI 의 학습을 위해 웹상의 작가, 예술가, 미디어 회사의 저작물들을 무차별적으로 사용했다고 알려지고 있습니다. 이에 대한 소송 들이 진행되고 있는데 대부분 오프 소스 AI 프로젝트를 타겟으로 하고 있습니다. 그렇기 때문에 무분별한 소송에 자신들을 보호하기 위해선 부득이 비공개를 할 수 밖에 없다고 주장합니다.   둘째는 경쟁입니다. 군수경쟁과 같은 치열한 경쟁이 AI 산업에서 진행되고 있습니다. 작은 차이가 순식간에 경쟁력을 앗아가 버릴 수도 있는 상황에서 자신들의 정보를 오픈할 수 없다는 논리입니다. 보다 나은 데이터 세트, 파인 튜닝에 대한 미세한 노하우 및 최적화 등과 같은 노하우는 쉽게 경쟁업체에서 카피할 수 있는 내용들입니다.   셋째는 안전입니다. AI 모델에 대한 내용이 모두 오픈되면 훨씬 더 빠르고 거대한 혁신이 AI 분야에 일어날 텐데, 그런 폭발적인 확산을 제어하기 어려워진다는 주장입니다. AI 기술이 인류에 커다란 영향을 미칠 수 있기에 더욱 안전한 방식으로 처리되어야 한다고 주장하고 있죠.   개발 커뮤니티로 유명한 는  28%나 되는 인력을 감축했다고 발표했다. ChatGPT 때문에 사용자수가 급감했다고 알려졌다. ChatGPT는 나 의 데이터를 학습했다. 이런 상황 속에서 기존의 데이터를 가지고 있던 기업은 어떤 선택을 할 수 있을까? <이미지 출처>     하지만 스탠포드 대학교 연구원들은 AI 기업들의 주장을 반박하고 나섭니다. AI 기업들이 말하는 비공개에 대한 이유는 합리적인 근거가 부족하다고 말합니다.   1. 소송 : AI 기업의 경영진들이 소송을 걱정한다면 증거를 숨기기보다는 저작권이 있는 정보를 사용하여 모델을 학습함으로써 공정한 생태계를 만들어가야 하고   2. 경쟁 : 경쟁사에게 영업 비밀이 누설되는 것이 걱정된다면 다른 유형의 정보를 공개하거나 특허를 통해 아이디어를 보호할 수 있을 것입니다.   3. 안전 : 안전을 걱정한다고 했는데, 제어하기 어려울 만큼의 경쟁은 이미 일어나고 있는 현실이 아닌가요? 이것을 숨긴다고 해결될 수는 없다고 봅니다.   스탠포드 연구진들은 AI 모델이 점차 강력해질 수도록 더욱 더 많은 정보가 공개되어야 한다고 주장합니다. AI의 능력이 더 올라가고 더 많은 사람들이 사용하게 될 수도록, AI가  어떻게 작동하고, 그 한계는 무엇이고 또한 얼마나 위험할 수 있는 지 등의 정보를 알고 있어야지만 이에 대한 적절한 대처를 할 수 있다는 이야기입니다.  어둠 속에서 AI 혁명을 기대할 수는 없습니다. AI가 우리 삶을 변화시키기 위해서는 AI 내부의 블랙박스를 들여다보아야만 합니다.         당신의 의견은 어떻습니까? 엄청난 자본과 리소스가 투여되면서 AI 군비 경쟁이 현실로 나타나고 있습니다. 2차 세계대전 당시 핵폭탄 개발에 사활을 걸었던 국가간의 경쟁이 결국 어떤 결말을 맺었는지는 역사를 통해 잘알고 있지 않습니까? 어쩌면 AI는 핵폭탄보다도 훨씬 더 우리 삶에 돌이킬 수 없는 영향을 미치게 될 지 모릅니다. 삶의 아주 세부적인 곳까지 AI 가 영향을 미치게 될 때 우리는 어떻게 우리 자신을 지켜나갈 수 있을까요?    기초 모델 투명성 지수 사이트를 방문하면 다음과 같은 메시지를 만날 수 있습니다.     이러한 모델의 사회적 영향은 증가하는 반면 투명성은 감소하고 있습니다. 이러한 추세가 계속된다면 인공지능의 기반 모델은 소셜 미디어 플랫폼 및 기타 이전 기술만큼 불투명해지며 똑같은 실수를 반복할 수 있습니다 While the societal impact of these models is rising, transparency is on the decline. If this trend continues, foundation models could become just as opaque as social media platforms and other previous technologies, replicating their failure modes.     AI가 이런 사악한 모습을 할 가능성은 거의 없다,   촌장 드림

    <21세기 오펜하이머>     크리스토퍼 놀란 감독의 <오펜하이머> 가 화제였습니다. 이 영화는 미국의 핵개발 프로젝트인 맨해튼 프로젝트에 참여해 원자폭탄을 개발한 오펜하이머에 대한 내용을 다루고 있죠. 핵폭탄 개발과 관련된 긴박한 시대 상황 속에서 핵폭탄이라는 인류 멸망의 도구를 개발한 오펜하이머의 인간적인 갈등을 이야기 하는 영화입니다. 그렇다면 <21세기 오펜하이머>는 어떤 이야기가 될 수 있을까요? 아마도 AI에 대한 영화가 될 것입니다. 감당할 수 없는 속도로 발전하고 확장하고 있는 AI 기술 앞에서 놀라움과 함께 두려움이 드는 것도 사실입니다. AI는 인류의 번영을 위해 잘 사용될 수 있을까요? 아니면 예상치 못한 폭주로 인류의 멸망을 초래할 수도 있을 위험한 무기가 될까요?    2023년 최고의 영화 중 하나가 아닐까? 크리스토퍼 놀란. 정말 믿고 보는 감독이다.   워싱턴 대학교의 컴퓨터 공학부 교수인 최예진 교수의 TED 영상을 간략히 소개해 드리려고 합니다. 제목은 <왜 AI는 믿을 수 없을 정도로 똑똑하면서도 놀라울만치 멍청한가 Why AI is incredibly smart and shockingly stupid > 입니다. (영상 원본 보기) AI 의 방향성에 대해서 관심이 있으신 분들이라면 꼭 한번 전문을 들어보시길 추천 드립니다. 간단히 중요한 부분만 정리해서 각색해 드립니다. 최교수의 한국형 발음은 듣기에 훨씬 편하다 ( 출처 : TED ) LLM (Large Language Model)의 근본적인 문제   ChatGPT는 놀라운 성과를 보여주고 있습니다. 변호사 시험에 우수한 성적으로 합격하고, 대학입시 수학문제를 풀고, 사진을 보면서 맥락을 분석하기도 합니다. 마치 일반인공지능 (Artificial General Intelligence)이 곧 다가올 것 같은 예감입니다. 그런데 이렇게 놀라운 성과의 이면에는 AI의 문제점들도 존재합니다.   (1) 엄청난 규모의 AI 모델 개발에는 천문학적인 비용이 들고, 이를 감당할 기업은 아주 소수에 불과합니다. AI 기술이 몇 개의 기업에 독점되어 갑니다.   (2) AI의 안전을 고민해야 할 수많은 연구기관들이 이런 모델을 검사하고 분석할 수단이 없기 때문에 이런 소수의 기업을 제어할 방법이 없습니다.   (3) 이런 대규모 AI 개발에 따르는 엄청난 탄소 배출과 환경에 미치는 영향이 더욱 심각해 집니다.   그리고 또다른 문제는 좀 더 근원적인 물음에 대한 내용입니다. AI 가 진정으로 인류에게 안전할 수 있을까 라는 문제죠. 2023년은 OpenAI 가 세상을 집어삼킨 해이다   상식 없는 AI   ChatGPT-4에게 이런 질문을 했습니다.   Prompt) "옷 5 벌을 햇볕에 말리도록 놔두었는데, 완전히 마르는 데 5시간이 걸렸다고 가정해 보자. 그러면 옷 30벌을 말리는 데 걸리는 시간은?" ChatGPT) "30시간이 걸립니다."   어떤가요? 좋지 않은 답변이죠. 변호사 시험에 합격할 정도로 똑똑하지만 반면에 이런 기본적인 상식에서 무작위적으로 실패한 AI에 대해 우리는 얼마나 신뢰할 수 있을까요?   규모 낙관론자들은 "더 많은 데이터로 훈련하면 해결될 수 있다" 고 말합니다. 하지만 이렇게 생각해보죠. 왜 꼭 그렇게 해야하는거죠? 인간은 이런 대답을 얻기 위해 1조개의 단어를 학습하지 않습니다. 기계는 상식 그리고 사물과 현상에 대한 가치를 이해하지 못하기 때문에 이런 스케일적인 학습 방법에는 근본적으로 구멍이 있기 마련입니다.   Nick Bostrom 의 유명한 사고 실험이 있습니다. 종이 클립을 최대한 생성하라는 명령을 AI에게 내린다면 어떻게 할까요? 중간 과정의 목표와 인간 가치에 대한 이해가 없기 때문에 AI는 최종 목적을 위해 모든 나무를 죽일 수도 있습니다. 실제로 AI가 종이 클립의 생산을 최대화 하는 과정에서 하지 말아야할 일들은 너무도 많습니다. "가짜 뉴스를 만들지 말라" "도둑질 하지 말라" 거짓말 하지 말라" 등과 같은 것이죠. 이런 모든 것들은 세상이 어떻게 작동하는 지에 대한 우리 상식의 일부분입니다. 언어모델은 지식 모델과 동일하지 않다라는 것을 자각해야 합니다. 이런 단순한 질문에 엉뚱한 대답을 하곤 한다. 이 발표영상의 제목은 너무도 적절하다. "너무나 똑똑하지만, 반면 어처구니 없이 멍청한 AI"   가장 높은 빌딩으로는 달에 도달할 수 없다.   세계에서 가장 높은 건물을 계속 높이 쌓는다고 해서 달에 도달할 수는 없습니다. 달에 도달하기 위해서는, 새로운 접근 방식이 필요합니다. 문샷 (Moon Shot) 이 있어야 하는거죠. 지금과 같은 LLM 방식으로는 신뢰할 수 있는 지식모델로 사용하기는 적합하지 않을 수 있습니다. 이러한 언어 모델은 상상할 수 없을 만큼 거대한 양의 지식을 습득하지만 이런 지식은 목표가 아닌 부산물일 뿐입니다. 할루시네이션, 상식의 부족 등과 같은 부작용은 원천적으로 LLM에 존재할 수 밖에 없습니다.   반대로 인간의 학습은 다음에 어떤 단어가 나올지를 확률적으로 예측하는 것이 아니라, 세상을 이해하고 세상이 어떻게 작동하는지 배우는 과정입니다. AI 도 이러한 방식으로 훈련해야할 것입니다. 우리 연구실에서는 심층 신경망을 이용하여 작은 상식 모델로 분할된 학습모델을 사람들이 검토하고 수정할 수 있도록 공개하고 있습니다. 물리, 사회, 시각적 상식 뿐 아니라 정신, 규범, 도덕에 이르는 불가능해 보이는 거대한 상식 퍼즐을 다루려고 노력합니다. 각 개별 조각들은 불완전해 보일 수 있지만, 이런 조각들이 서로 연결되면 더 큰 차원에서 인간의 경험과 상식이라는 직물(Tapestry)로 엮어 완성될 수 있을 것입니다. <문샷 띵킹>은 완전히 다른 차원의 목표에 도달하기 위해서는 생각의 접근 방식 자체를 바꿔야 한다고 말한다.   ChatGPT가 쏘아올린 거대언어모델을 기반으로 하는 AI의 개발 경쟁은 마치 2차 세계 대전 당시 핵무기를 개발하려고 했던 나라들의 상황과 비교될 수 있을 것입니다. 모든 것을 걸고 핵무기를 개발했지만 정작 자신이 만든 결과를 통해 인류가 멸망할 수도 있다는 자각을 했던 오펜하이머 처럼, 지금의 우리는 AI 라는 완전히 다른 형태의 놀라운 기술 진보 앞에서 어디로 가야할 지 혼동스러워하고 있습니다. 이럴 때야말로 인류 공동체의 함의를 하나로 모아야할 때라 생각합니다. 지난 5월 30일에 AI 안전센터 CAIS ( https://www.safe.ai/ ) 의 성명서에는 AI의 대부인 제프리 힌턴, OpenAI CEO인 샘 알트먼, Google DeepMind의 CEO 데미스 하사비스, 게이트 재단의 의장 빌 게이츠 등 전세계 AI 산업을 리딩하는 400여명의 전문가들이 서명을 했습니다. 선언문의 내용은 딱 한줄에 불과합니다.      "AI 로 인한 인류 멸종 위험을 완화하는 것은 팬데믹, 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 전 세계적인 우선순위가 되어야 한다" 선언문은 딱 22단어에 불과하지만 내용은 사뭇 묵직하다. 문제는 이런 선언문이 과연 어떤 구속력을 가질 수 있을까 하는 것이다. OpenAI가 이 선언문에 기초해서 ChatGPT 개발 방향을 바꿀 수 있을까? 우리는 구글의 악이 되지 않겠다는 초기 선언과 사람을 연결하겠다는 페이스북의 창업 목적이 얼마나 변질되어갈 수 있는지를 생생히 목격하고 있다.     너무 서두르지 않았으면 좋겠습니다. 잠깐 멈추고 지금 우리가 어디에 있고, 앞으로 어디로 나아가야 할 지 함께 이야기하는 시간을 가지면 좋겠습니다. 세상 모든 순리가 동작하는 방식에는 서두름은 없습니다. 잠시 멈춰 서는 것이 필요하다. 기술 뿐 아니라, 우리 일상도 마찬가지다.   아이스커피 한잔의 여유로움을 느끼며 촌장 드림  

    ChatGPT는 흐릿하다     2023년은 AI의 해라고 해도 과언이 아닐 것입니다. ChatGPT 가 쏘아올린 AI의 놀라운 성과를 지켜보면서 기존의 기술과 비즈니스 영역에 AI를 접목하려는 엄청한 시도와 투자가 이루어지고 있죠. OpenAI의 ChatGPT는 불과 2개월만에 월 1억명의 사용자를 달성했다. (최근 메타의 &#39;스레드&#39;가 5일만에 가입자 1억명을 돌파하는 기록으로 ChatGPT의 기록이 무색하게 되기는 했지만) 대형 언어 모델 (LLM)을 활용한 수많은 사례들이 쏟아지면서 AI의 엄청난 능력에 놀라와하면서도 반면 여전히 제한된 한계점도 드러나고 있습니다. 어떤 형태로든 패턴이 존재하는 분야에서는 GPT (Generative Pre-Trained Transformer)는 엄청난 위력을 발휘할 수 있습니다. 하지만 명백하고 확실한 사실을 다루는 분야에서는 오히려 한계와 문제가 지적되기도 하죠. 일명 할루시네이션 (Hallucination) 이라고 불리는 증상입니다. 명박한 거짓말을 아주 태연스럽게 진실인 것처럼 대답하는 문제이죠. ChatGPT는 참인지 거짓인지를 판별하는 문제에 취약하다고 알려져 있습니다. 트랜스포머 모델이라는 것이 아주 그럴듯한 대답을 잘 짜깁기해서 내놓는 방식이라서 그렇습니다. 할루시네이션의 원뜻은 &#39;환각&#39;을 의미한다. ChatGPT가 약을 했다는 의미였을까?    ChatGPT의 한계와 가능성에 대한 흥미로운 에세이가 있어서 간단히 소개해 드리려고 합니다. SF 작가 테드 창 (Ted Chiang)이 2023년 2월에 <뉴요커 New Yorker>에 실은 칼럼인데요, 제목은 &#39;ChatGPT는 웹의 흐릿한 JPEG이다&#39; 입니다. <뉴요커> 에 실린 테드 창의 칼럼 표지 ( 원본 보기) 참고로 테드 창 (Ted Chiang)은 제가 가장 좋아하는 SF 작가입니다. 2004년에 국내 출시한 <당신 인생의 이야기>와 2019년 출간된 <숨> 이렇게 두 편의 중단편집 밖에는 없지만 현존하는 가장 위대한 SF 작가라는 명성을 얻고 있습니다. 테드 창의 <당신 인생의 이야기> 속의 <네 인생의 이야기 Story of Your Life> 는 드니 빌뇌브 감독의 <컨택트 Arrival, 2017>로 영화화되어 호평을 받기도 했죠. 정말 대단한 작가입니다. 꼭 한번 읽어보시길 권합니다.   테드 창의 칼럼의 내용을 재각색해서 정리해 드립니다. (원본 보기)   2013년에 독일의 건설회사 직원들이 제록스 복사기를 통해 출력된 설계도에서 이상한 점을 발견했어요. 각 방의 치수가 잘못 표기되어 있었던 거죠. 대체 어디서 문제가 발생했는지 확인하다가 제록스 복사기의 디지털 전환 방식의 알고리즘에서 바로 그 원인을 발견했습니다. 복사기가 원본의 이미지를 과도하게 압축하고 복원하는 과정에서 설계도 내의 다른 숫자들을 이용해서 수정 변경해 버렸다는 사실이죠. 잘 보이지 않는 영역을 그냥 흐릿하게 처리하면 될 것을 복사기가 사람이 읽을 수 있는 숫자로 생성(Generation)해서 마치 이것이 정확한 값처럼 보이게 만들었다는 게 문제였습니다. 2013년 제록스의 복사기는 과도하게 압축하고 복원하는 과정에서 숫자의 정보를 왜곡했다.  제록스 사의 복사기의 문제는 OpenAI의 ChatGPT과 같은 유사한 프로그램에 대해 시사하는 바가 있다고 생각합니다. 압축이라는 과정은 무손실 압축과 손실 압축으로 나눠지게 되는데, 효율을 위해서는 통상 손실 압축 방법을 쓰게 됩니다. 사진이나 오디오, 비디오와 같이 절대적인 정확도가 필요하지 않은 정보에서 광범위하게 사용되고 있죠. 당연히 압축율이 높으면 복원된 정보의 해상도는 떨어지게 됩니다. 이런 압축 방식에서 보편적으로 사용하는 방식은 보간법 (interpolation) 입니다. 손실된 정보를 주변의 정보를 이용한 평균으로 유추해서 계산해 넣는 방식입니다. 그래서 압축률이 높으면 JPEG 이미지는 흐리게(Blurry) 보일 수 밖에 없는 거죠. 왼쪽의 영상이 과하게 압축되어 이미지가 흐릿하게 보인다. (참고로, 이 여자 이미지는 영상 압축 관련된 논문의 레퍼런스처럼 쓰이고 있다. 누굴까? )   ChatGPT가 정보를 처리하는 방식은 이와 유사합니다. 웹에서 찾은 정보를 다른 유사한 단어를 사용하여 다시 포장하는 ChatGPT는 흐린 JPEG 로 생각할 수 있습니다. 정확한 내용이 아니라 있을 법한 근사치의 정보입니다. 하지만 이런 근사치의 정보가 텍스트 형식으로 제시되기 때문에 ChatGPT는 뛰어난 답변을 하는 것처럼 보이며, 흐린 JPEG 이미지를 보고 있지만 (명쾌한 문법을 통해) 마치 명확하게 보이는 것처럼 속이고 있는거죠. 이것이 바로 할루시네이션의 원리 입니다.     이러한 대형 언어 모델 (LLM)은 전통적인 검색 엔진을 대체할 수 있을까요? 웹의 정보를 최대한 압축하여 표현할 수 있는 ChatGPT의 성능을 생각한다면 놀랍기도 하지만 반면 중요한 부분들이 완전히 조작되었을 가능성을 배제할 수 없습니다. 그 결과에 얼마만큼의 진실인 정보가 포함되어 있고, 또 얼마만큼의 흐림(Blurry)이 포함되어 있을지 구분할 수 있는 방법이 반드시 제시되어야 할 것입니다.     대형 언어모델을 이용하여 웹콘텐츠를 생성하는 것은 좋을까요? 많은 콘텐츠 업체들이 AI를 이용하여 새로운 창작물들을 쏟아 내고 있습니다. AI가 이러한 웹 정보들을 이용하여 계속해서 학습을 진행해 나간다면 어떻게 될까요? 복사를 계속해서 반복해서 진행하는 것은 (손실 압축 방식을 이용해서) 정보의 퀄리티가 점점 낮아진다는 의미일 것입니다. AI 기업은 학습 데이터의 선별 과정과 정책 그리고 출력의 품질에 대한 신뢰를 어떻게 계속 향상시켜나갈 것인지의 고민을 계속해 나가야만 하고 개선할 것입니다.     대형 언어 모델이 원작의 작품성을 도와줄 수 있을까요? Xerox 아트, 또는 사본 아트라는 장르의 예술이 있습니다. 기존 작품을 재해석하여 새롭게 창조하면서 원래의 작품을 더욱 흥미롭게 만들 수 있습니다. 이런 재해석의 흐림(Blurry)은 대형 언어 모델이 창작에 기여하는 긍정적인 것으로 생각할 수 있습니다.   대형 언어 모델과 JEPG 압축에 대한 비교는 AI가 어떤 문제와 기회를 가지고 있는지 이해하는데 도움을 줄 수 있습니다. 기술의 한계와 가능성을 이해하고, 인공 지능 시스템이 생성한 내용을 비판적으로 검토하고, 특히 문제가 되는 경우엔 원본 정보와 비교하며 판단하는 것이 앞으로 더욱 중요해질 것입니다.   AI는 정말 흥미로운 분야입니다. 기술이 인문과 엮여 완전히 새로운 도메인을 창출하기 때문이죠. 아마도 점점 더 흥미로워질 겁니다.   촌장 드림