AI 폭주에 대한

유발 하라리의 경고

• <사피엔스>의 유발 하라리가 6년만에 신작을 발표했습니다.
• 인류사를 관통하는 커다란 맥락을 통해 역사를 풀어내는 능력은 <총.균.쇠>의 제러드 다이아몬드 이후 최고로 평가받고 있는 작가가 바로 유발 하라리 입니다.
• <사피엔스>의 후속작인 <호모 데우스>를 통해서는 인류 미래에 대한 대담한 전망을 내놓기도 했습니다.
• 이번 최신작 <넥서스>에 이르러서는 기술, 특히 정보라고 하는 인류의 도구가 어떻게 인류의 문명을 바뀌어 왔고, 최근 AI 기술이 인류에게 어떤 의미로 다가오게 될 지에 대한 강력한 목소리를 담고 있습니다. 
• 이번 <수요레터>에서는 유발 하라리의 6년만의 신작 <넥서스>의 핵심 내용을 정리해 보겠습니다.

인류는 더 강해졌는데, 왜 더 지혜로워 지지 않았을까?

• 유발 하라리는 우리에게 이렇게 질문합니다.

"우리 인류는 점점 더 강해지고 있는데, 과연 인류의 지혜도 그만큼 늘었을까?"

"우리가 정말 현명하다면, 인류는 왜 이렇게 자기 파괴적일까?" 

• 그 이유를 기본적으로 인간 본성의 치명적인 결함에서 찾을 수 있을 것입니다. 
• 파에톤 신화가 있습니다. 파에톤은 태양신 헬리우스의 아들입니다. 그는 자신이 신의 아들임을 증명하고 싶어서 헬리우스가 모는 태양 마차를 몰게 해달라고 조릅니다.
• 헬리우스는 아들의 설득에 어쩔 수 없이 마차를 빌려주게 되지만, 파에톤은 신의 마차를 제대로 제대로 조정할 수가 없습니다.
• 태양의 마차는 미쳐 날뛰며 세상을 불바다로 만들었고 보다 못한 제우스는 벼락으로 파에톤을 내리쳐 이 폭주를 멈추게 합니다.
• 힘을 향한 인간의 욕구는 끝이 없고 결국 그 힘을 얻는데 성공하지만 통제할 수 없는 힘을 가진 인간은 실패할 수 밖에 없음을 보여주는 신화입니다.
• 인간 본성의 나약함을 보여주는 흥미로운 이야기인데요.
• 하지만, 유발 하라리는 인류의 욕망은 개인의 일탈의 문제가 아니라 네트워크의 문제점에서 근본적인 원인을 찾고 있습니다.

네트워크의 마법과 함정

• 유발 하라리는  인간의 힘은 개인이 아닌, 대규모 협력 네트워크에서 나온다고 말합니다.

“인간은 대규모 협력 네트워크를 구축함으로써 막대한 힘을 얻었지만 바로 이 네트워크를 구축 하는 그 방식 때문에 애초에 힘을 지혜롭게 사용하기가 쉽지 않다.

즉 우리의 문제는 네트워크 문제이다.”

• 개별적인 정보와 지식은 네크워크를 통해 강해지지만, 그런데 바로 그 연결성, 고유한 네트워크의 구조 때문에 그 힘이 지혜롭게 쓰이기 어렵다고 주장합니다.  
• 대규모 네트워크는 종종 허구와 환상에 의존하게 되는 경우가 발생하고, 이런 상황에서는 치명적인 문제가 일어나곤 하죠. 
• 연결된 네크워크가 거대한 힘이 되는 순간, 그 방향성이 자칫 엉뚱하게 사용될 수 있다는 건데요.
• 그런 대표적인 예가 바로 나치즘이나 스탈린주의입니다. 당시 대다수의 독일인과 러시아인들은 사이코패스가 아닌 지극히 정상적인 사람들이었습니다. 
• 조지 오월이 얘기한 “무지가 힘이 된” 무서운 사례라고할 수 있을 겁니다. 

'정보 = 지혜'라는 달콤한 착각

• "정보가 많아지면 지혜도 늘어날 거야." 라고 많은 분들이 이렇게 생각하실 겁니다. 사실 대규모의 네트워크가 인류의 복지와 번영을 위해 선용된 사례도 무수히 많습니다.
• 의학, 물리학, 경제학 등 정보와 지식이 널리 퍼지면서 세상은 더 살기 좋은 곳으로 변화된 부분도 있죠.
• 하지만 항상 그럴까요? 정보의 양이 충분히 많으면 이는 진실로 이어지고 이런 진실의 힘은 지혜로 이어지는 수순이 당연한 걸까요?
• 하라리는 이런 생각을 '정보에 대한 순진한 관점'이라고 부릅니다.
• 어떤 진실을 발견한다고 해서 이런 결과물을 지혜롭게 사용되리라 전적으로 믿을 근거는 없다는 점입니다. 핵에너지가 인류에게 어떻게 사용되었는지를 보면 이 관점은 분명해 지죠.

AI, 축복일까 재앙일까?

• AI가 전적으로 인류에게 유익하게 사용되리라 믿는 것은 ‘정보에 대한 순진한 관점’이라고 볼 수 밖에 없습니다.
• 더구나 AI가 더욱 위험할 수 있는 지점은 AI가 단순한 도구가 아니라는 점 때문입니다.
• 인간이 지금까지 만든 모든 발명품은 그것이 아무리 강력하다 하더라도 그것을 어디에 어떻게 사용할 지를 결정하는 것은 오롯이 인간의 몫이었습니다.
• 누구를 공격할 것인지는 탱크나 폭탄 스스로 결정하지 못합니다. 거기엔 지능이 없으니까요.
• 하지만 AI는 그저 도구가 아닙니다. 스스로 판단하고 결정할 수 있는 능력을 가지고 있습니다. 그래서 도구의 역할이 아닌 주체적인 ‘행위자'가 될 수 있습니다.
• 인류가 만들어낸 그 어떤 도구도 하지 못한 것을 AI는 보여주게 될 것입니다. 

AI는 도구가 아니다.

• 어떤 사람들은 인류가 수많은 혁명의 과정들을 잘 견디고 생존과 번영을 유지했듯이 AI 혁명도 결국 해답을 찾을 것으로 기대합니다.
• 그럴 수도 있겠죠. 하지만 유발 하라리는 이런 기대를 아주 순진한 생각이라고 비판하고 있습니다.
• 왜냐하면 AI는 도구에 머물지 않고, 의사 결정 과정의 주체로서 참여하게 되리라는 점 때문입니다.
• 이전의 정보과 발명은 제아무리 위대한 것이라 하더라도 사람에 의해 전파되고 연결되었는데, 이제 AI는 그 연결과 전파에 주체적 존재로 자리매김하게 되고 그만큼 인간의 역할은 쪼그라들면서 인류의 위험성은 더 위태로워질 수 있다는 주장입니다.

"AI는 스스로 결정을 내리고 아이디어를 생성 할 수 있는 최초의 기술이다. AI와 같은 이질적인 주체들이 (의사 결정 과정에) 이렇게 추가되면, 군대, 종교, 시장 국가의 형태 자체가 달라질 수도 있을 것이다.

정치, 경제, 사회 시스템이 통째로 무너질 지도 모르고, 그럴 경우 새로운 시스템이 그 자리를 대신할 것이다."

• AI에 대한 강력한 자정 장치가 없다면 심각한 권력 남용이 가능하게 되며 제어할 수 없는 상황에 도달할 수도 있음을 유발 하라리는 역사적 사건들을 통해 설명하고 있습니다.

"네트워크가 강해질 수록 네트워크의 자정 장치가 중요해 진다. 석기시대 부족이나 청동기 시대의 도시국가는 내부의 실수를 찾아내서 바로 잡지 못해도 피해가 제한적이었다. 

하지만 실리콘 시대의 초강대국에 이러한 자정 장치가 없다거나 있다 해도 약하다고 하면 우리 종은 물론 수 많은 다른 생명체의 생존까지 위태로움을 줄 수 있을 것이다."

균형 잡힌 자정 장치

• 하지만 그렇더라도 너무 비관적일 이유는 없습니다. 기본적으로 진실을 향한 인간의 관심은 여전히 강력하다고 믿고 있습니다.
• 힘 자체가 나쁜 건 아니죠. 지혜롭게 사용하면 힘은 이로운 도구가 될 수 있죠.
• 중요한 건 균형 잡힌 정보 네트워크를 만드는 것입니다. 어떻게요? 정보에 대한 순진한 생각을 버리고, 강력한 자정 장치를 세팅하는 것입니다. 

"우리가 지혜로운 네트워크를 구축 하기 위해서는 정보에 대한 순진한 관점과 포플리즘적인 관점을 모두 버리고 무오류성 이라는 환상에서 벗어나서 

강력한 자정 장치를 제대로 구축하고 힘들고 다소 재미 없는 일에 집중해야 한다."

• 이런 측면에서 최근 유럽의 AI 규제법의 시행은 AI 자정 장치를 향한 좋은 출발점이라고 여겨집니다. 

터미네이터는 아닐지라도

• 이번 <수요레터>에서는 유발 하라리의 <넥서스>의 핵심 메시지를 살펴 봤습니다.
• 이번에 노벨 물리학상을 받은 제프리 힌튼 교수를 비롯한 많은 전문가들이 AI의 위험성에 대해 경고하고 있습니다.
• AGI의 등장으로 인해 인류가 커다란 위험에 이를 수 있다는 AI 위험 시계도 등장했습니다. 이 시계에 따르면 최악의 순간까지 29분 밖에 남지 않았다고 경고합니다.
• AI는 엄청난 혁신입니다. 이러한 혁신이 정말로 인류에게 도움이 되는 방향으로 지헤가 선용되는 방향으로 이용될 수 있도록 지금부터라도 날카로운 시선으로 감시해야 할 것입니다.
• <터미네이터> 같은 디스토피아는 아닐 것입니다. 
• 오히려 올더스 헉슬리의 <멋진 신세계> 같은 전체주의 미래가 더 현실성 있게 다가올 수도 있을 것입니다. 

촌장 드림