마침내 특이점이 시작된다 (요약 및 독서 감상평)

기간 : 20250713 ~ 20250723

 

기억하고 싶은 문장

AI가 어떤 목표를 달성하기 전에는 그 목표가 엄청나게 어렵고 오직 인간만이 할 수 있는 일처럼 보인다.

하지만 AI가 그 목표를 달성하면, 우리 인간의 눈에 그 업적은 하찮은 것으로 평가절하된다.

 

우연은 필연만큼 가혹하다.

 

어떤 제품이 아주 풍부하다면, 그것은 매점매석할 가치가 없다.

 

내용 정리

기호적 접근법

- 규칙에 기반한 용어로 문제를 푸는 방법을 기술

- 전체 과정의 각 단계마다 하나의 정형 논리식을 사용

- '복잡성 한계(complexity ceiling)'라는 주요 한계가 있음

 

연결주의적 접근법

- 내용 대신에 구조를 통해 지능을 생성하는 노드 네트워크를 활용

- 기호 규칙으로는 고안해낼 수 없는 미묘한 패턴을 발견한 잠재력이 있음

- 문제를 이해하지 않고도 풀 수 있다는 이점이 있음

 

블랙박스

- 연결주의적 AI는 정답을 내놓지만 설명하지 못하는 문제가 있음

- AI 전문가들이 '투명성', '기계론적 해석 가능성'을 개발하려고 노력하는 이유

 

신경망 배선과 시냅스 가중치를 무작위로 설정

→ 포유류 뇌처럼 주제를 무지한 상태로 학습, '보상'을 최대화하도록 프로그래밍

→ 정확한 출력을 내놓으면 보상 피드백을 받고 이 피드백은 각 신경세포 간 연결 강도를 조정

 

레오나르도 다빈치의 비행 기계 발명

- 선견지명이 있는 아이디어였지만, 더 가볍고 강한 물질이 개발될 때까지 실현 X

 

지능 폭발(intelligence explosion)

- 우리의 인지 스킬 다발에서 가장 중요한 섬유는 컴퓨터 프로그래밍

- 이것이 초 지능 AI 개발을 향해 나아가는 주요 병목 지점

- 훨씬 나은 프로그래밍 스킬을 제공할 능력을 가진 AI가 개발되면, 양성 피드백 고리가 형성됨

- AI 발전의 고리에서 인간을 잘라내면(인간이 훨씬 느리므로), 놀라운 진전 속도가 나타날 것

 

AI는 '추론'을 해야 하는가?

- 현실 세계에서 지능체는 어떤 행동을 하는가?

- 미래의 AI가 획기적인 과학적 발견을 하거나 심금을 울리는 소설을 쓴다면?

- AI가 자신이 의식이 있음을 아주 유창하게 주장한다면?

 

우리의 감각질을 직접 비교할 수 있는 방법은 없다

- 나는 당신이 빨간색이 경험하는 것과 같은 방식으로 초록색을 경험할지도 모른다

 

의식이란 무엇인가?

- 첫째, 주변을 인식하고, 내부 생각과 외부 세계를 인식하는 기능적 능력

- 이 정의에 따르면 깊이 잠든 사람은 의식이 없고, 술에 취한 사람은 일부만 있음

- 둘째, 마음속으로 주관적 경험을 하는 능력 (감각질)

 

두 번째 나

- 첨단 기술로 뇌를 완전히 복제해서 컴퓨터화 했다고 가정

- 이 '두 번째 나'는 의식이 있을까?

- '테세우스의 배'는 원래 배인가?

 

나의 정체성을 온전히 유지시켜주는 것은 정보와 기능이며, 특정 구조나 물질이 아님

- 미토콘트리아는 매달 약 절반이 교체됨

- 신경 미세관은 반감기가 며칠

- 시냅스에 에너지를 제공하는 단백질은 2~5일마다 교체

- 얼마 전의 나와 비교하면 생물학적 버전의 두 번째 나임

 

레플리컨트의 도입에 대한 질문

- 인권과 시민권을 가진 인간으로 간주해야 할까?

- 복제 대상인 사람이 이전에 행한 계약이나 범죄의 책임을 물어야 할까?

- 대체한 사람이 한 일이나 사회적 기여나 공로를 인정해줘야 할까?

- 사별한 남편/아내가 레플리컨트로 돌아오면, 재혼을 해야 할까?

- 어떤 조건에서 레플리컨트의 생성을 제한하거나 금지해야 할까?

 

나쁜 뉴스에 끌리는 경향은 진화적 적응이다

- 나뭇잎이 바스락거리는 소리(포식자의 움직임) vs 농작물 작황이 작년에 비해 0.1% 증가했다는 사실

- 우리는 끊임없이 사건들을 모니터링하면서 '이것은 나와 무슨 관계가 있을까? 내가 위험에 처했 있을까?'라고 말하며 걱정함

- "If it bleeds, it leads(피가 나면 주목을 받는다)"

- 범죄가 감소했다는 이야기는 다뤄지지 않지만, 범죄 사건은 크게 다뤄짐

 

시간을 어떻게 써야 하는가?

- 신분과 지위에 상관없이 누구에게나 하루는 24시간

- 잠재적 선택에서 어떤 편익을 얻을지 생각하는 것은 매우 합리적인 판단

 

AI를 차지하기 위한 폭력 사태

- 인류가 아주 값싼 에너지와 AI, 로봇 공학을 이용하게 된다면, 그것을 차지하려고 싸울 일은 없음

- 오늘날 PDF 문서를 놓고 싸운다는 개념만큼 우스꽝스러워 보일 것

- 30년 전만 해도 정말 부자만 휴대폰을 소유(성능도 그리 뛰어나지 않음)

- 지금은 수십억 명이 휴대폰을 소유

 

위키백과의 장점

- 광범위한 정보, 적시성, 멀티미디어, 하이퍼텍스트성, ...

 

의료 영상 해석

- 미묘하게 숨겨진 정보를 인간은 시각적으로 탐지하지 못함

- AI 시스템이 보기에는 너무나도 명백한 것일 수 있음

 

새로 배운 단어

• 커넥톰 (Connectome)
  • 뇌 내 신경 세포와 시냅스 연결 구조를 종합적으로 표현한 뇌 회로도
• 동일 과정설 (Uniformitarianism)
  • 자연계에서 현재 일어나고 있는 현상은 아주 오래 전에도 똑같은 모습과 과정으로 일어났음
  • 격변론(지구가 급격한 사건으로 형성)과 수성론(지층이 단기간에 형성)을 반박함
• 명약관화 (明若觀火)
  • 불을 보듯 분명하고 뻔함
• 테세우스의 배
  • 아테네에 귀환한 테세우스의 배를 보존할 때 판자가 썩으면 새로운 판자로 교체함
  • 낡은 판자를 계속 갈아 끼우다 보면 원래 테세우스의 배의 조각은 남지 않음
  • 그 배는 테세우스의 배인가? (사물의 변화와 그 정체성의 지속에 관한 난제)

 

느낀 점

 최근 잘 참여하지 않던 사내 독서 토론에 참여하기 위해 회사에서 책을 받아서 읽어보게 되었다. 근래 읽었던 책들 중 난이도가 꽤 있는 편이었기 때문에 마냥 가볍게 읽을 수 있는 책은 아닌 것 같다. 물론 책을 받고 토론을 하기까지 기간도 약 2주 정도로 짧아서 급하게 읽어야 했지만, 그럼에도 불구하고 책을 다 읽고 온 사람이 거의 없었기 때문에 난이도가 높아서 많이들 포기했던 것으로 추정한다.

 AI가 사람을 대체할 것인가? 하는 질문이 나올 때마다 많은 사람들이 그럴 것이라고 예상한다. 하지만 나는 AI는 사람을 대체하지는 않을 것이라고 생각한다. 대신 AI를 잘 다루는 사람이 그렇지 못 한 사람을 대체할 수 있다고 생각했다. 왜냐하면 이는 AI가 메가 트렌드가 된 현 시점에 실제로 일어나고 있는 일이기 때문이다. AI 외 SW 개발 분야에서 취업 시장은 이미 얼어붙고 있으며, 이와 더불어 컴퓨터 공학의 위상은 불과 몇 년 사이에 큰 폭으로 추락하고 있다. 이와는 대조적으로 AI 개발자나 Data Scientist들의 연봉은 천정부지로 치솟고 있다. 개인적으로도 ChatGPT와 사내 교육(DS2)을 통해 AI에 대한 친밀도가 꽤 있는 편이었지만, 그럼에도 불구하고 AI가 보편화된 시대에 대한 막연한 두려움은 있었던 것 같다. 하지만 이 책을 통해 그러한 막연한 두려움을 없앨 수가 있었다. 책을 읽으며 가장 마음에 들었던 구절은 '어떤 제품이 아주 풍부하다면, 그것은 매점매석할 가치가 없다'이다. 관련된 책의 내용을 좀 더 정리해보면, 하드웨어 성능 대비 가격은 아주 저렴해질 것이고 기술이 또 기술을 발전시키는 선순환의 고리를 만들 것이기 때문에 AI는 지금보다 훨씬 좋은 접근성으로 사용될 것이라는 내용이다. 다시 말하면, 지금의 스마트폰과 같은 대중적인 도구가 될 것이고 우리는 그것을 활용하여 생산성과 효율은 급격하게 상승시킬 수 있을 것이다. 다시 처음 질문으로 돌아가보면, 스마트폰이 우리를 대체했는가? 스마트폰을 잘 다루는 사람이 그렇지 못 한 사람을 대체했는가? 물론 AI와 스마트폰은 본질적으로 다른 부분이 있지만, 새로운 기술에 대한 막연한 두려움을 가지고 있는 사람이라면 한 번 쯤은 생각해볼 만한 질문인 것 같다.

 AI에 대한 막연한 두려움은 앞서 언급한 내용 외에도 4장 '삶은 기하급수적으로 개선되고 있다'의 전반적인 내용을 읽으면서도 없앨 수 있었다. 챕터의 제목으로 명료하게 요약되듯, 우리의 삶은 아주 빠른 속도로(exponential) 좋은 방향으로 발전하고 있다고 한다. 인류는 생존을 위해 나뭇잎이 바스락 거리는 소리(포식자의 접근)과 같은 부정적인 소식에 민감하게 반응하도록 진화해왔지만, 포식자를 막거나 피할 수 있는 방법들이 빠르게 늘어나고 있으며 작황도 좋아지는 등 당대의 삶 역시 지속적으로 나아지고 있었다는 것을 강조했다. 직관적인 통찰에서 그치지 않고 이를 실제 데이터와 통계를 근거 삼아 제시한 부분은 아주 설득력이 있었으며, 앞으로 내가 누군가를 설득하거나 설득 당함에 있어서도 그러한 부분을 염두에 두고 잘 활용하면 좋겠다는 생각이 들었다. 이 책은 다가오는 AI 시대에 대한 막연한 두려움이 있는 사람이 읽으면 좋을 책인 것 같다. AI에 거부감이 거의 없던 나에게도 큰 깨달음을 준 책이니, 'AI는 두려운 것이 아니다'라는 내용에 동의하지 못한다면 이 책을 통해 더 큰 울림을 얻을 수 있을 것이다.

 우리는 알고리즘이 나를 타겟해서 추천해주는 내 취향의 영상을 보면서 나의 생각을 한 쪽으로 계속 강화하면서 살아가고 있다. 그 결과로 다양성을 잃고 다른 사람의 생각을 받아들이지 못하게 되고 결국에는 적대시하게 되는, 매우 좋지 않은 방향으로 나아가고 있다고 본다. 이를 방지하기 위해 우리는 본인에게 이질감을 주는 활동을 할 필요가 있다. 독서라는 행위 자체가 저자의 인생의 철학이 담긴 심도있는 내용을 긴 시간 받아들여야하는 과정이기 때문에 거부감이 생기기 쉬운 것 같다. 하지만 이를 이겨내면서 어떤 책(특히 낯선 내용의 책)을 읽고 나면, 사고가 깊고 넓어지며 다양성을 받아들일 수 있는 뇌근육이 강화될 수 있다고 본다. 책의 내용이 쉽지 않았으며 난이도가 있는 문장이 많아서 꽤나 읽기 어려운 책이었지만 독서를 통한 자기성장감과 효능감을 느끼게 해준 좋은 책었다. AI에 대한 막연한 두려움이 있으며 본인과 다른 생각을 차근차근 받아들여보고 싶은 생각이 있다면 이 책을 추천한다.