📚 AI 제국 권력 자본 노동

[!INFO] 책 정보

• 저자: 저자/카렌_하오
• 번역: 번역/임보영
• 출판사: 출판사/생각의힘
• 발행일: 2026-02-27
• origin_title: Empire of AI Dreams and Nightmares in Sam Altman’s OpenAI
• 나의 평점: 10
• 완독일: 2026-05-04 06:12:26

1. 🖐️ Before Reading (읽기 전)

1.1 동기와 기대

2. 📜 Synopsis (LLM)

Summery

이 책은 오픈AI의 챗GPT 성공 이후 AI 산업이 권력, 자본, 이데올로기를 바탕으로 ‘제국’처럼 작동하는 방식을 파헤친다. 샘 올트먼과 오픈AI의 급격한 성장은 막대한 ‘스케일링’ 경쟁을 촉발했고, 이 과정에서 작가, 예술가, 그리고 저임금의 글로벌 사우스 데이터 노동자들이 착취당하고 있다. 저자는 AI가 인류 전체에 이익이 될 것이라는 거창한 약속 뒤에 가려진 사회적, 환경적 비용을 지적하며, AI 기술의 미래가 소수의 기술 권력자가 아닌 다수에 의해 통제되어야 한다고 주장한다.

Keyword

#AI #오픈AI #챗GPT #기술패권 #권력 #자본 #노동 #스케일링 #경제전망 #실리콘밸리

Author

저자(글): 카렌 하오 (Karen Hao)

• 직업/분야: AI가 사회에 미치는 영향을 취재하는 저널리스트, 정치사회 칼럼니스트/저널리스트
• 설명: 타임TIME 매거진 선정 2025년 AI 분야 100명의 중요 인물. 〈애틀랜틱〉 등 여러 매체에 기고하며 퓰리처 센터의 AI 스포트라이트 시리즈를 이끌고 있다. 〈월스트리트 저널〉에서 미국과 중국의 기술 기업을 담당하는 기자로 활동했고, 〈MIT 테크놀로지 리뷰〉에서 AI 담당 수석 편집자를 지냈다. 미국 휴머니스트 미디어 어워드와 잡지 편집자 협회가 수여하는 30세 이하 기자 대상 NEXT 어워드를 포함해 다수의 상을 받았다. MIT에서 기계공학 이학사를 취득했다.

번역: 임보영 (Im Bo-young)

• 직업/분야: 번역가/통역사
• 설명: 서울 출생. 경찰관으로 5년간 일하다 뉴스타파에서 탐사보도기자로 일했고, 국제탐사보도언론인협회(ICIJ) 회원이 되었다. 미국 워싱턴 소재 비영리단체 퓰리처 센터에서 선임 에디터로 일하면서 AI 책임성 취재 네트워크(AI Accountability Network)를 발족시켰다. 현재는 태국에 살면서 세상과 언어를 공부하고 있다.
• 옮긴 책: 《투자자의 적》(2018)

3. 🔆 Insight & Deep Dive

3.1 깨달은 점 (Aha Moment)

3.2 비판적 사고 (Critical Thinking)

3.3 내 삶에 적용하기 (Action Item)

• 이 책은 샘 올트먼의 전기 같은 느낌이다
• 그의 이중적인 모습과 조직을 망치는 리더십… 과연 인류을 위한다는 AGI가 그에게 나올수 있을까.
• 제국의 신이 되려고 할 것이다.
• [패권 - 누가 AI 전쟁의 승자가 될 것인가](패권 - 누가 AI 전쟁의 승자가 될 것인가) 에서와 만찬가지로 미래는 어둡기만 하다.
• 점점더 가진자와 없는자는 극이 더 심해질 것이다.
• 심난한 미래다.

4. 🏆 Top Highlights

📌 첫 번째 문장

올트먼은 머스크에게 이메일을 보냈다.“인류가 AI 개발을 멈추게 하는 게 가능할지 계속 생각하고 있습니다. 아마 절대 불가능할 겁니다. 어차피 벌어질 일이라면, 구글이 아닌 다른 누군가가 먼저 개발하는 편이 좋을 것 같습니 다. "”

📌 두 번째 문장

(내용 입력)

📌 세 번째 문장

이제 오픈AI는 오픈AI의 법칙을 따라가는 데 필요한 장기적인 자원을 확보했다. 이것이 무엇보다 중요하다고 브로크만은 거듭 강조했다. 자원 확보에서 앞서지 못하고 뒤처지는 것이야말로 오픈AI의 사명을 훼손할 수 있는 진짜 위협이었다. 뒤처지면 최고가 될 수 없다. 최고가 될 수 없다면, 공익적 AGI라는 비전을 실현시키는 방향으로 역사의 흐름을 바꿀 희망도 사라진다.

📌 네 번째 문장

그 모든 경영진 교체와 계획된 구조 전환을 통해 회사는 변함없는 사실 하나를 드러내고 있었다. 그것은 바로 오픈AI는 언제나 샘 올트먼의 AI 제국이었고, 앞으로도 여전히 그럴 것이라는 사실이었다.

📌 다섯 번째 문장

우리가 던져야 할 질문… AI가 권력을 집중시키는가, 아니면 재분배하는가?

5. 📌 Key Concepts

5.1 핵심 키워드 정리

__index_키워드

• 키워드 1: 설명
• 키워드 2: 설명

6. 🖍️ Book Marks

과학의 발전을 향한 야망이 어떻게 공격적이고 이념적인 돈찬치로 변질됐는지, 그 과정에서 생긴 다면적이고 광범위한 환경적. 사회적 영향이 무엇인지 살펴보고, 궁극적으로는 권력의 본질을 고찰해보는것

37 2023년 11월 울트먼이 추출됐다 복귀한 사건은 오픈AI의 거버넌스 실험이 실패했음을 입증하는 최종 증거였다.

40 시간이 지나며 나는 이 AI 권력자들의 본질을 가장 잘 포착하는 비유를 찾아냈다. 바로 제국 이다.

오픈AI는 이제 우리를 이 현대판 식민적 세계 질서로 밀어 넣는 데 앞장서고 있다.

우리가 할 수 있는 일 … 오픈AI와 AI업계가 진보라는 미명 하에 감춰둔 사회적, 환경적 비용을 직시하는 것

I부

1 신성한 권리 …47

53 몇 달 뒤인 2015년 5월, 올트먼은 머스크에게 이메일을 보냈 다. “인류가 AI 개발을 멈추게 하는 게 가능할지 계속 생각하고 있습니다. 아마 절대 불가능할 겁니다. 어차피 벌어질 일이라면, 구글이 아닌 다른 누군가가 먼저 개발하는 편이 좋을 것 같습니 다. 17 이어 “전 세계가 일종의 비영리단체를 통해 AI 기술을 소 유할 수 있도록” YC로 불리는 와이콤비네이터를 통해 “AI를 위 한 맨해튼 프로젝트"를 시작하자고 제안했다. 그는 머스크가 최 근 정부 규제를 강하게 요구해온 점을 의식하며 “당연히 모든 규 제를 준수하고 적극적으로 지지할 것"이라고 덧붙였다. “이야기를 한 번 나눠 볼 가치가 있겠네요.” 머스크는 답했다.

6월에 올트먼은 더 자세한 내용을 담은 이메일을 보냈다. “이 프로젝트의 임무는 AGI를 가장 먼저 개발해 개인의 결정권을 강 화하는 것, 즉 AI의 힘이 집중되지 않고 여러 개인에게 분산되는 미래를 이 조직의 목표로 정하는 겁니다. 더 넓은 의미로, 안전을 최우선시해야 합니다.” 이어서 자신과 머스크에게 최종 권한이 돌아가는 지배구조를 제안했다. 두 사람에다 이사 세 명을 더해 이사진을 꾸리자는 것이었다. 개발한 기술은 재단이 소유하고 ‘세상을 이롭게 하는 데’ 사용하며, 그 적용 방식이 불분명한 경 우에는 우리 다섯 명이 결정하는 방식입니다.” 올트먼이 말했다.

머스크와 결별하고 자신이 실리콘벨리의 새로운 톱스타로 주목받게 되자. 올트먼은 AI의 위험성에 대해 그동안 자신이 취해왔던 입장을 공개적으로 번복했다.

올트먼의 멘토 폴 그레이엄

샘은 권력을 차지하는 능력이 탁월합니다

57 어릴 적부터 샘은 의욕과 호기심이 넘쳤다. (…) 동생들에게 이래라저래라 하며 군림하기도 했다. …경쟁심이 굉장히 강해서 언제나 보드게임에서 자신이 이겨야만 했다.

존 버로우 스쿨에서 샘은 물 만난 고기였다. 뛰어난 성적, 외향적, 유머 감각도 있어 인기도 많았다. 올트먼은 이미 영향력 있는 타고난 리더였다. 동성애자

그는(샘) 자신이 흥미를 느끼는 프로그래밍과 컴퓨터에 뛰어들었다 “세상은 700만 번째 소설을 필요로 하지 않고 그걸 높이 평가하지도 않는다는사실을 깨달았다.”

올트먼의 두 가지 성공비결 - 언론과의 능숙한 소통 능력, 뛰어난 거래 성사 능력 -> 그의 탁월한 스토리텔링 능력에 기인 올트먼은 타고난 이야기꾼이다.

64 루프트 경영진은 올트먼에 대해 . 자신의 이익을 회사의 수익보다 우선시 하고 . 상습적으로 거짓말을 한다고 평가했다.

65 그는 맥라렌과 매우 희귀한 500만 달러 상당의 코닉세그 같은 럭셔리 스포츠카를 수집하고, 직접 이 차들을 몰며 레이싱하는 데 빠졌다. 그는 한동안 매년 일주일간 사막 한복판에서 펼쳐지는, 섹스와 환각제가 난무하는 축제 ‘버닝맨’ 페스티벌에 참석하기도 했다. 여러 실리콘밸리 거물들처럼 올트먼도 우울증 완화를 위해 합법적으로 처방될 수 있는 파티용 마약 케타민에 손을 대기 시작했다.

샘 올트먼이 2014년부터 2019년까지 회장을 역임했던 와이 콤비네이터(Y Combinator, 이하 YC)는 실리콘밸리를 넘어 전 세계 스타트업 생태계에 가장 강력한 영향력을 행사하는 세계 최고의 스타트업 액셀러레이터

피터 틸은 올트먼의 2번째 멘토가 되었다. 피터 틸은 페이발과 팔란티어를 설립하고, 페이스북 초기 투자자

69 그레이엄과 틸은 올트먼의 세계관, 비즈니스를 효과적으로 구축하는 방법, 정치적 감각에 큰 영향을 미쳤다. 두 멘토는 올트먼에게 규모가 중요하며 정부보다 자본주의가 더 효율적이라는 생각을 아로새겼다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

### 2. 두 멘토의 정체성과 영향력

#### **폴 그레이엄 (Paul Graham): 실리콘밸리의 철학자이자 창업의 신**

- **누구인가:** 앞서 언급한 와이 콤비네이터(YC)의 공동 창업자이며, '에세이 쓰는 프로그래머'로 유명합니다.
    
- **올트먼과의 관계:** 20대 초반의 올트먼을 발굴하여 자신의 후계자로 지목하고 YC 회장직을 물려준 인물입니다.
    
- **영향:** 올트먼에게 "사람들이 원하는 것을 만들어라"라는 실용주의적 비즈니스 원칙과, 스타트업이 어떻게 기하급수적으로 성장(Growth)해야 하는지에 대한 이론적 토대를 제공했습니다.
    

#### **피터 틸 (Peter Thiel): 제로 투 원(Zero to One)의 전략가**

- **누구인가:** 페이팔(PayPal)의 공동 창업자이자 페이스북의 초기 투자자로, '페이팔 마피아'의 대부라 불립니다.
    
- **올트먼과의 관계:** 올트먼의 초기 비즈니스 활동에 막대한 자금을 투자하고, 그를 자신의 사상적 파트너로 대우하며 긴밀한 관계를 유지해왔습니다.
    
- **영향:** "독점적 지위를 확보하라"는 비즈니스 전략과, 기존 질서를 파괴하는 대담한 정치적 감각을 심어주었습니다. 특히 정부의 규제보다는 자본과 기술의 힘으로 미래를 선점해야 한다는 리버테리어니즘(Libertarianism, 자유의지주의)적 성향을 올트먼에게 전수했습니다.
    

---

### 3. 올트먼의 세계관에 미친 결합 효과

- **규모의 경제:** 두 멘토의 가르침에 따라 올트먼은 적당한 성공이 아닌, 전 지구적 표준이 되는 '거대한 규모'의 AI 시스템(ChatGPT 등)을 구축하는 데 집착하게 되었습니다.
    
- **정치적 자본주의:** 정부의 허가를 기다리기보다 기술로 기정사실을 만든 뒤 협상하는 그의 스타일은 피터 틸의 '파괴적 혁신'과 폴 그레이엄의 '실행 중심 사고'가 결합된 결과물입니다.

73 (틸에게 배운 올트먼) 올트먼은 여러 사람을 자기 집에 불러모아 만찬과 모임을 자주 주최하기 시작했다.

2 문명화 임무 …81

👆 오픈AI 창립 당시 주요 인물 관계도

1. 설계자와 자본가 (전략 및 자금)

• 샘 올트먼 (Sam Altman) - 공동 의장 / 설계자

  • 역할: Y Combinator 회장 출신으로, 조직의 비전 수립과 인재 영입을 주도했습니다.

  • 관계: 폴 그레이엄의 후계자이자 피터 틸의 제자로, 기술 자체보다는 기술이 가져올 ‘규모의 경제’와 비즈니스 구조를 설계하는 역할을 맡았습니다.

• 일론 머스크 (Elon Musk) - 공동 의장 / 초기 자금줄

  • 역할: 구글의 AI 독점이 인류에게 위협이 될 것이라는 공포를 마케팅 포인트로 삼아 초기 자본(약 10억 달러 약정)과 대중적 관심을 끌어왔습니다.

  • 관계: 올트먼과 함께 공동 의장을 맡았으나, 이후 테슬라와의 이해상충 및 주도권 싸움으로 2018년 이사회를 떠나게 됩니다.

• 피터 틸 (Peter Thiel) - 주요 투자자 / 멘토

  • 역할: ‘제로 투 원’의 저자이자 페이팔 마피아의 대부로, 올트먼의 초기 후원자입니다.

  • 관계: 올트먼에게 “정부보다 자본주의가 효율적이다"라는 철학을 심어준 사상적 멘토이며, 창립 당시 거액을 기부하여 힘을 실어주었습니다.

2. 기술적 핵심 (실무 및 연구)

• 일리야 수츠케버 (Ilya Sutskever) - 수석 과학자 (Chief Scientist)

  • 역할: 구글 브레인 출신의 천재 과학자로, 오픈AI의 기술적 실체를 담당했습니다.

  • 관계: 올트먼과 머스크가 구글에서 직접 ‘스카우트’해온 인물입니다. 기술적 순수성을 중시하며, 훗날 올트먼의 영리화 행보에 제동을 걸었던 2023년 해임 사태의 핵심 인물이기도 합니다. 일리야 수츠케버(Ilya Sutskever)가 구글 브레인(Google Brain)이라는 안정적이고 강력한 환경을 떠나 당시 신생 비영리 단체였던 오픈 AI로 이직한 명목은 ‘인류 전체에 이익이 되는 안전하고 개방된 인공지능 개발’이었습니다.

  89 오픈AI가 다른 창립 멤버들에게 제시한 연봉은 기본급 17만 5,000달러와 YC나 스페이스X 주식이었다.” 그러나 수 케버에게는 거의 200만 달러에 가까운, 비영리단체 입장에서는 막대한 금액의 연봉을 제시했다.D 그러자 구글은 수츠케버를 잡 기 위해 그보다 두 배, 세 배 많은 금액을 제시했다. 수츠케버 가 결정을 내리지 못한 상태에서 부모님께 전화를 하고 머스크 및 브로크만과 상의하는 동안, 머스크와 올트먼은 발표문 공개를 몇 번이나 미뤘다. 결국 수츠케버는 구글이 제시한 아찔할 정 도로 높은 연봉이야말로 오픈AI 같은 비영리단체가 필요한 이유 를 보여준다는 결론을 내렸다.

제프리 힌턴과의 관계 토론토 대학의 스승과 제자 수츠케버는 캐나다 토론토 대학교에서 제프리 힌턴 교수의 지도를 받으며 학사와 석사, 박사 과정을 마쳤습니다. 당시 힌턴 교수는 인공 신경망 연구가 학계에서 외면받던 이른바 ‘AI의 겨울’ 시기에도 인공지능의 가능성을 믿고 연구를 지속하던 인물이었으며, 수츠케버는 그의 가장 뛰어난 제자 중 한 명이었습니다.

• 그레그 브로크먼 (Greg Brockman) - CTO / 운영 전문가

  • 역할: 핀테크 유니콘 ‘스트라이프(Stripe)‘의 CTO 출신으로, 연구원들이 코딩에 집중할 수 있는 엔지니어링 인프라와 조직을 구축했습니다.

  • 관계: 올트먼의 가장 충실한 우군입니다. 창립 당시 자신의 거실에서 오픈AI를 시작했을 만큼 열정적이었으며, 올트먼이 해임되었을 때 동반 사퇴를 선언할 정도로 끈끈한 유대 관계를 가졌습니다.

👆 2. 창립 이후 관계의 결정적 변화 (2015 ~ 2026) 이들의 관계는 크게 세 번의 균열을 거치며 현재의 적대적 혹은 협력적 구도로 재편되었습니다.

1차 균열 (2018년): 일론 머스크가 주도권 다툼 끝에 오픈AI를 떠났습니다. 머스크는 오픈AI가 구글에 뒤처지고 있다고 판단해 테슬라에 합병하려 했으나, 올트먼과 브로크먼이 거절하며 깊은 앙숙 관계가 시작되었습니다.

2차 균열 (2023년): 기술적 안전성을 중시하던 일리야 수츠케버가 사업 확장에 치중하던 샘 올트먼을 해임하려 시도했습니다(쿠데타 사건). 결국 올트먼이 복귀하고 수츠케버가 밀려나며 기술진과 경영진의 신뢰가 완전히 깨졌습니다.

3차 재편 (2025~2026년): 오픈AI가 완전 영리 법인(공익 법인 형태의 영리 기업)으로 전환되면서, 머스크는 이를 ‘사기’라고 비난하며 법적 공세를 강화하고 있습니다. 반면 틸과 같은 자본가들은 IPO를 앞두고 경제적 실익을 챙기는 실용적 태도를 보입니다.

95 아모데이 남매 (다리오 아모데이, 다니엘라 아모데이)는 효과적 ㅇ ㅣ타주의 Effective Altruism EA 운동에 동조했다.

99 문제는 오픈AI가 무엇을 해야 할지 전혀 갈피를 못 잡고 갈팡 질팡했다는 점이다. 출범 후 1년간 오픈AI는 다른 회사에서 가로 채거나, 직접 애걸복걸해 데려오거나, 잠시 빌려오는 방식의 공 격적인 인재 영입으로 드림팀을 꾸렸고, 업계 최고 인력을 한데 모아놓은 것만으로도 회사 내 들뜬 분위기를 유지할 수 있었다.

그럼에도 불구하고 오픈AI는 일관성 있는 전략을 찾는 데 어려 움을 겪었다. 그리고 설립 초기의 기세와 참신함도 점점 떨어지 고 있었다. 오픈AI가 벌려 놓은 여러 프로젝트 목록을 보면 사방팔방 손 을 안 뻗은 데가 없었다. 마치 AI업계의 온갖 잡동사니를 모아놓 은 것처럼 어수선했다. AI 에이전트를 훈련시키는 데 로봇과 비 디오 게임, 가상 세계 시뮬레이션을 사용하는 등 다양한 방법으 로 AI의 성능을 높이려고 노력했다. 하지만 효과가 있는 것은 거 의 없었고, 효과가 있다 해도 이미 다른 사람이 이룬 결과를 답습 한다는 느낌이 들었다. AGI가 무엇이 됐든 간에 이건 아니었다.

2017년 오픈AI에서 인턴으로 일했던 니킬 미쉬리ikhil Mishra는 이 렇게 말했다. “그곳에서 진행하던 프로젝트 중 규모가 큰 것일수 록 그다지 혁신성이 있어 보이지 않았습니다.” 브로크만과 수츠케버의 리더십 역량 또한 한계에 다다른 상 황이었다. 브로크만이 하루의 대부분을 코딩하며 보내는 동안 수츠케버는 사무실을 활보하며 연구원들에게 “당신의 새롭고 혁 신적인 다음 아이디어는 무엇이냐"는 질문을 반복했다. 이 둘의 조합은 방향성은 없으면서 스트레스는 높은 환경을 조성했다. 제 대로 된 관리 체계도, 명확한 우선순위도 없었다. 때로는 누군가 주말에 해고를 당했는데 나머지 팀원들이 월요일에 그 사람이 사무실에 나타나지 않을 때까지 해고 사실을 모르는 경우도 비일비재했다.

103 2017년을 기준으로 최고 사양 GPU 8개가 들어간 주문제작 용 엔비디아 서버의 가격은 15만 달러였다. 이 가격은 물가상승 때문에 2023년에는 약 19만 5,000달러로 올랐다. 오픈AI가 오픈 AI의 법칙을 따라가기 위해서는 향후 몇 년간 단일 AI 모델을 훈 련시키는 데만도 수천. 수만 개의 GPU가 필요했다. 이를 위해 필요한 전력비용도 폭발적으로 증가할 전망이었다. 오픈AI는 돈 이 훨씬 많이 필요했다. 회사를 유지하기 위해서는 고작 10억 달 러가 아니라 수십억 달러는 더 필요했다. 그렇게 되면 조직의 재정적 기반이 무너질 게 뻔했다. 브로크 만과 수츠케버에게 그것은 오픈AI의 전제 자체를 뒤흔드는 문제 였다. 업계의 선두 자리를 유지하기 위해 필요한 그 막대한 비용 을 비영리단체가 어떻게 조달한단 말인가?

104 올트먼은 (OpenAI) 영리기업으로 전환한다면 자신이 회사의 최고 경영자가 되기를 원했다. 머스크도 마찬가지였다. 머스크는 지분 과반과 함께 연구팀을 장악하기를 원했다.

105 (머스크)그는 만약 수츠케버와 브로크만이 아직도 영리기업을 고집한다면 독립해 별도로 회사를 만들어야 한다고 했다. 그럴 생각이 아니라면, 오픈AI는 앞으로도 비영리단체로 남아야 한다고 말했다. " 나는 당신들이 여기 남겠다고 확실히 약속하기 전까지는 더 이상 오픈AI에 투자하지 않겠습니다.”

👆 머스크에게 선한 AGI란 인류의 생존을 담보하는 기술인 동시에, 반드시 자신의 통제권 안에서 작동해야만 하는 권력의 원천입니다

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

1. 창립 당시의 진심: 구글이라는 '악'에 대항하는 '방패'
머스크가 오픈AI에 투자하며 비영리를 고집했던 표면적 이유는 명확했습니다. 당시 딥마인드를 인수한 구글이 AI 기술을 독점하고, 이윤 추구를 위해 안전 장치 없는 AI를 만들 것이라는 공포였습니다. 그는 인류를 보호하기 위해 '누구나 접근 가능한(Open)' 인공지능을 만드는 것이 유일한 대안이라고 믿었습니다. 이 시점의 머스크는 인류의 실존적 위협을 막아야 한다는 철학적 명분에는 분명 진심이었을 것입니다.

2. 균열의 본질: '선함'의 정의와 주도권
하지만 머스크의 진심은 '내가 통제할 수 있는 선함'에 머물러 있었다는 비판이 존재합니다.

테슬라로의 흡수 제안: 2018년 오픈AI가 구글에 뒤처지자, 머스크는 오픈AI를 테슬라에 합병시키고 자신이 직접 경영하겠다고 제안했습니다. 올트먼과 브로크만이 이를 거절하자 그는 후원을 중단하고 떠났습니다.

비영리에 대한 집착: 그가 오픈AI의 영리화를 그토록 비난하는 이유는, 자신이 투자한 '공공재'가 올트먼 개인의 '영리 도구'로 변질되었다는 배신감과 함께, 자신이 빠진 상태에서 거대 권력이 탄생하는 것에 대한 견제 심리가 크게 작용하고 있습니다.

3. 2026년 현재: '진심'과 '비즈니스'의 경계
현재 머스크는 본인의 AI 기업인 xAI를 운영하며 오픈AI와 가장 치열하게 싸우고 있습니다.

TruthGPT와 xAI: 그는 오픈AI의 챗봇들이 '정치적 올바름(PC)'에 편향되어 진실을 말하지 않는 '악한 AI'가 되었다고 주장합니다. 자신이 만드는 AI만이 진실을 말하는 선한 AI라고 강조합니다.

모순적 행보: AI의 위험성을 경고하며 개발 유예를 주장하면서도, 뒤에서는 수만 개의 엔비디아 GPU를 사들여 가장 강력한 모델을 개발하는 모습은 그가 말하는 '선함'이 결국 자신의 영향력 아래 있는 기술력을 의미한다는 의구심을 자아냅니다.

106 현실적으로 오픈AI는 비영리단체로 두어서는 돈 문제를 해결할 수 없었다. …올트먼은 오픈AI가 머스크에게 더 이상 의존하지 않아도 될 재정적 대안을 찾는 물밑 작업에 착수했다.

110 오픈AI는 자사의 연구 역량을 일반 대중에게 뽐낼 수 있는 보여주기식 프로젝트에 주력하면서 인지도를 높였다.

113 (마이크로소프트 CEO 사티아 나델라에게 올트먼은 투자를 설득했다.)당시 애저 AI 최고기술책임자 쉐동 황이 말했다 “마이크로소프트 리서치와 오픈AI는 둘 다 한계를 뛰어넘는 도전을 하고 있는 조직입니다” 두 곳 모두에 투자해도 되지 않을까요?

120 2019년 7월 22일, 마이크로소프트는 오픈AI에 10억 달러를 투자한다고 발표했다. 합의 내용에 따르면, 마이크로소프트의 투자수익 상한은 원금의 20배로 제한됐다.

3 신경 중추 …121

129 오픈AI의 과제는 바로 인류 모 두가 “경제적 자유"를 누리면서 “의미 있는 삶"을 살 수 있게 하는 방식으로 AGI를 만드는 일이었다. 오픈AI가 성공한다면, 생존하기 위해 일할 필요는 더 이상 없어지리라는 의미였다. “저는 그게 참 아름다운 일이라 생각합니다.” 그가 말했다.

수츠케버가 함께 있던 동안 브로크만은 나에게 큰 그림이 무 엇인지 일깨워줬다. 우리가 생각하는 우리의 역할은 AGI가 과연 만들어질 것인지 결정하는 그런 역할이 아닙니다.” 이건 실리 콘밸리가 애용하는 이른바 필연성의 논리였다. 우리가 하지 않으 면 누군가가 해낼 거야. 우리는 이미 AGI 실현 궤도에 올라탔어요. 우리가 할 수 있는 건 바로 AGI가 처음 만들어질 때의 초기 여건에 영향을 미치는 것이죠.” 그가 강조했다. 브로크만은 말을 이어갔다. “오픈AI는 무엇인가요? 우리의 목적은 무엇이죠? 우리가 정말로 하려는 것은 무엇이죠? 우리의 사명은 바로 AGI가 인류 전체에 이익이 되도록 보장하는 것입니 다. 우리가 그 사명에 도달하기 위해 선택한 방식은 바로 AGI를 만들어 그 경제적 혜택을 모두와 나누는 것입니다.” 그의 말투는 너무나 담담하고 단호해서, 마치 내 질문에 종지 부를 찍은 듯했다. 그런데도 어쩐 일인지 우리의 대화는 시작 지점으로 다시 돌아와 있었다.

137 이제 오픈AI는 오픈AI의 법칙을 따라가는 데 필요한 장기적인 자원을 확보했다. 이것이 무엇보다 중요하다고 브로크만은 거듭 강조했다. 자원 확보에서 앞서지 못하고 뒤처지는 것이야말로 오픈AI의 사명을 훼손할 수 있는 진짜 위협이었다. 뒤처지면 최고가 될 수 없다. 최고가 될 수 없다면, 공익적 AGI라는 비전을 실현시키는 방향으로 역사의 흐름을 바꿀 희망도 사라진다.

이 말의 함의를 내가 온전히 깨닫게 된 것은 한참 뒤였다. 최초가 아니면 멸망한다는 이 근본적인 전제가 오픈AI의 모든 행동과 그로부터 파생된 광범위한 결과의 도화선이 된 것이다. 이는 오픈AI가 내놓는 모든 연구 성과에 시간이 가고 있다는 압박을 부여했다. 얼마나 연구가 진척되고 있는가를 평가하는 기준이 신중한 심사숙고에 필요한 시간이 아니라 누구보다도 먼저 결승선을 통과하는 데 필요한 맹렬한 속도였기 때문이다. 이는 오픈 AI가 환경에 미치는 영향에도 아랑곳하지 않고 연산 자원의 규 모를 키우고, 개인정보 동의나 규제 준수를 무시해가며 막대한 데이터 수집에 박차를 가하는 등, 가늠하기도 어려울 정도로 막 대한 양의 연산과 데이터 등 자원을 소비하는 것을 정당화했다.

139 나는 오픈AI 사무실에 머물 동안 관찰한 것들과 30회 이상의 인터뷰, 그리고 내부 문건 몇 건을 토대로 작성한 심층 소개 기사를 2020년 2월 <MIT 테크놀로지 리뷰>에 실었다. “오픈AI가 공개적으로 내세우는 가치와 실제로 내부에서 운영하는 방식 사이에는 괴리가 있다. 시간이 지나면서 더 많은 자금을 확보하려는 치열한 경쟁과 압박이 투명성, 개방성, 협업이라는 설립 초기의 이상을 갉아먹었다.”

4 현대화의 꿈 …141

142 기술 혁명이 가진 이러한 두 가지 특성, 즉 모두에게 더 나은 세상을 약속하면서도 가장 취약한 이들의 삶을 오히려 후퇴시키 는 경향은 그 어느 때보다 지금 우리가 맞닥뜨린 인공지능의 시 대에 정확하게 들어맞는다. AI는 탄생의 순간부터 첨단의 미래 를 향한 매혹적인 꿈에 의해 추진되었고, 그 꿈을 현실로 만들 자 금과 영향력을 가진 소수 엘리트에 의해 뒷받침되었다. 그들이 그려온 그 구상이 지금 전 세계에서, 특히 과거 제국의 침탈을 겪 은 후유증으로 경제 발전이 지체되고 정치 제도가 취약한 여러 글로벌 사우스Global South에서 사회적 비용과 노동 비용, 환경 비용 을 폭발적으로 증가시켰다. 그럼에도 불구하고 실리콘밸리는 사 우스캐롤라이나의 의원이 그랬듯이, AI 기술로 인해 착취와 피 해를 겪는 이들이 오히려 더 행복해진 것처럼 포장해왔다.

146 그러나 핵심적인 문제는 바로 지능에 대해 과학적으로 합의 된 정의가 없다는 점이다. 역사상 수많은 신경과학자와 생물학 자, 심리학자들은 제각기 지능이란 무엇이며 왜 인간이 다른 종 보다 지능이 더 뛰어난 것처럼 보이는지에 대해 다양한 의견을 내놨다. 어쩌면 그것은 인간 두뇌의 크기 때문일 수도 있고, 복잡 한 문제를 추론하는 능력 때문일 수도 있으며, 다른 사람의 믿음 을 머릿속에 모델링하는 능력 때문일 수도 있다. 지난 수백 년간 이러한 정의에 따라 지능을 측정할 목적으로 무수히 많은 검사 방식이 개발되었지만, 이후 그중 상당수가 엉터리로 밝혀져 인기를 잃었다.

178 이 같은 기술적 문제가 있다고 해서 생성형 AI가 유용하지 않은 건 아니다. 사회적으로 어떤 위치에 있느냐에 따라, 어쩌면 당신은 오픈AI의 비전 덕에 굉장한 이익을 보고 있을 수도 있다. 어쩌면 당신은 챗GPT가 신속하게 내놓는 영리한 답변, 또는 생각할 거리를 주는 답변에서 큰 가치를 발견한 소비자일 수도 있다. 아니면 생성형 AI를 활용해 일상적 업무를 빠르게 쳐내며 생산성을 높인 직장인일 수도 있다. 혹은 경쟁력을 유지하기 위해 직원수를 줄이면서도 매출을 높이는 데 성공한 기업의 리더일 수도 있다. 하지만 1790년대의 조면기, 메사추세츠의 교육 기술 스타트업, 남아프리카 공화국의 안면인식 기술 기업들, 그리고 앞으로 이 책에서 소개할 다른 여러 사례처럼, 이 비전은 세계의 수많은 취약 계층을 억압하는 대가로 얻어진 것이다. 이것이 바로 제국의 논리다. 제국이 유지되는 방식은 멀리 떨어져 눈에 잘 보이지 않는 약자들을 착취하고 박탈하는 것만큼이나 권력과 특권을 가진 이들을 보상하는 것에 의존한다.

179 AI가 어떤 못브이 될 수 있을지에 대한 다른 선택지가 사라지자, 오픈AI가 우리의 상상력을 지배하게 되었다. 한때 극단적이라고 여겨졌던 스케일링에 대한 그들의 신념은 이제 기술산업 전반에서 교리처럼 받아들여지고 있다. 이러한 추세가 지속된다면, 이미 우리가 엄청난 규모라고 생각하는 지금의 생성형AI모델들이 보잘것없어 보일 정도로 미래의 모델은 거대해질 것이다.

5 야망의 크기 …181

오픈AI의 스케일링 정신을 확립한 사람을 꼽자면, 그건 바로 공동창업자 수츠케버일 것이다.

201 공익을 위한 AGI를 보장하기 위한 최선의 방법은 바로 오픈AI가 경쟁자들보다 훨씬 앞서 나가 내부적으로 시간적 여유를 확보한 뒤, 그 기간 동안 대규모 모델을 더욱 안전하게 만들 방법을 강구하는 것이었다.

203 취재를 하며 나는 훨씬 더 놀라운 결론에 이르렀다. 실리콘밸 리에서조차 기업과 투자자들이 그토록 막대한 금액의 돈을 스케 일링에 쏟아붓는 경우는 챗GPT 이전까지 없었다. 오픈AI의 라 이벌이었던 딥마인드와 구글도 마찬가지였다. 창립 초기 억만장 자의 영향과 독특한 이념적 성향, 그리고 올트먼 특유의 추진력. 네트워크, 자금조달 능력 등이 결합됨으로써 오픈AI 고유의 비 전이 싹트고 세력을 넓힐 수 있었다. 한 전직 오픈AI 직원은 이 렇게 말했다. “샘 올트먼이 지구상에서 가장 야망이 큰 사람이라는 느낌을 받습니다” 오픈AI가 한 모든 일은 불가피함과는 정반대였다. 오픈AI가 만든 거대한 딥러닝 모델로 인해 전 세계적으로 막대한 비용이 들기 시작했고, 다른 기업들이 이를 다라잡기 위해 위험한 규모 경쟁이 벌어졌다. 이 모든 것은 오로지 오픈AI이기에 가능했던 일이었다.

211 분석결과, 혐오 및 폭력적인 콘텐츠의 양은 데이터 세트의 크기에 비례해 더욱 커졌고, 해당 데이터 세트를 통해 훈련한 모델의 차별적 행동을 더욱 악화시켰다. 예를 들면 20억개의 이미지로 훈련한 모델은 4억 개의 이미지로 훈련한 모델에 비해 흑인 남성의 얼굴을 범죄자로 분류할 가능성이 다섯 배 높았다.

211 결과를 통제하기 위한 방법 중 하나로, 오픈AI는 자동화도니 콘텐츠 모더레이션 필터를 만들기 위해 케냐 노동자들을 시간당 평균 2달러 미만으로 고용했다 오픈AI는 또 모델을 최대한 길들이기 위한 노력의 일환으로 모델에 반복적으로 프롬프트를 넣어 모델의 답변에 점수를 매기는 등, 인간 피드백 기반 강화학습을 실행할 계약직 노동자를 전 세계적으로 1,000명 이상 고용했다.

II부

6 승천 …215

216 (올트먼) 그가 원한 건 오픈AI가 세계 일류 AI 조직 중 하나가 되는 게 아니라 유일무이한 최고가 되는 것이었다.

10,,, 경쟁자보대 10배..

224 (울트먼) “우리는 반드시 세상에 좋은 결과를 가져오겠다는 책임을 져야 합니다. 만약 권위주의 정부가 우리보다 AGI를 먼저 만들어 악용한다면, 그것 또한 우리의 실패입니다. 우리의 사명을 성공적으로 완수하기 위해서는 확실하게 빠른 기술적 진전을 이뤄내야 합니다”

🧏‍♂️ 미국과 소련의 전쟁처럼, 적이 먼저 하기 전에 내가먼저 핵을 만들어야 한다. 처럼 들린다.

7 감금된 과학 …239

256 그 순간은 또 게브루나 구글 자체를 넘어서 훨씬 큰 의미를 지니게 되었다. 그것은 AI 업계를 위협하는 복합적인 문제를 상 징하게 되었다. 그것은 어느 두 연구자의 말마따나 거대 AI 회사 BIgA가 갈수록 거대 담배 회사Bg Tobaco가 거쳐간 길, 즉 책임을 회피하기 위해 공익에 반하여 자신들을 비판하는 학계의 목소리 를 왜곡하고 검열하는 방향으로 흘러가고 있다는 경고였다.29 그 것은 그 외에도 무수히 많은 다른 문제들, 즉 기업들이 그토록 뻔 뻔하게 굴 수 있었던 이유는 바로 인재, 자원, 기술이 수익 추구 환경에 완전히 집중되면서 독립적인 감시의 눈길을 받을 가능성 이 거의 사라졌기 때문이라는 점, 이 기술을 통제할 힘을 가장 많 이 갖고 있는 공간에 다양성은 여전히 절망적일 정도로 결여되어 있다는 점, 그리고 비윤리적인 기업 관행에 대해 목소리를 내려 는 직원들을 강압적이고 갑작스런 보복으로부터 보호할 장치가 거의 없다는 점 등을 부각시켰다.

👆팀니트 게브루(Timnit Gebru)와 에밀리 벤더(Emily Bender) 등이 2021년에 발표한 논문 “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜“는 현대 거대 언어 모델(LLM)의 급격한 성장에 경종을 울린 기념비적인 논문

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

이 논문은 AI가 마치 지능이 있는 것처럼 보이지만, 실상은 의미를 이해하지 못한 채 확률적으로 단어를 나열하는 '확률적 앵무새'에 불과하다고 비판하며 크게 네 가지 핵심 위험성을 지적했습니다.

1. 환경 및 비용의 문제 (Environmental and Financial Costs)
에너지 소모: 거대 모델을 학습시키는 데 드는 막대한 전력 소비와 이로 인한 탄소 배출이 환경에 심각한 해를 끼친다고 주장합니다.

불균형: 이러한 환경적 피해는 주로 저개발 국가나 소외 계층이 입는 반면, 기술의 혜택은 극소수의 부유한 국가와 기업에 집중되는 구조적 불평등을 지적합니다.

2. 거대한 데이터셋의 편향성 (Uncurated Large Datasets)
데이터의 오염: "데이터가 많을수록 좋다"는 믿음 아래 인터넷의 방대한 데이터를 무분별하게 수집하면서, 그 안에 담긴 인종차별, 성차별, 혐오 표현 등이 그대로 모델에 학습됩니다.

편향의 고착화: 결과적으로 AI는 사회적 약자에 대한 편견을 재생산하고 강화하는 도구가 될 위험이 큽니다.

3. 의미 이해의 결여 (Stochastic Parrots)
형태와 의미의 분리: 논문의 핵심 비유입니다. LLM은 단어의 '형태(Form)'와 통계적 패턴은 잘 학습하지만, 그 단어가 실제 세상에서 가지는 '의미(Meaning)'는 전혀 이해하지 못합니다.

착각의 위험: 인간은 AI가 내뱉는 유창한 문장에 '의미'가 있다고 착각(신인동형설)하기 쉬운데, 이는 AI가 생성한 허위 정보나 편향된 주장을 비판 없이 수용하게 만드는 결과를 초래합니다.

4. 연구 방향의 획일화 (Research Opportunity Costs)
규모 지상주의: 단순히 모델의 크기(파라미터 수)와 데이터 양만 늘리는 방식이 AI 연구의 주류가 되면서, 효율적이고 안전하며 윤리적인 다른 대안적 연구들이 소외되고 있다고 비판합니다.

8 상업화의 여명 …263

282 올트먼은 YC에 상당히 큰 이해관계가 있었고, YC는 오픈AI에 투자한 1,000만 달러를 통해 최대 10억 달러의 수익을 돌려받을 수 있었던 것이다.

9 재난 자본주의 …283

284 자동화 필터(불쾌한 콘텐츠 필터)를 만들기 위해 오픈AI는 먼저 모델이 생성하지 못하게 만들고 싶은 콘텐츠의 사례 수십만 건을 자세히 검토하고 분류할 인간 노동자들이 필요했다. …오픈AI는 사마회사와 총 네건의 계약을 23만 달러에 체결했고, 그리하여 자동화 필터 프로젝트는 케냐에 있는 노동자 수십 명의 손에 떨어졌다.

289 2019년에 나온 이들의(마이크로소프트 소속 인류학자 메리 L. 그레이와 전산사회과학자 싯다르트 수리) 저서 <고스트 워크>는 5년간의 폭넓은 현지 조사를 바탕으로 그간 보이지 않는 곳에서 실리콘밸리를 지탱해온 플랫폼 노동과 디지털 착취의 세계를 드러냈다. ….엄청난 양의 뎅이터 어노테이션을 하는 대가로 겨우 몇 푼밖에 받지 못하는, 대개 글로벌 사우스에 사는 노동자들역시 그러한 기업가치를 만들어내는 데 꼭 필요하다.

292 니콜라스 마두로… 베네수엘라 경제 몰락, 초인플레이션 베네수엘라인들이 일감을 찾기 위해 온라인 플랫폼으로 향했다.

293 경제 붕괴에 직면한 베네수엘라는 감자기 값싼 노동을 끊임없이 공급할 수 있는 최적의 조건을 모두 갖춘 곳으로 떠올랐다.

294 제국이 급속도로 부를 축적할 수 있는 원동력의 가장 큰 특징은 아주 적은 대가, 혹은 아무런 대가도 치르지 않고 대규모 인간 노동이 만들어 낸 경제적 혜택을 거둬들이는 능력이다.

316 노동권 학자들과 활동가들은 그 착취는 바로 맨 꼭대기에 있는 AI 기업에서 시작된다고 지적한다. 기업들이 외주 용역 모델을 활용하는 이유가 바로 가장 더러운 업무를 자신들과 고객들의 시야에서 감추고, 중개인들이 인간적으로 생활이 가능한 임금을 깍아내며 서로 경쟁을 하게끔 만들면서 스스로는 그 책임으로부터 거리를 둘 수 있기 때문이다.

332 예술가와 작가, 그리고 개발자들에게는 그 일이 현실이 되었다. 그들이 노동을 통해 만들어낸 결과물을 AI 제국들은 그저 무료 훈련 데이터로 취급해 버렸다.

III부

0 신과 악마 …335

EA 운동의 공동창시자 윌리엄 맥어스킬 장기적으로 봤을때 평생을 바쳐 도덕적으로 선한 자선단체에서 일하는 것보다 도덕적으로 애매한 직장에서 돈을 많이 벌어서 그 돈을 효율적인 자선사업에 기부하는 것이 낫다고 주장했다. 그는 보수적으로 어림잡은 추정에 기반해 부유한 자선가가 되는 것이 금욕적인 자선활동가로 일하는 것보다 기대값의 가치가 40배는 더 크다고 썻다. …“베풀기 위해 번다”

339 실존적 위협에 해당하는 것으로 EA는 글로벌 펜더믹, 핵전쟁, 그리고 사악한 인공지능을 꼽는다.

339 아모데이(앤트로픽)이 보는 올트먼의 행동들 마이크로소프트 계약 건을 다루는 과정에서 그가 보인 투명성 부족과, 항상 상대방의 동의를 얻어내기 위해 상대방이 듣고 싶어하는 말을 늘어놓려는 그의 충동 때문에 상대방은 항상 뒤늦게야 속았다는 걸 알게 되는 정직성 부족

355 (오픈AI 안전파 직원들이) 끝없은 이윤 추구를 견재할 일종의 강력한 평형추가 없는 상태에서 명확한 성장 기조와 매출 목표를 세움으로써 오픈AI가 점점 더 “닥치고 성장” 스타일의 회사로 변질되어갈 수밖에 없다는 것…

362 오픈AI의 데이터 병목 현상을 해결하기 위해 브로크만은 유 튜브로 눈길을 돌렸다. 이전까지 오픈AI는 유튜브를 데이터 원 천으로 사용하는 것을 일부러 피했다. 나중에 유튜브 CEO가 확인한 것처럼, 오픈AI 모델을 훈련시키기 위해 유튜브 콘텐츠 를 스크레이핑하는 것은 유튜브 이용약관을 위반한 것이었다. 하 지만 데이터가 부족하다는 실존적 압박이 커진 상황에서, 문제 는 그 이용약관 위반을 과연 유튜브 또는 모회사인 구글이 실제 로 문제삼을 것인가였다. 만약 구글이 오픈AI의 위반을 문제삼 을 경우, 구글이 자체 대형언어모델 개발을 위해 다른 웹사이트 내용을 긁어오는 것 또한 위태로워질 가능성이 있었다. 브로크만은 위험을 감수할 용의가 있었다.

11 정점 …379

395 챗GPT를 계기로 오픈AI는 비영리에서 상업화의 길로 확고하게 돌어섰다.

400 챗GPT 수요를 맞추기 위해 오픈AI가 필요로 한 것은 데이터 센터만이 아니었다. 차세대 모델을 훈련시키는 데 쓸 더욱 더 강력한 슈퍼컴퓨터도 필요했다. 이와 같이 급증하는 수요를 충족 시키기 위해 두 회사는 오픈AI에서는 스타게이트stargate라고 부르고 마이크로소프트에서는 머큐리Mercury라고 부른 전례 없는 새 프로젝트의 개요를 짜기 시작했다. 그것은 바로 만드는 데에만 1,000억 달러가 들 것으로 추정되는 단일 슈퍼컴퓨터였다. AI 제국은 과거의 제국들이 취했던 것과 완전히 똑같은 확장 방식으로 회귀하고 있었다. 즉, 제국의 성장을 뒷받침하기 위해서는 물리적인 자원이 더 많이 필요했고, 결정적으로 더 넓은 땅이 필요했다.

12 수탈당한 땅 …401

칠레 정부는 기술 발전에 필요한 자원을 제공하는 역할이 국가 발전을 상징한다는 입장이지만, 또한 이 서사에 세계적으로 가장 맹렬하게 저항하는 운동이 탄생한 곳이 칠레이기도 하다. 전국적으로 여러 지역 공동체가 자신들을 배제하거나 자신들에게 아무런 혜택도 돌아오지 않는 글로벌 노스의 비전을 위해 자신들의 땅과 물, 그리고 다른 자원을 수탈당하는 것에 대항해 격렬하게 싸우고 있다. 이들은 거리로 나가 시위를 벌이고 법정 다툼을 통해 기업의 프로젝트를 중지시키고 정부의 관심을 끌었다. 이들의 싸움은 또 다른 나라에 있는 이들에게도 연대하여 일어날 용기를 심어주었다.

415 <AP통신>은 GPT-4를 훈련시키는 데에 마이크로소프트의 데이터센터가 한 달 동안 소비한 물의 양은 4,335만 리터, 지역 수자원의 약 6퍼센트 정도였다고 보도했다.

442 FAIR의 이사인 티로니는 여기서 한 발짝 더 나아간다. 그는 오늘날의 AI 산업은 명백히 식민주의 사상에 뿌리를 두고 있다고 말 한다. 오늘날의 AI 산업은 AI가 무엇인지, 어떤 것이 좋은 AI인지, AI 산업을 만든다는 것은 어떤 의미인지에 대한 세계관과 기술을 나머지 세계에 강요한다. 칠레는 그러한 강요를 거부하는 세력의 리더가 될 수 있다. 수백 년간 이어져 온 추출주의를 경험한 칠레는 국토가 텅 비어 버리고, 수탈당하고, 진보라는 명목으로 파괴되는 것이 어떤 의미인지 깊이 이해한다. 이제 칠레는 그러한 역사적 배경을 원천으로 삼아 탈식민주의적인 AI라는 근본적으로 새로운 개념을 만들어내는 데 활용할 수 있다. “AI의 전 지구적 시장에서 우리나라는 이 기술을 개발하는데 필요한 재료를 제공하는 구체적인 역할을 맡고 있습니다.” 그가 말했다. “여러 기업이 AI를 만들기 위해 우리에게서 아주 많은 자원을 추출하려 시도하고 있죠. 따라서 우리는 이러한 입장에서, 바로 이 지정학적 입장에서, 이 땅의 입장에서 생각해야 합니다. 우리는 기술적 혁신과 이 땅이 관계를 맺는 방식의 대안을 찾아낼 수 있습니다.” 그것은 고귀한 야망이지만, 그에 맞서 진을 친 세력들은 막강하다.

13 두 예언자 …443

478 올트먼은 서서히 이사들의 시야를 가리고 이사회가 절대 자신을 감독하지 못하도록 교묘하게 행동하고 있었다.

14 구원 …479

482 애니(올트먼 여동생)의 이야기는 또 오픈AI가 얼마나 샘 올트먼이라는 사람의 모습과 닮아 있고 그 모습의 연장선상에 있는 것인지 확신하는 데 도움이 되었다. 애니가 자신의 입장을 알리기 위해 기울인 끈질긴 노력은 곧 회사의 문제가 되었다.

489 애니의 이야기는 사람들이 샘을 묘사할 때 나오는 대조적인 모습에 깊이를 더해준다. 그는 너그러운 동시에 이기적이고, 상 냥한 동시에 위협적이고, 수많은 사람들을 후원하는 사람인 동 시에 다른 이들에게는 개인적으로 큰 고통의 원인이 되는 사람. 공개된 자리에서는 진심 어린 이타적인 모습을 보이지만 공개되 지 않은 자리에서 하는 행동을 보면 더 복잡한 계산이 깔려있다 는 게 드러나는 사람. 남들에게 무언가를 줄 수도 빼앗아갈 수도 있어서 오로지 그의 눈에만 모든 것이 훤히 내려다보이는 거대한 체스판에 들어와 있다는 느낌을 많은 이들에게 심어주는 사람.

IV부

15 포석 …503

사람들은 올트먼으로부터 명확한 대답을 얻지 못해 답답할 때면 올트먼의 답변을 해석하기 위해 미라 무라티를 찾아갔다.

507 무라티는 올트먼이 어질러 놓고 자신이 정리해야 하는 상황을 더 자주 마주해야 했다.

508 임원들 중 누군가각 올트먼의 의견에 동의하지 않거나 이의를 제기하면, 올트먼은 곧바로 그 사람을 중요한 의사결정 절차에서 배제하거나 그의 평판을 훼손시켰다.

16 음모 …529

530 무라티(오픈AI 기술책임자)는 잣니이 테슬라에서 같이 일해본 머스크와 비교해 설명했다. 머스크는 어떤 결정을 내리면 자신이 왜 그런 결정을 내렸는지 설명 할 수 있었다. 반면 올트먼의 경우, 무라티는 그가 정말로 솔직하게 이야기하는 것인지, 그가 초래한 혼란이 올바른 판단에 근거한 것인지 아니면 어떤 숨겨진 계산에 따른 것인지 알 수 없는 경우가 많았다.

539 (올트먼이 해고당한뒤)밤새 직원들은 이사회의 결정에 항의하며 회사를 그만두고 마이크로소프트로 이직하겠다고 위협하는 공개 서한을 작성했다. 그 명단에 가장 먼저 이름을 올린 것은 무라티였다. 높은 직책을 가진 직원들 중 상당수는 올트먼보다 무라티를 더 따랐다. 날이면 날마다 일터에서 그들과 함께 난관을 헤쳐온 사람은 무라티였고, 사리사욕을 배제하고 회사에 가장 유리한 방향으로 행동 할 것이라고 그들이 믿는 사람도 무라티였다. 다른 이들은 올트먼이 투자자들과 가깝고 대규모의 자본을 조달할 수 있는 특출난 능력을 갖췄기 때문에, 오픈AI가 진행하고 있던 공개매수 제안을 순조롭게 성사시킬 수 있는 최선인, 어쩌면 유일한 사람이라고 여겼다. 그래야만 회사의 장기적인 성공을 위해 필요한 자금 을 확보할 수 있을 뿐 아니라, 많게는 수백만 달러에 이를 수 있 는 자신들 몫의 회사 지분을 현금화할 기회를 얻을 수 있다고 본

17 심판 …551

블럽이라 불리는 올트먼 축출 사건 이후, 수츠케버는 다시는 사무실로 되돌아가지 않았다. 이제 안전파의 우려를 대변할 목소리가 경영진과 이사회에서 크게 줄어들었다. 내부 조사가 마무리되고 난 후인 2024년 4월 무렵에는 안전파의 상당수, 그중에서도 특히 파멸의 가능성(p(doom))을 가장 높게 잡았던 극단적인 두머들이 환멸을 느끼고 회사를 떠났다. 그들 중 두 명은 오픈AI의 설명에 따르면 회사 정보를 유출했다는 이유로 해고됐다.

극단적인 두머들의 인내심을 무너뜨린 계기 중 하나는 AI 칩 회사를 만드려는 올트먼의 계획이었다. 올트먼은 잠시 축출되 었을 때 그 회사를 만들기 위한 자금을 모으고 있었다.? 2024년

565 GPT-40 시연 다음날인 5월 14일, 오픈AI는 수츠케버가 회 사를 떠나고 파호키가 오픈AI의 새 수석과학자로 취임한다고 공 식 발표했다. 수츠케버는 오픈AI를 사랑하고 자신의 모든 것을 바쳐 일했지만, 한때 자신이 믿었던 공동창업자인 브로크만과 함 께 올트먼이 이끄는 오픈AI는 더 이상 안전한 AGI를 도래하게 할 적합한 환경으로 볼 수 없다고 판단한 후 떠나기로 결정했다

581 잇따른 위기는 오픈AI의 자기성찰로 이어질 수도 있었다. 그 것은 오픈AI가 도대체 왜 직원과 투자자, 규제 당국과 대중의 신 뢰를 동시에 잃었는지를 곰곰이 생각해 볼 수 있는 기회였다. 만 약 그랬더라면 오픈AI는 비로소, 아마도, 어쩌면 이사회 위기와 전방위적 위기가 사실은 동일한 위기라는 사실을 이해할 수도 있 었다. 그것은 제국이 너무나 많은 수탈을 통해 지나치게 권력을 가질 때 발생하는, 뿌리깊은 구조적 불안이 일으킨 경련이었다. 그 결과 대다수는 주체성과 물질적 부를 상실하고, 극소수만이 주도권을 두고 치열하게 다투게 된다. 대신 오픈AI는 비판으로부터 스스로를 방어하는 쪽을 택했다. 올트먼은 항상 그래왔듯이 직원들에게 전방위적 위기와 이 사회 위기는 AGI를 향한 고귀한 사명을 이루기 위해 거쳐야 하 는 위험천만한 여정에서 만난 기이한 광기의 순간들일 뿐이었다고 되풀이했다. 우리가 이 강력한 시스템을 만드는 방법을 알아 내는 데 더욱 가까워지고 있다고 모두가 느끼고 있듯이.” 올트먼이에서 이렇게 말했다. “내부적으로도, 외부적으로도, 우리를 향한, 우리에게서 나오는 그 모든 스트레스와 긴장감은 계속 이어지고 커지기만 할 것입니다”

😡아 종교가 되어가고 있구나,,

18 제국을 세우는 공식 …583

AGI가 인류 전체에 이익이 되도록 보장한다는 오픈AI의 사명은 어쩌면 진심 어린 이상주의에서 출발했을 수도.. 이후 자원을 모으고 제국과 유사한 권력 구조를 구축하는 데 있어 독보적으로 효과적인 공식이 되었다고… 공식 세가지 첫째, 위대한 야망아래 인재를 집결 둘째, 사명의 장애물과 규제, 반대의견을 제거, 자본과 기타 다른 자원을 한곳에 모은다 셋째, 인재와 자본, 자원을 모으는 권력자가 자기 마음대로 그것을 지위할 수 있게끔 해석하고 ..재해석할 수 있을 만큼 모호해야 한다

AGI란 도대체 무엇인가?

586 올트먼과 브로크만, 머스크에게 쓴 것처럼 “AI 개발로 인한 혜택 을 모두가 누릴 수 있어야 하지만, 세부적인 기술을 공개하지 않 아도 문제될 건 없다"는 것을 의미했다. 2018년과 2019년에는 오픈AI가 현장에 쓴 것처럼 “상당한 자원을 동원’하는 동시에 “적합한 안전 장치를 마련할 시간이 없는 치열한 경쟁"을 피하 기 위해 이익제한 구조를 만드는 것을 의미했다. 2020년에는 내 가 쓴 첫 심층 소개기사에 대한 반응으로 올트먼이 쓴 것처럼 모 델을 숨기고 “개방성과 이익 분배를 위한 전략으로 APT"를 만드 는 것을 의미했다. 2022년에는 “반복적 배포"와 챗GPT를 배포 하기 위해 최대한 빨리 전력 질주하는 것을 뜻했다. 2024년에는 GPT-40 출시 후에 올트먼이 자신의 블로그에 쓴 것처럼 “우리 의 사명의 핵심 부분 중 하나는 매우 뛰어난 AI 도구를 사람들의 손에 무료로 (또는 아주 싼 가격에) 쥐여주는 것"을 뜻했다. 오픈AI가 전방위적 위기를 겪고 있는 와중에도 올트먼은 또 다시 자신의 정의를 수정하기 시작하고 있었다. 수츠케버와 레이크가 떠나고 난 뒤인 2024년 5월 15일 전체 직원회의에서 올트먼은 오픈AI가 곧 새로운 수준의 AI에 도달 하게 될 것이라며 이를 위해 회사가 재검토하고 재정비할 필요가 있다고 강조했다. “이제 우리는 AGI 시대에 들어섰다고 가정할 것입니다.” 사명을 명목으로 오픈AI는 외부와의 차단을 더욱 강화하고 글로벌 로비와 대외 홈보에 힘을 주어야 할 필요가 있다 고 했다.

587 오픈AI는 자신들의 지배력을 강화하기위해 필요한 것이라면 뭐든지 할 것이며, 그에 따라 사명도 해석하고 재해석할 것…

593 그 모든 경영진 교체와 계획된 구조 전환을 통해 회사는 변함없는 사실 하나를 드러내고 있었다. 그것은 바로 오픈AI는 언제나 샘 올트먼의 AI 제국이었고, 앞으로도 여전히 그럴 것이라는 사실이었다.

595 새해가 시작될 무렵, 올트먼은 다시금 관심을 끄는 행동을 했다. “이제 우리는 우리가 이제껏 생각해온 AGI를 만드는 방법을 안다고 확신합니다” 그는 2025년 1월 6일 블로그에 이렇게 적었다 “우리의 목표는 이제 그 너머에 있는, 진정한 의미의 슈퍼인텔리전스입니다”

에필로그 제국은 어떻게 몰락하는가 …596

609 우리가 던져야 할 질문… AI가 권력을 집중시키는가, 아니면 재분배하는가?

제국을… 지식의 재분배 권력의 재분배 폭넓은 교육 - 과장된 기대와 작동 방식, 허상을 걷어내야..

7. 🤔 Rambling

• 머스크와 올트먼은 인공지능의 위험성을 걱정하여 의사결정권을 분산하는 조직을 만든다 -> OpenAI
  • 구글의 하사비스의 인공지능을 걱정하면서… 53
  • 오픈AI라은 이름—- 이들이 공유한 사명의 정신을 담아내기 위해 머스크가 지었다.
• 샘 올트먼은 오픈AI의 핵심 알고리즘을 직접 코딩하는 ‘딥러닝 엔지니어’는 아닙니다. 하지만 그는 기술의 잠재력을 알아보고, 그 기술이 현실 세계에서 작동하기 위해 필요한 막대한 자본, 컴퓨팅 파워, 그리고 데이터를 끌어오는 데 타의 추종을 불허하는 능력을 갖추고 있습니다. 책의 서두가 그를 ‘사업가’로 정의하는 것은, 그가 인공지능이라는 난해한 과학적 성취를 대중이 소비하고 자본이 투입되는 ‘시장’으로 끌어들인 결정적 인물임을 강조하기 위함입니다.
• 올트먼의 야망에 대한 생각 - 재미니와

1
2
3
4
5
6
7
8

1. '선한 의도'라는 도구적 명분
샘 올트먼은 피터 틸의 리버테리어니즘(자유의지주의)과 폴 그레이엄의 성장 지상주의를 흡수한 인물입니다. 그들에게 비즈니스란 단순히 돈을 버는 수단이 아니라 세상을 재편하는 힘입니다. 오픈AI가 초기에 내세운 '인류 모두를 위한 안전한 AI'라는 슬로건은, 구글이나 메타 같은 기존 거대 기업(Big Tech)의 독점을 견제한다는 명분을 얻기에 가장 완벽한 서사였습니다. 이는 대중의 지지와 우수한 인재, 그리고 규제 당국으로부터의 관용을 끌어내는 전략적 '실드(Shield)' 역할을 했을 가능성이 큽니다.

2. 구글의 'Don't be evil'과 오픈AI의 'AGI for All'
과거 구글이 '악해지지 말자'는 구호를 내세웠으나 결국 데이터 독점과 수익 극대화의 길을 걸었듯, 오픈AI 역시 비영리 단체로 출발했으나 현재는 마이크로소프트와 결탁한 영리 중심의 기업으로 변모했습니다. 올트먼이 강조하는 '인류를 위한 선한 AI'라는 담론은, 사실상 그가 인공지능이라는 강력한 도구의 고삐를 쥐고 세상의 질서를 재편하는 과정에서 필요한 '도덕적 정당성'을 확보하기 위한 장치라는 시각이 지배적입니다.

3. 영향력 극대화를 위한 '정치적 감각'
올트먼은 기술적 난제를 해결하는 과학자보다, 그 기술을 둘러싼 정치를 설계하는 데 훨씬 능숙합니다. 그는 AI의 위험성을 경고하며 전 세계를 돌며 규제를 논의하지만, 동시에 막대한 자본을 투여해 누구보다 빠르게 기술을 상용화합니다. 이러한 모순적 행보는 결국 '내가 이 위험한 불꽃을 다루는 유일하고도 안전한 관리자'라는 인상을 심어줌으로써, 자신을 전 지구적 영향력을 가진 독보적인 인물로 포지셔닝하는 고도의 전략으로 해석될 수 있습니다.

• 여동생,,, 샘과 여동생의 결별

  • 여동생…자신을 어릴쩍 성폭행한 사건 폭로
  • 가족들은 여동생의 말이 사실아니라며, 샘의 편
  • 저자는 이것이 샘의 특징이라고,,, 그의 타락의 단편이라고…

• OpenAI 는 누구에게나 도움이 되는 범용 AGI를 만들려고 한다.

  • 그러기 위해서는 누구보다 먼저 AGI를 완성해야 한다. 그래야 자신들이 원하는 도움이 되는 AI가 되기 때문이다 라는 생각
  • 그래서 그들은 누구보다 앞서기위해 수단방법을 가리지 않고 달리고 있다. 역설적으로 !! 138

• AI를 학습 시키고, 평가하고, 컨텐츠를 필터링하고 , 자율주행을 위해 태깅하고…모든 것은 사람이 해야하고

  • 그것은 빈곤층의 사람들에게 할당되며, 그들의 고용은 불안하다.
  • 그들의 정신건강은 파괴되고
  • 그들의 일은 올바른 수당으로 지급받지 못한다. 그 이익은 유통사나 최고 꼭대기 기업들이 가져간다.
  • 그 최상위 기업은 그렇게 저렴한 비용으로 해자를 곤고히 쌓아간다.

• 인류가 걸어온 자본주의의 민낯이 새로운 가면을 뒤집어 쓰고 그대로 반복된다.

• 데이터 센터, 자연 파괴, 물 부족, 전기 부족, 주민들 먹을 물과 전기도 없는데, 싼곳을 찾아다니는 거대공룡 기업들

  • 제국주의 모습 그대로

• 올트먼이 해고당하고, 그를 지지하던 사람들이 그를 지지한 이유가…. 회사를 상장시킬 수 있는,,,그의 광고와 마케팅 등의 능력때문이기 해다…

  • 참 대단한 기업이다. 과연 이런 기업에서 선한 AGI가 나오겠는가… 가스라이팅을 당할 뿐이다.!!

8. 🔗 References