[!INFO] 책 정보

• 저자: 저자/롭_라이히
• 번역: 번역/이영래
• 출판사: 출판사/어크로스
• 발행일: 2022-04-11
• origin_title: -
• 나의 평점: 7
• 완독일: 2022-07-16 00:00:00

tags: #_독서록/2022년

시스템에러

Sub title:시스템 에러: 빅테크 시대의 윤리학

• 파괴적 혁신, 문제 해결의 최적화, 효율성 증가 … 빅테크가 설계한 미래가 우리에게도 최선일까?
• 가치중립적인 기술이란 없다, 모든 것은 인간의 탐욕을 반영한다. 빅테크의 지배에서 우리를 구하고 민주주의를 재건할 방법. Issue date:2022년 04월 11일 #저자/롭_라이히 , #저자/메흐란_사하미 , #저자/제러미_M, #저자/와인스타인 #번역/이영래 #출판사/어크로스

2.질문 (책 읽전에 먼저 작성할 것)

_경험에 , 왜 읽었나 질문,궁금 등 __

Qustion 질문

• (why) 이 책의 제목을 이렇게 지은 이유는?

• (how) 어떻게 설명하고 있는가? 어떻게 하라고 하는가? 어떻게 해야하는가?

• (where) 어느 곳에서 쓴 책인가? 어느 것을 위해 쓴건인가? 어디로 가야하는가? 어디에서 읽어야 하나? 그곳은 어떤 곳인가?

• (when) 이책은 언제 쓰여졌는가? 시대적 배경은 무엇인가? 언제를 기준으로 쓰였는가? 언제 할것인가?

• (who) 저자는 누구인가? 주인공은 누구이고 어떤 사람들이 나오나? 누구를 위해 저자는 말하는가?

• (why) 이책을 통한 질문을 만들기

  • 질문 1.
  • 질문 2.

• (what) 이 책에서 말하는 주제라는 무엇?

  • 알게된 것은 무엇인가?
  • 해야할건 먼가?
  • 다른 책과 다른 점은 먼가?
  • 이 책의 특징은 먼가?

1. 책정보

2. 내용

   • 주요내용

     • 우리가 살고 있는 기술 고도화 사회. 우리는 기술 변화에 큰 영향을 받으며 살고 있다.
     • 하지만 기술이 인간을 이롭게 하는 올바른 방향으로 가지 않는 지점들이 많아지고 있다.
     • 소수의 기술 엔지니어들에 의해 수많은 사람이 영향을 받고있다.
     • 그들에게 기술이 야기할 영향에 대해 충분한 인문학적 ,사회 문화적 가치 고려가 필요하다
     • 하지만, 그것은 누구나 알듯 달성될 수 없는 이상향일 뿐이다.
     • 우리가 영향 받는 기술 발전에 대해 우리는 민주주의적 방식으로 대체해야하며, 그것에 대한 관심과 적극적인 의사 표현이 필요하다
     • 정치인들에게 요구하고, 목소리를 내야한다.
     • 그래서 탐욕의 빅테크가 날뛰지 않도록 규제와 제도를 만들어야 한다.

   • /핵심 문장/핵심 표현

3. 책의 견해

   • 작가의 주장과 의견
     • 개발되는 기술에 대한 민주주의적 (권위주의적 관리-중국향, 규제 주의적 관리 -유럽, 기술강조 - 미국) 규제,관리, 가이드를 만들어야 한다.
     • 우리의 삶에 엄청난 영향을 주는 기술발전에 대해 인식하고, 그것이 올바로 작동 할 수 있도록 관심을 갖고, 적극적인 의사를 표현하고, 제도를 만들어야 한다.

4. 나의 견해

   • 주제에 대해 - 책 읽기전 / 책 읽은 후
   • 만약 내가 저자였다면

5. 무엇을 생각했는가

   • 배운점 / 느낀 점/ 깨달은 점 / 기타
   • 우리의 미래의 삶을 기술의 발전속에서 어떻게 , 우리의 삶을 윤택하게, 많은이들이 위험과 고통에서 벗어날 수 있는, 안정적인 식량과 주거, 의료 복지가 보장된 사회에서 살수 있도록
   • 기술 발전의 방향을 결정하고, 규제하는일이 필요하다는 것에 적극 공감한다.
   • 제도가 기술 발전 속도를 따라가지 못하게 되면서 , 기술기업의 탐욕이 날뛰고 있다.
   • 우리가 이것을 인식하고 관심을 가져야 한다.
   • 소수의 기술자들에게, 빅테크 기업들에게 우리의 미래를 전적으로 맡겨서는 안될 것이다.
   • 이책이 그것에 대한 솔류션을 주지는 못하지만, 기술발전으로 인한 피해를 생각하게 하고, 적절한 규제와 정부를 독려 시키는 것이 중요함을 말한다
   • 그리고 그런 규제는 정부의 권위적 규제가 아닌 민주주의적인 방식, 모두의 이해관계를 고려한 그런 방식의 규제를 만들어야 함을 말한다.

6. 한문장으로 요약

3.중요 문장 (책 밑줄에서 top 3 선별)

_주요 키 내용 2~3가지로 정리하기 또는 20자 정리 _

#1

• 편견을 없애기 위해 엔지니어들이 사용할 수 있는 유일한 현실적 전략은 편견을 체계적으로 측정하고, 그것을 완화할 조치를 취하며, 공정성에 대한 어떤 정의를 최적화의 목표로 삼고 있는지 명확히 하는 것이다.

#2

• 소프트웨어 엔지니어링 분야의 윤리를 강화하기 위해서는 기술 개발의 초기 단계에서 기술이 영향을 미치게 될 가치들을 충분희 논의하고, 전문가 조직이 적극적으로 나서며, 규칙 위반자를 제재하는 규범을 개발해야한다.

#3

4. 내생각

• 빠른 기술 발전, 그것을 가능하게 하는 자본의 집중, 부,

  • 빠른 기술 발전을 위한 효율화 최적화
  • 윤리적은건 필요없고 효율만 중요시됨
  • 그에 따른 사회적, 윤리적,도적적 비용은 무시됨

• 기술은 속도는 빠르나 규제,규칙은 느리다.

• 기술기업은 그 간극(규제와 기술)속에서 부를 취하고 시민들은 착취를 당한다.

• 시장을 지배하는 기업은 막대한 자금을 기반으로 로비를 토앻 정치적 영향력을 확대하고 있다.

• 우리 삶의 곳곳을 파고드는 인공지능, 기술 발전에 대해 우리는 우리를 위한 정책과 제도를 만들어야 한다.

  • 소수의 기술자들에 의해 피해를 받지 않도록 해야한다.

• 소프트웨어 개발단계부터 윤리적,가치에 대해 충분한 검토가 이루어져야하는 이상적 대안이 있지만

  • 그냥 메아리일 뿐이다. 제도적 장치가 없이는 인간의 탐욕의 힘에의해 무시될 수 밖에 없다

5.책 밑줄 정리 (책 밑줄 전체,page)

서장ㆍ기술을 지배하는 규칙은 누가 만드는가

• 기술을 무비판적으로 수용하거나 생각 없이 비난만 한다면 기술 전문가들에게 우리의 미래를 맡기는 꼴이 될것이다
• 개인으로서 우리가 그리고 민주국가의 시민으로서 우리의 힘을 어떻게 행사할지, 민주주의에 어떻게 새로운 힘을 불어넣을지, 디지털 혁명이 어떻게 우리에게 가장 큰 혜택으로 돌아오게 할지…. (우리는 고민해야한다.)

1부 기술자들의 시대

1장ㆍ최적화 사고방식으로 무장한 사람들

• 소이렌트 이야기: 모든 것을 최적화해야 할까?

• 엔지니어의 사고방식

  • 비용 알고르즘, 가격, 시간이 가장 저렴하 경로를 찾을 순 있지만, 환경에 영향을 주는 부부는 고려하지 못한다. 측정할 수 없기 때문이다.
  • 효율에 헌신하고 최적화에 집착하는 일에 좋은 면만 있는것은 아니다. 기술자들이 강력한 힘을 가지게 되었고 기술에 대한 그들의 비전과 가치관이 우리 개인의 삶과 사회를 바꿔 놓고 있기 때문에, 최적화의 문제는 곧 우리의 문제이다.

• 효율의 결점

  • 효율을 추구하는 것이 본질적으로 선한 것은 아니다.
  • “성급한 최적화는 모든 악의 근원이다” - 도널드 커누스 (선구적 컴퓨터 과학자)

• 굿하트의 법칙: 숫자로 말할 수 없는 것들

  • Goodhart’s Law
  • 지표가 목표가 되고, 수단이 목적을 정당화 하는것

• 가치중립적인 기술이란 없다

  • 성공 재앙
    • 닭을 잡으려면 55일을 키워야 되지만 기술발전으로 이제 35일이 걸린다
    • 하루에 500억 마리의 닭이 도축된다
    • 기술은 성공했지만, 환경문제(매탄가스), 개인보건(육류증가 심장질환증가), 공중보건(바이러스) 의 위험도 증가했다.

73

• 우리는 우리가 추구하고자 하는 가치와 기술을 어떻게 절충할지에 대해 명확한 입장을 가져야 한다.

2장ㆍ해커와 벤처투자가의 잘못된 만남

엔지니어, 고삐를 거머쥐다 벤처투자가와 엔지니어로 이루어진 생태계 OKR: 유튜브를 오래 시청하는 사람이 행복한 것일까?

• 특정 목표를 최대화하는 데 초점을 맞추고 달려드는 일이 우리가 생각하는 것보다 더 나쁜 결과로 이어질 수 있다. 목표 설정에 대한 과도한 집중으로 인해 개인과 조직이 편협한 목표에 지나치게 집착하면 다른 중요한 고려 사항을 보지 못할 수도 있다.
• (기업이OKR등 목표 설정을 통해) …도전적인 목표는 달성할 수 있지만, 다른 중요한 특정 (안전,윤리적 행동, 회사 평판)을 대가로 지불할 수 도 있다.

유니콘 사냥 새로운 세대의 벤처투자가 법규에 굴복할 생각이 없는 자들

3장ㆍ파괴적 혁신과 민주주의

• 최적화 사고방식 + 이윤 이라는 사고방식 정치와 정부의 역활 한계. 걷잡을 수 없는 혁신 속도, 정부가 그것을 따라가기 어렵다.

최악의 산업재해: 혁신과 규제의 대립

• 혁신과 민주주의의 대립은 매우 현실적인 문제다. 기술은 빠르게 움직이기 때문에 그 영향을 예측하기가 어렵다. 기존 시장을 파괴하거나 완전히 새로운 시장을 만드는 경우에는 더 그렇다. 어떤 문제가 해결이 필요한지, 그런 문제를 어떻게 해결할지 정치적 합의를 도출해내야 한다.
• 규칙, 정책들도 기술만큼 역동적으로 움직여야 한다.

혁신이 민주주의를 능가한다는 허구 테크노크라시, 플라톤이 말하는 철인왕의 조건 우리가 가진 공통의 불안

• 민주주의는 경제 성장에 이바지한다. 자본가와 혁신가들의 경제적 이익을 더 잘 보호하기 때문이다.

• 정부가 유효하려면 하회적 협력과 경쟁에 대한 공정하고 안정적인 규칙을 제시하고, 다각화되고 복잡한 경제의 성장을 촉진하는 투자에 인센티브를 제공해야 한다. 방호벽으로서의 민주주의

• 20세기 오스트리아의 철학자 카 포퍼

  • 어떻게 하면 나쁜 혹은 무능한 통치자가 지나치게 많은 피해를 주는 것을 막는 정치 제도를 만들 수 있을까?

• 우리가 원하는 결과를 얻기 위해 시스템을 운영하는것은 시민인 우리 모두의 몫이 된다.

  • 포퍼 “민주주의 국가의 정치적 결점을 보고 민주주의를 탓하는 것은 큰 잚못이다. 정말로 탓해야 하는 것은 우리 자신, 즉 민주국가의 시민들이다.”

• 그러니, 우리가 올바른 기술발전으로 우리가 행복하고 평안한 사회를 만들기 위해 깨어 있고 고민히고 토론해야한다.

• 기술이 사회에 미치는 영향은 기근과 마찬가지로 사람이 만든 재앙이다. 기술을 만든 것도, 규칙을 만든 것도 우리다. 벌어지는 일은 궁극적으로 우리 집단적 선택의 결과이다.

2부 빅테크, 혁신의 배신

4장ㆍ누구의 편도 아닌 줄 알았던 알고리즘

학습하는 기계의 시대 공정성을 어떻게 정의해야 할까?

• 엔지니어들이 공정한, 세상을 더욱 공정하게 만드는 알고리즘을 설계해야 하는 일이 그 어느 때보다 중요해졌다. 공정성은 시대를 초월한 보편적인 정의를 내릴 수 없는 문제이므로 특정한 사회적 맥락에서 공정성이 어떤 의미인지에 주목하는 것이 필요하다.

자동화 알고리즘이나, 판단 알고리즘에 어떤 철학적 기준을 반영할 것인지는 엔지니어의 철학에 달려있다. 우리는 시스템의 도움을 점점더 필요로 하고 있는데, 이 시스템을 디자인하는 엔지니어들의 철학를 고민해봐야 한다. 공정하다는 기준을 잡는 것 , 그 기준을 어떤 것으로 삼을 것인가

채용,재판등 우리는 많은 중요한 면접을 알고리즘을 통해 평가 받는다. 인종,성별,나이,종교,시대 적 차이점을 어떻게 공정하게 평가할 것인가. 어떤 알고리즘으로 어떻게 공정하다고 인정될 판단 기준을 만들것인가.

하지만 머신러닝 , AI기술은 기술 엔지니어도 어떤 이유로 의사결정이 되었는지 모른다. 알고리즘의 블랙박스

알고리즘이 판사보다 낫다는 생각

• 공정성에 대한 논란이 가장 치열하게 벌이지는 곳 –> 사법제도 영역

정확성과 유효성

• 편견을 없애기 위해 엔지니어들이 사용할 수 있는 유일한 현실적 전략은 편견을 체계적으로 측정하고, 그것을 완화할 조치를 취하며, 공정성에 대한 어떤 정의를 최적화의 목표로 삼고 있는지 명확히 하는 것이다.

자동화 시스템을 속일 수 있는 인간 알고리즘을 어떻게 통제하는가 ‘블랙박스’를 열다

• 알고리즘 책임성, 우리는 알고리즘에 대한 책임,감독을 해야한다
• 그것들이 우리의 삶에 지대한 영향을 주기 때문이다.

5장ㆍ한 번의 클릭으로 우리는 무엇을 포기했나

• 개인정보 보호

나도 모르는 또 다른 내가 존재한다 디지털 팬옵티콘: 사라진 사생활

• 팬옵티콘 : 원형을 이루는 감방 건물 중앙에 감시탑이 있는 감옥 설계

종단간 암호화: 팬옵티콘에서 디지털 블랙아웃으로 기술만으로는 우리를 구할 수 없다 시장도 믿을 수 없다 개인정보 보호의 역설 사회의 이익을 위한 개인정보 보호 GDPR: 디지털 시대의 권리장전

• General Data Protection Regulation 개인정보보호규정

우리의 목적지

• 기업이 우리의 무지와 게으름, 인지적 한계를 이용해서 우리에게서 더 많은 정보를 수집하고 있다.
• 우리는 기술에 대해 뛰어난 지식이 없어도 기본적인 권리를 지킬 수 있는 제도를 만들어야 한다.
• 우리가 음식인, 상품에 지식이 없어도 기본적인 안전이 보장되는 것처럼 말이다.

6장ㆍ자동화의 그늘, 기술적 실업이라는 질병의 탄생

악귀를 조심하라 인간보다 똑똑한 기계의 등장? 자동화는 인류에게 좋은 것인가 경험 기계: 우리는 환상 속에 사는 것이 아니다 인간 빈곤으로부터의 대탈출 자유는 당신에게 어떤 가치를 갖는가 적응의 비용 절대 자동화하지 말아야 할 것

• 자율무기 - 원격조종 드론, 크루즈 미사일, 암살,정부 와해, 군중진압, 특정 인물,집단 선택적 살해
• 가르치는 일

인간이 자리할 곳은 어디일까?

• 인간은 소득에 대한 세금을 낸다
• 기계는 세금을 내지 않는다.

남겨진 이들을 위한 자리

• 새로운 일자리를 위한 교육지원이 필요하다.

7장ㆍ표현의 자유와 민주주의 사이의 저울질

표현 과잉의 결과 표현의 자유가 인간 존엄성과 충돌할 때 온라인 발언의 오프라인 피해는 무엇일까? 인공지능은 콘텐츠의 맥락을 파악할 수 있을까? 페이스북의 ‘대법원’? 자율규제 너머로 플랫폼 면책의 미래 경쟁의 여지를 마련하다

3부 시스템 리부팅

8장ㆍ민주주의가 답할 수 있는 것들

그래서 내가 할 수 있는 일은 무엇일까?

• 우리의 사생활,직업,시민으로서의 생활에 빅테크가 혼란을 주지 못하게 하기 위해서
  • 기술이 당신 생활에 미칠 수 있는 존재에 대해 인식하라
• 정치 시스템에 공동체 가치를 위한 목소리를 내라

나만이 아닌 우리

• 소수의 사람들이 만드는 기술, 그들에게만 의지하지 않도록, 우리 모두의 목소리를 내야한다
• 정부에게 개인정보보호 정책 촉구

시스템 리부팅

• 새로운 기술을 대하는 우리의 미래를 위해서
  • 기술자들이 윤리 문제에 대한 인식,이해를 높여야 한다 (개발자,엔지니어들의 인문학적 능력 향상 필요)
  • 기업의 힘을 억제해야 한다. (탐욕 억제)
  • 우리의 수동적 자세(기술과 기술자들이 우리를 지배하도록 놔두는 ) 버리고 관리할 수 있는 제도를 만들어야 한다.

해를 주는 어떠한 것도 멀리하겠노라

• 소프트웨어 엔지니어링 분야의 윤리를 강화하기 위해서는 기술 개발의 초기 단계에서 기술이 영향을 미치게 될 가치들을 충분희 논의하고, 전문가 조직이 적극적으로 나서며, 규칙 위반자를 제재하는 규범을 개발해야한다.

새로운 형태의 저항

• 빅테크 기업의 힘을 제한 하려는 노력
  • 1. 개인정보에 대한 기업과 소비자의 통제권 불균형 해결 필요. 기업이 개인정보보호에 노력할 수 있도록 정부 제도 필요
  • 2. 기술 변화로 피해 가능성 사람들의 목소리를 낼 기회를 주는것
  • 3. 대형 기술기업의 시장 지배력을 억제하기 위한 노력. 독점방지

기술이 우리를 지배하기 전에

시민이 정치가들에게 규제 없는 기술의 악영향에 대해 책임을 물어야 한다. 그렇지 않다면 그들은 신경도 쓰지 않을 것이다.

정부의 권위주의적 기술 지배도 구조도(중국) 문제이다 진정한 민주주의 방식으로 기술을 제어,활용하는 구조가 필요하다. 빅테크가 야기한 문제의 해독제 —> 민주주의 방어, 시민권한 부여 기술기업의 승자독식을 경계해야함

6.연관 문서

• #인공지능 #디지털 #인류 #미래 #_N컴퓨터IT #윤리 #도덕 #인문학

나는 전산쟁이 시스템에러 라느누말은 스트레스다 정해진 기능이 올바로 동작하지 않는다는 의미로 들린다

이책의 시스템 에러는 도덕적 인간적인 의미에서 인간을 행복하게 하지 않는 시스템을 말한다 정의된대로 동작하더라도 정의가 틀릴경우를 우리는 고민해야 한다는 의미다

무슨 일이든지 이 일이 어떤의미가 있느느지를 고민하는 것은 중요하다