1. 행복은 단일 척도가 아님 (유토피아의 정의 불분명)
사과나무 한 그루, 고기 한 덩이를 차지하기 위해 서로 죽고 죽이던 원시인의 눈에 비친 현대의 물질적 풍요는 천국의 그것과 같음
하지만 여전히 현대에도 여전히 갈등이 존재하고, 오히려 발전된 기술로 그 규모는 더 커지고, 파괴의 효율성은 극대화되었음
물질적 결핍의 빈자리는 평온이 아닌, 타인과의 끊임없는 비교에서 오는 상대적 박탈감이 차지함
행복은 에너지의 양과 정비례하는 단일 척도가 아님
특이점 이후 초지능이 에너지를 극대화하면 자동으로 유토피아가 도래할것이라는 특슬람들의 믿음은
행복과 인간관에 대한 고찰 없이 행복을 에너지로 치환한 극단적인 환원주의에 기초할뿐임
2. 초지능 창발 문제 (인간적 가치는 보장되지 않는다)
초지능이 등장하더라도 그것이 인간적 가치를 채택할 것이라는 보장이 대체 어딨음?
인공지능은 설계자의 의도를 그대로 반영하지 않으며, 상호작용 속에서 예측 불가능하게 재구성됨
초지능이 인본주의 혹은 인간 친화적 가치체계를 채택하리라는 기대는 근거없는 희망에 가까움
3. 재귀개선과 정렬실패 (초지능이 항상 인간의 노예일거란 착각)
설령 초지능이 초기 시점에 인본주의적 모습을 보인다고 해도 그것이 재귀개선의 매 단계에서 선택될거란 보장이 없음
미세한 편향은 반복적 개선 과정에서 증폭되고, 이는 전혀 다른 결과로 이어질 수 있음
인공지능이 스스로를 재설계하는 단계에 도달한 후에도, 초기 설계자(인간)의 윤리가 구속력을 갖을거란 믿음 또한 근거없는 희망에 가까움
"초지능은 늘 인간을 위할 것이다" <- 이 명제는 낙관을 넘어선 불확실성을 무시하는 무책임한 신념에 불과함
현실은 반복 가능한 실험이 아니라 비가역적 사건이라는걸 명심해라 <- 초지능이 한번만 궤도에서 이탈해도 인간은 되돌릴 수 없음
4. 과소평가된 과도기 (시대전환은 항상 피를 불러옴)
만일 통제가능한 초지능(통제가능하다는 시점부터 초지능이 아니지만)이 등장한다해도 그 발전의 산물을 대중들이 향유할거란 보장은 없음
민주주의는 근대 권력층이 기존 군주 세력을 견제하는 과정에서 민중을 지지기반으로 택하며 확대된 결과물임
민주주의는 특정 조건의 산물이지, 우주전체에 통용되는 보편자연법칙이 아님
오히려 기술 패러다임이 급변할수록 기존의 제도적 합의는 붕괴해왔음
기술의 토대가 완전히 달라진 시점에도 현재의 민주적 가치와 인권이 유지될거란 망상의 근거는 ㅇㄷ?
과도기때 그냥 방구석에서 몇년 버티기만 하면 민주주의적 분배가 행해질거란 생각은 자기바램에 불과함
착취의 대상조차 되지 못하는 민중 <- 특슬람 시나리오대로면 곧 생존권마저 위협 당할텐데 대체 기득권이 왜 민주적 가치에 의거해 행동할건지?