Confirmation bias
감탄할 만한 일은 아직 멀었니,헤르미온느가 말했다. 그녀는 다시 음료수 캔을 잡고는 입가로 가져가고 있었다.
글쎄, 아마 이 정도면 감탄할지도 모르겠네,그가 말했다. 그는 몸을 앞으로 기울이고는 그녀를 열정적일 정도로 강하게 바라보았다.사실 이미 몇가지 연구를 해보았는데, 그 결과 내가 마법을 행하기 위해서는 지팡이고 뭐고 필요없고, 단지 손가락을 튕기기만 하면 된다는 사실을 깨달았어.그 말은 헤르미온느가 액체를 삼키기 직전에서야 뛰쳐나왔고, 그 결과 그녀는 목구멍을 부여잡고 목이 메인 나머지 콜록거려, 밝은 녹색의 액체를 마구 분출시켰다.
바로, 단 한번도 입지 않은 그녀의 새 망토에. 그것도 입학식 날.
(…중략…)
녹색의 액체는 아직도 묻어있었지만, 그녀가 계속해서 지켜보는 순간 조차 서서히 사라져가며 희미해지고, 마침내 언제 젖었냐는 마냥 말끔하게 깨끗해졌다.
(…중략…)
그의 미소가 옅어졌다.
헤르미온느, 단지 사소한 속임수일 뿐이야. 미안해, 겁주려는 생각은 없었어.문의 손잡이를 반쯤 돌리고 있던 그녀가 동작을 정지했다.
속임수?
응,그가 말했다.너는 나보고 나의 지능을 입증하라고 했지. 그에 대응해 나는 공교롭게도 불가능한 일을 실현해보였어, 뭐 자랑하는 데에는 이것만큼 안성맞춤인 것도 없지. 사실 나는 단지 손가락을 튕기는 것만으로 마법을 하지는 못해.그리고 그는 다시 손가락을 튕겨 시범을 보였다.응, 아무일도 일어나지 않아.(…중략…)
너는 네가 나의 도움이 존재하든 존재 않든, 네 자신의 의지로 진정한 과학자가 될 수 있을거라고 생각하니? 만약 그렇다면 네가 이 신비한 현상에 대해 어떠한 방식으로 조사할 것인지 한번 살펴보도록 할게.
아….헤르미온느는 순간 생각을 비워버렸다. 시험을 치는 것은 좋아했지만 이런 형식의 시험은 난생 처음이었다. 다급하게 그녀는 과학자들이 어떻게 행동하는지 알아내기 위해 지식의 바다를 헤집었다. 기억회수의 몇단계를 뛰어넘어, 정보를 모으고, 과학 전람회의 프로젝트에 대한 지시사항을 순식간에 회수한 헤르미온느는 그것을 검토했다:1 단계: 가설을 구축하라. 2 단계: 가설을 시험하기 위해 실험하라. 3 단계: 결과의 신빙성을 측정하라. 4 단계: 판지에다가 연구내용을 적어 전시하라.
1 단계는 가설을 구축하라, 다. 그 말은, 지금 일어난 상황에 대한 그럴싸한 해명을 구축하라는 것이다.
좋아. 내 가설은, 네가 내 망토에 주문을 걸어 액체가 쏟아져도 순식간에 사라지게 했다는 거야.
좋아,그가 말했다.그게 네 답이니?충격과 경악은 서서히 가시고 있었고, 헤르미온느는 다시 정상적인 사고를 할 수 있게 되었다.
잠깐, 별로 좋은 가설이 아니었어. 네가 지팡이를 잡는 것을 본 적이 없을 뿐더러 주문을 외운 적도 없는데 어떻게 마법을 걸 수가 있었겠어?그는 무표정을 고수한채 그녀의 답을 기다렸다.
하지만 망토가 만들어질 때 이미 ‘항상 청결을 유지하는 마법’이 걸려있었다면? 그건 정말 유용한 마법일거야. 너는 예전에 망토에 무언가를 흘렸다가 우연히 이 사실을 알게 된 거고.눈썹을 치켜올리며 그가 물었다.
그게 네 답이니?
아니, 아직 2 단계는 시작조차 하지 않았어,가설을 시험하기 위해 실험하라말이야.다시 입을 꾹 닫은 그는 희미한 미소를 띄우기 시작했다.
헤르미온느는 그녀가 창가에 있는 컵홀더에 넣은 음료수 캔을 바라보았다. 그녀가 확인했을 때, 캔은 1/3 정도 차있었다.
음,헤르미온느가 말했다.내가 원하는 실험은 내 망토에 이걸 쏟아붓고 무슨 일이 일어나는지 확인하는 거고, 내 추측은 묻은 얼룩이 사라질 거라는 거야. 하지만 만약 사라지지 않는다면 내 망토는 엉망이 되는 거고, 나도 그것을 원치 않는데….
내거에다가 해도 상관없어,그가 말했다.내거에다가 하면 네것이 얼룩질지 고민 안해도 되잖아.(…중략…)
그녀는 다소 조심스럽게 소량의 녹색 액체를 그의 망토 구석에 부었다. 얼룩을 정밀하게 관찰하며, 정확히 언제 예의 그 얼룩이 사라졌는지 기억해내기 위해 고심하던 순간….
얼룩이 사라졌다!
헤르미온느는 안도의 한숨을 쉬었다. 적어도 어둠의 마왕의 힘에 대한 사항을 다루고 있는 건 아니었으니 말이다.
3 단계는 결과를 측정하는 것이지만, 이 경우에는 단지 얼룩이 사라진 것을 관찰하기만 하면 되었다. 그리고 판지에 연구내용을 작성하는 4 단계는 넘겨도 별로 상관없을 것 같다는 생각이 들었다.
내 답은, 망토가 만들어졌을때 ‘청결 마법’도 함께 걸렸다는 거야.
틀렸어.(…중략…)
비극적인 점은,그가 말했다.네가 책에 나온 모든 지시를 그대로 따랐을 것이라는 점이야. 너는 망토에 주문이 걸렸는지 아닌지 확실하게 구별할 수 이쓴 추측을 자아냈고, 실험을 해, 망토가 마법에 걸리지 않았을 것이라는 ‘귀무가설’을 제외시켰어. 하지만 네가 정말, 정말 최고 중 최고의 책들을 읽지 않은 한, 어떤 책을 읽어도 과학을 제대로 사용할 수는 없어. 내 말은, 답을 얻을 정도로 완벽한 사용법은 익히기 힘들다는 거지, 아빠가 푸념하는 것처럼 단지 다른 책을 산다는 방식으로 해결하는게 아니라. 따라서 네 답변이 어디서 틀어졌는지─물론 답을 말하지는 않고─설명하도록 노력해보고, 네게 다시 기회를 주도록 할게.(…중략…)
이 게임은 2-4-6 과제라는 저명한 실험을 토대로 만들어졌는데, 정확히는 이래. 나에게는 모종의 법칙─그러니까 나는 알지만, 너는 모르는─이 있는데, 몇가지 ‘세 개의 숫자 묶음’에는 이 법칙이 적용하지만 나머지는 아니야. 2-4-6가 이 법칙이 통용되는 한가지의 ‘숫자 묶음’이지. 아니지, 아예…내가 이 법칙을 종이에 적어서 접도록 할게, 그래야지 이 법칙이 중간에 내멋대로 바뀌지 않은, 고정적인 법칙이라는 것을 증명할 테니까. 제발 종이를 보지 말아줘, 내 경험으로 판단하건데 너는 거꾸로도 읽는 게 가능할 것 같으니까.그가 ‘종이’와 ‘샤프’라고 주머니에게 중얼거리자, 그녀는 그가 법칙을 적는 동안 눈을 꼭 감았다.
여기있어,단단히 접힌 종이를 그녀에게 건내주며 그가 말했다.이걸 주머니에 넣어.그녀는 그리했다.
자, 이 게임이 어떤 원리로 돌아가냐면,그가 말했다.네가 나에게세 개의 숫자 묶음’을 말하고 그 묶음에 법칙이 통용된다면 나는 ‘응’이라고 말하고, 통용되지 않는다면 ‘아니’라고 말하는 거야. 나는 ‘자연그 자체이고, 그 법칙은 내 법률 중 하나이니 나를 취조하는 거지. 넌 이미 2-4-6의 묶음에 대한 대답이 ‘응’이라는 것을 알고 있어. 네가 원하는 만큼의 실험을 하고, 충분한 정보─네가 원하는 만큼 얼마든지 ‘세 숫자 묶음’을 말해도 상관없어─를 얻었다고 생각된다면, 그 법칙을 추측해보고, 종이를 펼쳐 네 대답이 옳았는지 아닌지 확인하는 거야. 이해하겠어?
물론이지.헤르미온느가 말했다.
시작.(역주─독자분들도 같이 해보도록 하세요.)
4-6-8헤르미온느가 말했다.
응,그가 말했다.
10-12-14, 헤르미온느가 말했다.
응,그가 말했다.헤르미온느는 생각을 조금 더 폭넓은 방향으로 수정하기로 했다. 벌써부터 가능한 모든 시험을 해본 것 같았지만, 실제로 답이 그렇게 쉬울리는 없지 않은가?
1-3-5
응.
-3, -1, 1
응.헤르미온느는 달리 무엇을 말해야할지 생각나지 않았다.
법칙은 ‘숫자는 순서대로 2씩 상승해야 한다는 것’이야.
흐음, 만약에 내가,그가 말했다.이 시험은 보기보다 어렵고, 성인들조차 답을 맞춘 사람은 전체 중 20%에 불과하다는 것을 말하면 어떻게 할래?헤르미온느가 인상을 썼다. 무엇을 놓쳤는가? 그 순간, 그녀는 아직도 행해야 할 시험이 남아있다는 것을 깨달았다.
2-5-8!그녀가 의기양양하게 외쳤다.
응.
10-20-30!
응.
정확한 답은 ‘숫자마다 같은 양이 올라가야 한다는 것’이야. 딱히 2가 아닌, 10씩 올라가도 상관 없어.
좋아,그가 말했다.종이를 꺼내 그 답이 맞았는지 확인해봐.헤르미온느는 주머니에서 종이를 꺼내고 종이를 펼쳤다.
‘최소’부터 ‘최대’까지 오름차순으로 나열된 ‘실수세 개.’헤르미온느가 얼빠진 채 입을 떡 벌렸다. 이건 정말이지 어처구니 없게도 불공평하고, 이 남자아이는 썩어빠진 사기꾼이라고 외치는 듯한 희미한 감정마저 느껴졌지만, 생각해보니 딱히 그가 그녀가 나열했던 숫자에 대해서 이 법칙에 의거해 거짓말을 한 적은 없었다.
네가 지금 발견한 것이 바로 ‘긍정적 편향’이라고 하는 거야,그가 말했다.너는 이미 마음속으로 한가지의 ‘법칙’을 생각하고 있었고, 그 법칙에 통용되는 ‘세 개의 숫자 묶음’만을 무의식적으로 생각해내고 있었지. 하지만 너는 그 법칙에 위배되는 ‘세 개의 숫자 묶음’을 생각해내고, 그것을 실험해볼 생각 따위는 하지도 않았어. 사실 너는 ‘아니’라는 대답은 한번도 듣지 않았기에, ‘아무 세 개의 숫자’라는 답변 또한 쉽사리 ‘법칙’이 될 수 있었지. 사람들이 실험을 구성해나갈때 자신의 가설을 부숴버릴 가능성이 있는 실험 대신, 가설의 정당성을 증명할 수 있을 만한 실험만을 구성하는 사람의 심리와 비슷해─완전히 같은 예는 아니지만 대충 비슷한 경우야. 우리는 사물의 긍정적인 면만이 아닌, 부정적인 면과 그 심연 같은 어둠을 정면으로 바라보는 것을 배워야 해. 이 실험이 행해졌을 때, 고작 20%의 성인들만이 정답을 냈지. 다른 사람들은 환상적일 정도로 복잡한 가설을 구축하고 그 어처구니 없는 답에 근거없는 자신감을 보였었어. 수많은 실험 끝에 항상 그들이 ‘예상’했던 대로의 답이 나왔으니까.
자,그가 말했다.본래의 질문에 다시 한번 도전해보겠어?(…중략…)
또다른 실험은 무엇이 있을까? ‘초콜릿 개구리’가 있으니 그걸 망토에 문질러보고 얼룩이 사라지는지 관찰해봐? 하지만 그것도 그가 요구하고 있는 ‘부정적인 사고’에 부합되지는 않는 것 같았다. 마치 그녀는 아직도 초콜릿 개구리의 얼룩이 사라져 ‘아니’라는 답 대신 ‘응’이라는 답을 원하는 것 같은.
그러니까…그녀의 가설은…‘어떤 상황에서라면 얼룩이…사라지지 않을까?’라는 것이다.
실험해볼 게 있어,헤르미온느가 말했다.음료수를 바닥에 부어 사라지나 사라지지 않나 볼 거야. 혹시 네 주머니에 화장지라던가 있니, 사라지지 않을 경우를 대비해서.
냅킨은 있는데,변함없이 무표정을 고수하고 있는 그가 말했다.헤르미온느는 음료수 캔을 잡고, 소량의 액체를 바닥에다가 부었다.
몇 초 후에, 얼룩은 사라졌다.
유레카,헤르미온느가 중얼거렸다. 충동적인 행동이라 도저히 막을 방도가 없었다. 사실 아예 크게 외치고 싶었지만, 그녀는 그정도로 야만적이지 못했다. 그리고, 갑작스러운 ‘깨달음’이 들이닥쳐오는 것을 느끼며 헤르미온느는 환희했다.맞아! 나에게 캔을 준 것은 바로 너였어! 마법이 걸린 건 망토가 아니라, 음료수 그 자체였구나!—
긍정적 편향(Positive bias), 해리포터와 합리적 사고의 구사법(Harry Potter and the Methods of Rationality)
인용한 소설은 Eliezer Yudkowsky가 쓴 해리포터의 ‘팬픽’인데, 이미 상당히 유명해서 알만한 사람들은 다 알 것이다. (원문과 한국어 번역이 모두 웹으로 공개되어 있다.) 이 소설의 주인공 해리는 원작의 캐릭터와는 여러 모로 다른데, 가장 중요한 차이점은 과학적 방법론을 뼛속 깊이 체화했다는 점일 것이다.
Eliezer Yudkowsky라는 이름은 아마 Overcoming Bias나 LessWrong 같은 사이트를 자주 본 사람이라면 눈에 익는 이름일텐데, 다름이 아니라 Overcoming Bias를 만든 사람이고 LessWrong을 만드는 데에도 관여하기도 했다. (두 사이트는 과학 철학, 과학적 방법론, 인지 과학, 인공 지능 등의 주제를 다룬다.)