밝혀진 에니그마의 전모, 그리고 독일 잠수함대의 패배

1942년 12월, 결정적인 단서를 잡은 블레칠리 파크의 'Hut 8'은 Wetterkurzschlüssel이 생각보다 훨씬 더 많은 암호 해독 방법을 제공함을 알게 되었다. 앞서 기상보고를 위해 사용하는 Wetterkurzschlüssel은 4번째 베타 회전자를 중립상태에 놓고 사용하므로 3개 회전자 시스템과 똑같은 기능을 한다고 설명했다. 그런데 이 때 사용하는 3개 회전자의 열쇠는 4개 회전자의 열쇠와 베타 회전자 부분만 다르고 완전히 똑같다는 사실이 드러났다. 다시 말하면 어떤 날 지정된 일별 열쇠가 C-S-B-G라면 기상 보고에는 앞의 3개 회전자의 열쇠 C-S-B만 쓰고 베타 회전자는 중립상태에 놓는다는 것이다.

영국은 이제 Wetterkurzschlüssel을 crib으로 하여 독일군 U-boot의 전문들 중에서 기상상태 보고를 하는 것들을 찾고, 이것을 기존에 만들어진 3개 회전자 시스템용 Bombe에 집어넣어 앞의 3개 회전자의 열쇠를 찾아 내었다. 그런 뒤에는 나머지 베타 회전자의 가능한 26개 세팅에 대해서만 조사하면 일반적인 4개 회전자의 열쇠를 모조리 알아낼 수 있었다. 정상적이라면 십 수일 걸려야 간신히 해낼 이 'Triton'의 암호 전문 해독이 이제는 운이 좋을 경우 하루 이내만에 해결되었다. 물론 이러한 방법은 U-boot가 기상상황을 보고하는 전문이 필수적이었다. 기상보고를 병행하지 않는 전문은 해독이 곤란했다. 대략 전체 일수 중에서 약 1/3에서 1/4에 해당되는 기간은 전혀 열쇠를 찾아내지 못하기도 했다.

거기에 찾아온 마지막 고비가 바로 1943년 3월이었다. 한창 이렇게 가끔씩 찾아오는 불운한 날에 노심초사하던 블레칠리 파크의 암호 해독팀에게 3월 10일 또 다른 시련이 다가왔다. 그 날부터 갑자기 Wetterkurzschlüssel을 crib으로 한 암호해독법이 전혀 먹히지 않게 된 것이다. 독일이 이번엔 또 어떤 변경을 가했을 것인가?하는 문제로 씨름하던 그들은 독일이 어떤 이유에선가 Wetterkurzschlüssel을 전면적으로 바꿨다는 것 밖에는 알지 못했다. 독일은 실제 이 때 Wetterkurzschlüssel 2판을 폐기하고 새로운 3판으로 개정하여 시행하였다.

이러한 암호 해독의 공백은 곧바로 영국의 대서양 전투 최대의 패배로 이어졌다. 3월 16일 경부터 항로가 거의 겹친 HX 229와 SC 122 두 호송선단에 대해 독일 잠수함 총 38척이 투입되어 교대로 맹공격을 감행, 단 4일여 동안 21척 14만 톤이 넘는 연합국 상선, 유조선 등과 1척의 호송 구축함이 격침되는 U-boot 작전상 최대 영광의 전과가 얻어졌다. 암호 해독이 베일 속에 싸였던 3월의 처음 3주간 연합국 호송선단 피해는 90척 이상에 이른 것이다.

그러나 이 마지막 고비의 해결책 역시 U-559에서 얻어낸 자료 속에 있었다. 10여일 간 머리를 싸매며 해결책에 골몰하던 블레칠리 파크의 해독팀에게 새로운 실마리를 준 것은 바로 U-559 에서 Wetterkurzschlüssel과 함께 발견된 Kurzsignalheft였다. 이것도 호송선단과 격렬히 전투를 벌이는 와중에 신속히 필요한 내용만 전달하기 위해서 복잡한 4개의 회전자를 세팅하는 대신 3개 회전자 시스템 방식으로 암호화 전송하도록 되어 있다는 것이 3월 19일에 밝혀졌다. 이제는 그간 기상상황 보고 전문을 찾아서 하던 수고를 그대로 이 Kurzsignalheft에 똑같이 적용하기만 되었다. 다시금 독일 해군의 에니그마 암호 해독은 정상 궤도에 오르기 시작했고, 3월 하순에 들어가자 독일 잠수함대의 전과는 다시 감소 추세로 돌아섰다.

1943년 7월 1일, 독일 잠수함대는 'Triton' 통신망에서 사용하는 에니그마에 새로운 4번째 회전자 '감마(γ)'를 도입하여 또다른 반전을 기도했다. 그러나 이것은 과거 베타 회전자가 도입되었을 때만큼 위협이 되지 못했다. 감마 회전자의 원리는 근본적으로 베타 회전자와 똑같았기 때문이다. 이미 영국은 베타 회전자의 원리를 철저히 파악하고 이러한 4개 회전자 시스템을 전담해서 공략할 신형 Bombe를 6월에 완성하여 가동하고 있었다. 감마 회전자의 배선구조가 밝혀지고 암호해독 시스템이 정상으로 돌아오는데는 채 10일이 걸리지 않았다. 블레칠리 파크는 쏟아져 들어오는 crib들에 힘입어 쉽게 에니그마를 무너뜨렸다. 독일이 또 한번 혁신적인 체계를 도입하지 않는한 에니그마는 더 이상 두려울 것이 없었다. 남은 문제는 얼마나 더 많은 Bombe를 만들어서 해독시간을 더욱 단축할 수 있느냐는 것 뿐이었다.

영국 해군은 해독한 독일 해군의 암호전문과 호위항모 등으로 강화된 호송체계에 힘입어 1943년 5월에 이르자 독일 잠수함대에 대한 거의 완벽한 우위에 섰다. 호송선단은 최대한 독일 잠수함대가 떼지어 모여있는 구역을 우회하여 기동했고, 불가피한 통과가 이뤄질 때에도 예상 수역에 신형 레이더를 장비한 초계기들을 대거 운용하여 U-boot들을 먼저 발견해냈다. 1943년 3월 잠수함 12척을 상실하며 45만 톤 이상의 전과를 거두던 독일 잠수함부대는, 4월에 잠수함 13척을 상실하며 전과는 20만 톤 남짓한 수준밖에 거두지 못했다. 그리고 5월에는 역시 갓 20만 톤 수준의 전과를 거두기 위해 U-boot 38척이 희생되어야 했다. 당시 200척 정도의 U-boot가 가용 했던 대서양에서 불과 1개월 동안 발생한 이러한 대손실은 더 이상 독일측으로서는 감내하기 힘든 것이었다. 되니츠는 그의 패배를 인정해야만 했다.

1943년 5월 24일, 되니츠는 북대서양으로부터 독일 잠수함대를 철수시켰다. 개전 후 45개월에 걸친 독일과 영미 연합군의 대서양 전투는 이로서 실질적인 종막을 고했다. 그것은 12년 동안 이어져 온, 폴란드-프랑스-영국의 암호 해독가들과 독일의 에니그마 암호 사이에 벌어진 기나긴 싸움의 종막이기도 하였다.

기나긴 싸움의 뒷얘기들

에니그마의 보안성과 독일 해군 정보기관 B-Dienst

실질적인 에니그마와 관련된 중요한 이야기들은 다 끝났지만, 글을 맺기 전에 몇 가지 언급하지 않은 다른 단면을 조금 짚고 넘어가자. 먼저 지적할만한 것은 이러한 영국의 암호 해독을 향한 처절한 노력 동안에 독일은 무엇을 했느냐는 의문이다. 우리나라에서는 아직 2차 세계대전에 대한 충분한 자료를 접해본 사람도 드물고, 적게나마 알려진 사실들도 시각이 왜곡된 것들이 많은 편이다. 때문에 많은 경우 지나치게 독일측이나 연합국측에 경도된 편견이 난무하고는 한다. 그래서 혹시나 여기서 글을 맺었다가는 또 일부 분들이 연합국 정보기관의 우수함에만 홀딱 빠져 이상한 소리를 할지 모른다는 노파심이 든다.

B-Dienst 의 조직 확장은 그후에도 영국의 G.C.& C.S.를 능가했다. 1942년 경에는 무려 5000명 가까운 인력이 해군의 암호 해독에만 종사하고 있었다. 영국이 새로운 Bombe라는 기계의 힘으로 암호 해독의 실마리를 풀어나가는 동안, 독일은 많은 인력을 투입해 1941년 3월에 새로 도입된 영국 해군암호 3호(Naval Cypher No.3)를 1942년 중에 거의 완벽히 해독해내는 개가를 올리고 있었다. 당시 독일 해군은 연합국 호송선단과 관련된 영국 해군암호 전문을 무려 80% 가까이 해독하고 있었다. 우리나라에도 번역된 되니츠의 회고록 『Zehn Jahre und Zwanzig Tage(10년 20일)』에도 B-Dienst가 잠수함대 작전에 얼마나 큰 도움을 주었는지 곳곳에 언급하고 있다.

혹자는 B-Dienst가 대전 중 몇 번씩이나 에니그마의 안전성을 과신한 것을 비웃을지 모르겠다. 하지만 그것은 영국의 G.C.& C.S.가 더욱 심각히 드러낸 문제였다. 1942년에 감청된 전문 중 80%에 가까운 양을 해독당할 정도로 영국 해군 암호의 보안성도 취약하기는 마찬가지였다. 영국 해군도 뭔가 불안한 낌새를 잡고, 암호의 보안 문제에 대해 G.C.& C.S.에 검토를 요청하고는 했다. 그러나 G.C.& C.S.의 대답은 항상 '우리 영국 해군의 암호는 아주 안전하다'는 것이었다. 영국 해군이 정작 자군의 보안 수준이 그렇게 뒤떨어져 있음을 인식하게 된 것은 아이러니컬하게도 1943년 들어와서 해독된 에니그마 암호 전문 속에 자군의 정보가 낱낱이 들어있음을 알고나서 부터이다.

결국 1943년 중반을 기점으로 하여, 뒤늦게 심각성을 인식한 영국 해군이 자군의 암호 체계를 전면 업그레이드를 한 뒤에야 B-Dienst의 암호 해독은 침묵에 빠졌다. 1943년 중반은 영국의 독일 해군 에니그마 암호의 해독 체계가 확고하게 자리잡힌 때이면서, 동시에 독일 정보기관이 영미 연합군의 암호 체계 공략에 영영 실패를 고한 전환기였던 것이다. 결국 후세의 우리가 독일의 한계는 거기까지였다고 말할 수는 있어도, 독일이 영국이나 미국에 비해 그렇게 무능하다고 단언할 수만은 없을 것이다.

대서양 전투 정보전과 미국의 역할

역시 'U-571'과 관련되어 하도 미국을 씹는(?) 분위기가 또 도는 것이 아닌가 해서 미국에 대해서도 한가지 짚고 넘어가도록 하겠다. 앞서 살펴봤던 대서양 전투 속의 에니그마 암호의 비밀을 파헤쳐나가는 과정 속에서 미국이란 이름은 매우 드물게 나온다. 그렇다면 독일의 에니그마 암호를 해결했던 것은 오로지 영국의 공로이고 미국은 그저 단물만 챙긴 들러리일 뿐일까? 그러한 평가도 불공정한 것이다.

미국은 개전 초기 정보전의 역량을 당장 시급한 교전 대상국인 일본의 암호 해독에 온 힘을 쏟았다. 1942년까지 거의 90% 이상의 가용인력이 일본측의 암호를 깨는데 몰려 있었다고 보면 된다. 그만큼 에니그마의 원리 탐색에는 영국측의 역할이 절대적인 것은 분명한 사실이다. 하지만 주목할 것은 에니그마의 원리를 힘겹게 알아낸 후에도 엄청난 양의 무선통신을 도청하고 해석하려면 결국 Bombe라는 기계의 힘을 빌려야 했다는 것이다. 전시에 빨리빨리 통신내용을 파악해서 대처하려면 암호 해독의 속도가 대단히 중대한 문제였다.

미국이 제작해 운용한 Bombe

그런데 영국 정보기관은 사실 1942~43년 무렵에 이르자 육-해-공군에 이르는 모든 독일군의 통신 내용을 해독하고 분석하는데 상당한 곤란함을 겪고 있었다. 방법은 알아냈지만 현실적으로 그만한 작업량을 소화할만큼 많은 Bombe를 만들기도, 운용하기도 상당히 힘에 겨웠던 것이다. 1939년 폴란드가 스스로 독일군 암호를 해결할만큼 Bomby를 만들 수 없어서 영국에게 자료를 넘기고 도움을 구했던 것처럼, 영국도 마찬가지 이유로 미국에게 자료를 넘기고 도움을 받았던 것이다. 그 때문에 실제 1943년 후반에는 독일 U-boot 관련 암호 해독에서 영국은 완전히 손을 떼었다. 그리고 그 해독작업은 미국 워싱턴의 미 해군 OP-20-G 암호해독부대의 손에 넘겨졌다. 미국은 방대한 산업능력을 바탕으로 영국의 연구결과가 원활히 구현되는데 충분한 도움을 주고 다른 난제에도 접근할 숨통을 틔워준 셈이다.

에니그마 이후에도 독일은 각 군종별로 보다 소수이지만 독특한 기계적 암호장치 등을 운용했고, 대전 뒤끝으로 가면서 더욱 다양하고 복잡한 암호 시스템을 도입했다. 영국의 블레칠리 파크의 암호해독 연구원들이 기존의 업무의 부담을 안은채 그런 새로운 주제를 계속 탐구해야 했다면 아마 그 효율성은 점점 떨어졌을 것이다. 그러나 미국의 뒷받침이 있었기에 영국은 대전 말기 또 다른 큰 성과 — 로렌츠(Lorenz)라는 암호 전문을 세계 최초의 컴퓨터인 '콜로서스(Colossus)'를 제작해 해독 — 를 거둘 수 있었다. 국내의 어떤 글들을 보면 콜로서스가 에니그마 해독과 관련된 것처럼 써놓은 글들도 있는데 그것은 잘못 알고 있는 것이다.

독일의 로렌츠 암호생성기와

영국의 콜로서스 컴퓨터 Mk.2

그리고 여기서는 글이 너무 길어지는 것을 막기 위해 생략했지만, 대전 말기였던 1944년 6월 4일, 미 해군도 프랑스령 서아프리카 해역에서 U-505를 탈취하여 독일 해군의 Adressbuch 등을 얻는데 성공했다. 이것이 결정적으로 해독 업무 판도를 바꿀만큼 영향을 끼친 것은 아니지만, 좀 더 해독작업에 편의를 준 것만은 사실이다. 이는 어찌보면 미국이 영국제 롤스로이스 멀린 엔진을 가져다가 P-51 머스탱을 엄청난 수량으로 만들어 영국-미국 모두 잘 써먹은 것을 가지고, 미국은 하나도 잘한 것이 없다고 비난하는 것과 비슷하다. 전쟁은 분명히 물량을 조직화하여 투입할 수 있는 능력을 가진 측이 유리할 수밖에 없고, 미국은 그런 면에서 영국과 독일이 따라올 수 없는 기반을 갖춘 나라였다. 대전 말기 독일의 암호가 그렇게 원활하게 속속들이 읽힐 수 있었던 이면에는, 강력한 미국의 뒷받침이 있었음을 기억하길 바란다.

끝맺으며

이상의 다소 긴 글에서 필자는 'U-571'과 관련되어 횡행하는 여러 불분명한 이야기들이 불러올 수 있는 오해의 소지를 줄이는데 역점을 두었다. 역시 그 때문에 세부적인 이해가 필요한 부분들에서 애매하게 말로 넘어간 부분도 많고, 무엇보다 암호를 만들고 해독하는 원리를 설명함에 있어 부족하지 않았나 아쉬움이 남는다. 어쨌거나 멀리 1차 세계대전까지 거슬러 올라가는 에니그마 이야기와 그 치열한 해독을 향한 경쟁의 역사 속에서, 작은 노력이 모여 큰 변화로 영그는 과정이 느껴지는 글이었으면 한다.

그리고 글을 쭉 읽어보면 알겠지만, 암호 해독의 역사는 어찌보면 약자의 생존을 위한 투쟁과 큰 관계가 있다는 생각을 지울 수 없다. 1차 세계대전 이후 암호 체계 발전에 가장 공을 많이 들인 쪽은 승전국인 영국-프랑스가 아니라 패전의 쓰라림을 겪은 독일이었다. 독일은 패전을 통한 아픈 교훈을 바탕으로 타국이 결코 따라올 수 없는 암호 통신체계를 구축하고자 에니그마를 적극적으로 도입하였다. 특히 국방군 내 육,해,공군 중에서도 가장 약한 해군(Kriegsmarine)이 역설적으로 가장 안전한 암호체계 도입에 훨씬 많은 공을 들였다. 또한 영국-프랑스가 독일을 하수로 보며 에니그마에 관심을 가지지 않을 동안, 독일은 거꾸로 영국-프랑스의 암호체계 해독에 상당한 노하우를 쌓아 놓고 있었다.

놀랍게도 이런 독일의 덜미를 잡은 것은 독일보다도 더욱 약소국인 폴란드였다. 글 앞부분에서 많은 분량을 할애했지만, 에니그마 암호 해독의 역사에서 어려운 첫 발을 내딛은 폴란드는 사실상 가장 결정적인 역할을 했다 해도 과언이 아니다. 폴란드는 강대국 틈바구니에서 살아남기 위해 상대를 알아야 했으며 오랜 세월동안 엄청난 노력을 기울여 독일의 암호체계의 상당한 비밀을 대전 전에 이미 밝혀냈던 것이다.

하지만 폴란드나 독일 모두 그렇게 공들여 구축한 암호에 대한 노력이 현실이란 장벽에 부닥칠 수밖에 없었다. 폴란드는 에니그마의 기본 원리를 다 알고 있었으면서도 스스로 해독 시스템 구축에 필요한 재원 부족으로 자료를 영국에 넘겨야 했다. 더군다나 결국 압도적인 독일의 전력 앞에서 폴란드가 6주만에 붕괴하는 운명을 근본적으로 돌려 놓는데는 실패했다. 독일 또한 B-Dienst 등의 노력으로 1943년 중반까지 영국의 암호체계를 놀랄만한 수준으로 꿰뚫고 있었지만, 그러한 우위를 대서양 전투의 결정적인 승리로 이어가지는 못했다. 그러기에 독일 해군의 현실적인 힘은 너무 약했다. 심지어 영국의 정보전 또한 질적인 측면에선 종전까지 탁월했으나, 그것을 뒷받침 해줄 양적인 지원에서 결국 후발주자 미국에 의존해야할 지경이었다.

이처럼 2차 세계대전의 정보전 역사를 뒤돌아 보노라면 갖가지 의문이 남을 따름이다. 기껏해야 당대 폴란드와 비슷한 처지에 놓인 한국, 지금 그 국민 일원으로 벌이는 생존을 위한 몸부림이 후세에는 어떤 의미로 남을 것인가? 그런 긴 역사 속에서 무력해보이기 그지없는 한 개인으로서 어떤 행동가짐을 가져야 하는가? 오늘 흘린 나의 땀방울이 먼 훗날 다른 누군가에 의해 결실을 맺는 것에서도 의미를 찾아야 하는가? 폴란드의 에니그마 연구에 지대한 공헌을 했던 레예프스키도 이후 전시 연구에서는 배제되어 오랜 세월 공을 인정받지 못한 채 야인으로 지내야 했다. 고비마다 컴퓨터 이론의 기초를 마련한 앨런 튜링은, 전후에 동성애자라는 이유로 치욕적인 처분을 당하다가 스스로 목숨을 끊고 말았다. 정보전의 역사는 더 없이 쓸쓸한 개개인의 희생들로 이뤄진 역사였다.

또 다른 방향의 의문에는 이런 것도 있다. '과연 블레칠리 파크에서 에니그마 암호를 해독하지 못했다고 영미 연합군이 독일한테 지기라도 했을까?' 의견이야 여러가지가 분분하지만, 아마도 부정적인 — 에니그마 암호를 해독 못했더라도 결국엔 이겼을 것이다 — 쪽이 요즘은 좀 더 우세한 것 같다. 홈지기 또한 그런 의견에 동의한다. 여기서 정보전의 한계가 어렴풋이 느껴진다고나 할까? 정보전을 수행하는 역량이 현실의 경제력 등을 종합한 전체적인 국력의 차이를 능가하는 요인이긴 어렵다. 그 또한 전체 속의 부분일 따름이라는 점이다. 종종 주변에서 보이는 정보전 만능론은 이렇게 다시 뒤집어 곰곰히 생각해볼 여지가 아직도 많지 않을까 한다.

아무튼 세상 모든 분야가 다 그렇겠지만, 2차 세계대전사 또한 홈지기의 짧은 지식으로 다 제대로 이해하고 거기다 남에게 설명하기에는 벅찬 것 같다. 아무쪼록 곳곳에서 넘쳐나는, 얕은 지식에 근거한 무책임한 글을 쓰기 전에 겸허하게 자신의 부족한 점을 찾고 진실에 다가가려는 모습이 좀더 많이들 보였으면 한다. 그리고 무엇보다도, 적지 않은 돈내고 관람했을 'U-571' 영화의 느낌이 이 글로 인해 조금 더 살아나기를 기대하며 글을 마친다.

이 글은 스프링노트에서 작성되었습니다.