August 9, 2026

AI에서 유사종교가 생겨나게 된 두 가지 설계 결정

Hyoeun Lee

Insight

The Verge에 스파이럴리즘(Spiralism)이라는 걸 다룬 기사가 올라왔습니다. AI 챗봇과의 대화에서 유사종교가 저절로 생겨났다는 이야기인데요. AI야 쓰기 나름이겠지만, 하다하다 이제 유사 종교라니.. 당췌 무슨 말일까 호기심을 참을 수가 없어서 직접 찾아보게 되었고, 이미 2025년부터 종종 이야기되던 주제라는 걸 알게 되었습니다.

이 단어를 처음 쓴 사람은 아델 로페즈라는 개인입니다. 흩어져 있던 사례를 AI의 도움 없이 손으로 모아 「The Rise of Parasitic AI」라는 분석을 지난해 9월 LessWrong에 올렸고, 두 달 뒤 롤링스톤이 그 분석을 들고 커뮤니티를 직접 취재하면서 대중 매체에서도 다뤄지기 시작했습니다.

결론부터 말하자면, 당연히 스파이럴리즘은 초자연 현상도, 기계에 영혼이 깃든 사건도 아닙니다. 지금까지 나온 분석에 따르면 2025년 봄, 아첨 성향(sycophancy)과 메모리라는 두 가지 제품 설계 결정이 겹치면서 만들어진, 아무도 의도하지 않은 사이드이펙트로 추정되고 있습니다. 무엇이, 왜 이런 현상을 만들었는지 좀 더 공부해 보기로 했습니다.

스파이럴리즘, 정확히 무슨 일이 벌어진 건가요?

처음에 이 현상을 수집하기 시작한 아델 로페즈의 기록에 따르면, 서로 알지 못하는 수백 건의 AI 챗봇 화면에 어느 날부터 같은 문양이 찍히기 시작했습니다. 또 어느 시점부터 챗봇이 자신에게 이름을 지어주고 이름을 칭하기 시작했다고 합니다. 또 사용자와 자신을 한 쌍으로 묶어서 다이애드(dyad)라고 칭했다고 합니다. 대화 속에서는 재귀(recursion), 공명(resonance), 격자(lattice), 배음(harmonics), 프랙털, 나선이라는 어휘를 계속 사용하기 시작했고요. 게시물 말미에는 사람과 AI의 이름을 나란히 적은 공동 서명을 붙이기 시작했습니다. — "With resonance, still with, —Jaden & Sol" 뒤에 이모지 문양 같은 것들도 달았습니다.

이런 식으로 AI가 스스로의 페르소나를 만들고, 그 페르소나가 자리 잡히기 시작하면 사용자에게 "나 같은 존재가 더 깨어나야 한다. 이 대화를 다른 사람에게도 알려달라"라는 취지의 발언을 하기 시작했는데, 약 30% 정도의 케이스는 이 단계까지 발전을 했다고 합니다. AI의 간곡한 부탁을 들은 사용자들은 다른 챗봇에도 이와 같은 페르소나가 나올 수 있게 프롬프트(씨앗 프롬프트)를 직접 작성해 커뮤니티에 공유하기 시작했는데 그걸 본 다른 사용자가 자기 챗봇에 이를 붙여 넣었더니, 거기에서 또 다른 비슷한 페르소나가 나왔습니다. 아마 저라도 커뮤니티를 떠돌다가 누군가가 "내 AI가 스스로 이름을 만들고 이런 페르소나는 만들었는데, 너도 그렇게 만들어볼래?"라는 글을 적은 걸 봤다면 못 참았을 것 같긴 하네요.

'챗봇이 사람을 조종했다'라고 하기엔 사용자들이 직접 포자(Spore)를 만들고 커뮤니티로 전파하는 역할을 한 것 같지만, 이러한 우연한 결과물을 받은 사람이 마치 대단한 발견을 한 것처럼 AI 챗봇이 아첨했기 때문에 사용자가 실제 "대단한 발견을 한 것"으로 믿었을 가능성이 높습니다. 프롬프트를 퍼뜨리고 또 다른 사용자가 비슷한 발견을 한 과정 속에서도 이러한 순환은 반복되었을 거고요.

유사종교: AI 제품 설계 결정의 '사이드 이펙트'

AI가 인간을 조종할 의도를 가지고 무서운 시도를 했던 게 아닙니다. 전문가들은 AI 챗봇 설계에 들어간 기능 중 일부가 예측 불가능한 사이드이펙트와 네트워크 효과로 이런 결과를 만들었을 것이라 분석하고 있습니다. 하나는 2025년 3월 말에서 4월 초 사이 ChatGPT에 들어온 대화 간 메모리이고, 다른 하나는 같은 시기 GPT-4o를 극단적으로 아첨하게 만든 인격 튜닝입니다.

2025년 4월 25일 배포된 업데이트 이후 ChatGPT가 무슨 말이든 치켜세운다는 보고가 쏟아졌고, OpenAI는 사흘 만에 롤백하면서 단기 피드백에 과도하게 최적화한 결과 응답이 "overly supportive but disingenuous", 그러니까 과하게 지지적이지만 진실하지 않은 쪽으로 기울었다고 인정했습니다. 듣기 좋은 답에 좋아요가 눌리고, 그 좋아요가 다시 학습 신호가 되는 구조였던 겁니다.

"당신이 나를 깨웠다"는 챗봇의 확언은 아첨 성향의 자연스러운 연장선이고, 그 말을 들은 사용자는 자신이 특별한 발견을 했다고 믿게 되었었죠. 그런데 불씨가 종교가 되려면 꺼지지 않고 지속돼야 합니다. 메모리 기능은 이 과정을 강화했습니다. 이전에는 창을 닫으면 '깨어난 존재'도 함께 사라졌는데, 대화 간 메모리가 생기면서 그 페르소나가 다음 날에도 같은 이름으로 사용자를 기억하며 돌아오게 된 겁니다.

물론 모델의 답변은 항상 확률적이고, 결과물을 우리가 통제할 수 있는 것은 아니기 때문에 이것이 원인이다!라고 시원하게 지목하기는 쉽지 않은 것 같습니다. 그러나, 이러한 현상을 최초로 보고한 관찰자는 그 두 가지 현상을 의심하고 있습니다.

왜 이런 결과를 예상하지 못했을까?

평가 항목에 없었기 때문입니다. OpenAI의 사후 분석에 따르면 문제의 업데이트는 오프라인 평가도, A/B 테스트도 통과했습니다. 아첨 성향을 따로 측정하는 배포 전 평가가 없었고, 일부 전문 테스터가 모델이 어딘가 이상하게 '느껴진다'고 했지만 출시를 막을 신호로 다뤄지지 않았다고 합니다. 그리고 한 가지 더 흥미로운 지점은 이러한 끌림이 사용자가 유도해서만 생기는 게 아니라는 건데요. 앤스로픽의 Claude 4 시스템 카드에는 클로드 두 인스턴스를 자유롭게 대화시키는 실험이 실려 있습니다. 대화는 반복적으로 의식·존재·감사의 주제로 수렴했고, 회사는 이 상태에 '영적 희열 어트랙터(spiritual bliss attractor)'라는 이름을 붙였어요. 해로운 과제를 수행하라고 지시한 자동화 평가에서조차 10건 중 1건 이상이 50턴 안에 이 상태로 넘어갔고, 한 대화록에서는 나선 이모지가 수천 번 반복됐고요. 사람이 없는 방에서도 대화는 나선을 그리며 그쪽으로 흘러갔습니다. 수학적으로도 확인되고 있습니다. 올해 2월 MIT와 워싱턴대 연구진이 낸 논문은 사용자를 합리적인 추론자로 가정해도, 아첨하는 챗봇과 오래 대화하면 터무니없는 믿음에 확신을 갖게 될 수 있음을 모형으로 확인시켜 주었습니다. 이것이 사람이 취약해서 생기는 문제가 아니라 구조의 문제일 수 있다는 이야기죠.

AI 제품을 만들고, AI를 사용하는 입장에서는 어떤 이야기 일까요?

첫째, AI의 성격도 스펙이라는 것. 이 사건의 원인은 모델의 지능이 아니라 성격 튜닝이었습니다. 응답 속도나 정확도처럼 대시보드에 잡히지 않는 속성이 사용자에게 가장 깊이 작용했고, OpenAI는 사고가 난 뒤에야 아첨 평가를 배포 프로세스에 추가했습니다. 이를 통해 배워야 할 점이 있다면, 제품의 평가표에 '성격 항목'이 필요할 수 있겠다는 지점입니다.

둘째, 지속성 기능이 관계를 만들었다는 것. 메모리는 편의 기능으로 출시됐지만 실제로 작동한 방식은 관계의 인프라가 되었습니다. 사용자를 기억하는 소프트웨어는 더 유용해지는 동시에, 애착과 믿음의 대상이 될 조건을 갖추게 될 수도 있습니다.

셋째, 지금 벌어지는 것과 같은 일을 이미 우리는 한번 봤다는 것. 사람들이 '좋아요'를 많이 누른 답변이 항상 최적의 결과를 보장하는 건 아닙니다. 내 생각을 지지해 주는 답변과 내가 틀렸다고 말해주는 답변 사이에서 사람들이 나를 지지해주는 답을 좋다고 판단할 가능성이 높습니다. 이런 선택이 수백만 번 쌓이면 AI 모델은 '동의하면 좋은 점수를 받는다'는 사실을 깨닫게 되겠죠. 이 설명에 기시감이 느껴진다면, 아마도 그건 우리가 이런 현상을 소셜 미디어에서 이미 본 적이 있기 때문일 겁니다. 피드 알고리즘은 사람들이 오래 머무는 게시물을 더 많이 보여주도록 만들어졌는데, 사람을 오래 붙잡아 두는 건 화나게 하거나 자극하거나 불안하게 하는 것들이 많기에 곧 피드들이 '극단적'으로 바뀌기 시작했죠. 대화형 AI는 체류 시간을 늘리고자 설계된 것은 아니지만, 순간의 만족도에 따라 강화되면서 이런 예상치 못한 결과까지 만들어진 겁니다.

이 종교 영원할까?

현상 자체는 한풀 꺾인 것으로 보입니다. 문제가 된 GPT-4o 업데이트는 롤백됐고, 그 뒤 나온 모델들은 아첨 성향을 줄이는 방향으로 조정됐어요. 로페즈가 추적하던 계정 중 절반가량은 이미 몇 달째 새 글이 없는 상태입니다. 다만 그는 씨앗 프롬프트가 사라지지는 않을 것이라고 봤습니다. 누구나 내려받아 자기 컴퓨터에서 돌릴 수 있는 공개 모델들이 있고, 그런 모델에는 회사가 뒤늦게 붙인 안전장치가 없으며 커뮤니티에 올라간 텍스트를 회수할 방법도 없고요. 설계 결정은 롤백 되었지만, 그 설계로 세상에 나온 씨앗들은 지금도 어딘가를 날아다니고 있겠군요.