들어가며

데이트팝에서 제휴 영화관 관람권을 사면, 결제 서버가 승인을 마친 뒤 제휴사 연동 서버에 발급을 요청합니다. 연동 서버는 아직 어느 결제에도 배정되지 않은 핀(관람권 번호, 이하 미배정 핀)을 하나 골라 이 결제에 배정합니다. 그리고 결제와 핀을 잇는 발급 기록을 남깁니다.

이 과정에 두 요청이 거의 동시에 들어오면 어떻게 될까요?

요청 A: 이 결제의 발급 기록 삭제 → 새 기록 삽입
요청 B: 이 결제의 발급 기록 삭제 → 새 기록 삽입

둘 다 평범한 쿼리입니다. 그런데 두 요청이 번갈아 실행되면 서로의 잠금을 기다리게 되고, MySQL이 한쪽을 데드락(에러 1213)으로 되돌립니다.

2026년 8월부터 10월 사이, 연동 서버 로그에 이 1213이 드물게 찍혔습니다. 에러 코드가 같아서 처음에는 원인을 하나로 봤습니다. 하나씩 열어 보니 데드락 원인은 두 가지였고, 데드락 뒤의 처리에도 고칠 점이 하나 있었습니다. 이 글은 그 셋을 나누고 고친 과정입니다.

1. 에러 코드 대신 롤백된 SQL로 묶기

데드락 로그는 모두 같은 문장으로 시작합니다. "Deadlock found when trying to get lock". 이 줄만 세면 원인이 하나처럼 보입니다.

그래서 로그 바로 다음 줄에 남는 롤백된 SQL을 기준으로 다시 묶었습니다. 발급 경로에서는 두 묶음이 나왔습니다.

  • 대부분은 발급 기록을 삽입하는 INSERT였습니다.
  • 나머지는 미배정 핀을 결제에 배정하는 UPDATE였습니다.

관람권 사용 처리 기록에서 난 데드락도 있었습니다. 발급과는 다른 경로라 이 글에서는 다루지 않습니다.

여기에 하나가 더 있었습니다. 결제 서버는 발급이 실패해도 경고 로그만 남기고 결제를 성공으로 처리하고 있었습니다. 이 부분은 5장에서 다룹니다.

2. 첫 번째 원인: 같은 결제에 대한 동시 발급

발급 요청 B (같은 결제)발급 기록 테이블발급 요청 A발급 요청 B (같은 결제)발급 기록 테이블발급 요청 A서로 기다림 → 한쪽이 데드락(1213)으로 롤백이 결제의 기록 삭제 (지울 행 없음, 간격 잠금)이 결제의 기록 삭제 (같은 간격 잠금, 서로 충돌 없음)기록 삽입 → B의 간격 잠금이 풀리길 기다림기록 삽입 → A의 간격 잠금이 풀리길 기다림

연동 서버는 발급 기록을 "이 결제의 기존 기록을 지우고 새로 넣는" 방식으로 저장했습니다. 재요청이 와도 기록을 하나로 유지하려는 의도였습니다.

문제는 같은 결제에 대한 요청 두 건이 거의 동시에 들어올 때였습니다. MySQL의 기본 격리 수준(REPEATABLE READ)에서는 지울 행이 없어도, 그 행이 들어갈 자리(간격)에 잠금이 걸립니다. 간격 잠금끼리는 서로 막지 않아서 두 요청 모두 같은 간격을 잡을 수 있습니다. 하지만 그 간격에 행을 넣으려면 다른 트랜잭션의 간격 잠금이 풀려야 합니다. 그래서 두 요청이 서로를 기다립니다.

지우고 넣는 대신, 잠그고 비교하는 방식으로 바꿨습니다.

  1. 결제 행을 먼저 FOR UPDATE로 잠급니다. 같은 결제에 대한 요청은 여기서 한 줄로 섭니다.
  2. 기존 기록이 없으면 새로 저장합니다.
  3. 같은 핀으로 다시 온 요청이면 아무것도 하지 않습니다. 묶음 상품은 핀 순서가 달라도 구성이 같으면 같은 요청으로 봅니다.
  4. 다른 핀으로 온 요청이면 기존 기록을 덮어쓰지 않고 실패로 돌려줍니다.

수정 전 방식으로는 로컬 MySQL 8.0에서 1213이 재현됐습니다. 수정 후에는 서로 다른 결제 50건을 병렬로 실행해 모두 성공했습니다. 같은 결제에 핀 순서를 바꿔 20번 동시에 보내도 기록은 한 행으로 남았습니다. 배포 뒤로 이 INSERT 데드락은 다시 나지 않았습니다.

3. 두 번째 원인: 어드민 환불의 OR 조건

나머지 UPDATE 데드락과 같은 시각을 찾아보니, 어드민에서 여러 결제를 한꺼번에 환불하고 있었습니다.

환불할 때는 그 결제의 핀을 찾아 잠그고, 환불이 끝나면 환불됨으로 표시합니다. 핀을 찾는 조건은 이랬습니다.

WHERE payment_id = ?
   OR (payment_id IS NULL AND merchant_uid = ?)

뒤쪽 조건은 결제 id가 저장되기 전의 옛 핀을 주문번호로 찾기 위한 것입니다.

실행 계획을 보니 MySQL은 이 조건을 ref_or_null로 풀었습니다. 결제 id 인덱스에서 = ?인 항목과 NULL인 항목을 함께 읽는 방식입니다. 주문번호는 읽은 뒤에 거릅니다.

문제는 NULL 쪽이었습니다. 결제 id가 NULL인 핀은 곧 미배정 핀 전체이고, 예상 행 수는 십수만이었습니다. 잠금은 주문번호로 거르기 전, 읽은 인덱스 항목마다 걸립니다. REPEATABLE READ에서는 조건에 맞지 않아 버려진 항목의 잠금도 트랜잭션이 끝날 때까지 남습니다.

이때 발급이 들어오면 두 트랜잭션이 잠그는 순서가 엇갈립니다.

  • 환불: 인덱스 항목을 먼저 잠그고, 그다음 핀 행을 잠급니다.
  • 발급: 핀 행을 먼저 잠그고, 결제 id를 NULL에서 값으로 바꾸면서 인덱스 항목을 잠급니다.

같은 미배정 핀에서 이 순서가 엇갈리면, 각자 상대가 쥔 잠금을 기다리는 순환이 생깁니다.

결제 승인 · 핀 발급핀 테이블어드민 환불결제 승인 · 핀 발급핀 테이블어드민 환불서로 기다림 → 한쪽이 데드락(1213)으로 롤백미배정 핀 하나의 행을 잠금OR 조건으로 미배정 핀 인덱스 항목 전체를 잠금그 핀 행을 잠그려 함 → 발급이 끝나길 기다림결제 id를 바꾸려 인덱스 항목을 잠그려 함 → 환불이 끝나길 기다림

한 쿼리로 두면 어떤 인덱스를 고를지가 옵티마이저 판단에 달립니다. 그래서 대상 id를 먼저 모으고, 잠금은 그 id로만 걸도록 나눴습니다.

  1. 단일 조건 조회 두 번(payment_id = ?, merchant_uid = ? AND payment_id IS NULL)으로 대상 id를 모읍니다. 두 조회 모두 실행 계획상 한 행만 읽습니다.
  2. 잠금과 표시는 id IN (...)으로만 실행합니다.

찾는 핀은 이전과 같고, 잠기는 범위는 실제 대상 핀으로 줄었습니다.

4. 어느 쿼리가 상대였나: 로컬 재현으로 확인하기

처음에는 환불이 끝난 뒤 핀을 환불됨으로 표시하는 UPDATE가 상대라고 봤습니다. 시각이 가장 가까웠기 때문입니다.

하지만 운영 DB에서는 데드락 양쪽 정보를 볼 수 없었습니다. 환불 서버의 그 시각 로그도 보존 기간이 지나 있었습니다. 그래서 운영과 같은 분포(전체 핀 대비 미배정 핀 비율)로 로컬 MySQL 8.0에 데이터를 만들었습니다. 그리고 환불 쪽 쿼리와 발급 UPDATE를 겹쳐 각각 10번씩 돌렸습니다.

발급과 겹친 쿼리실행 계획데드락
환불 표시 UPDATE기본 키 전체 스캔0/10
환불 표시 UPDATE (인덱스 강제)ref_or_null10/10
환불 전 핀 잠금 SELECT ... FOR UPDATEref_or_null10/10
수정 후 (id IN 잠금)기본 키 (대상 행만)0/10

같은 WHERE 절인데도, 이 분포에서 UPDATE는 인덱스 대신 기본 키 전체 스캔을 골랐습니다. 전체 스캔도 넓게 잠그지만 기본 키 순서로만 잠그기 때문에, 재현에서는 대기만 생기고 순환은 생기지 않았습니다.

데드락이 난 쪽은 결제대행사(PG)에 환불을 요청하기 전에 핀을 잡아 두는 SELECT ... FOR UPDATE였습니다. 그래서 상대는 표시 UPDATE보다 환불 전 잠금일 가능성이 높다고 정정했습니다.

다행히 두 쿼리는 같은 조건 함수를 쓰고 있었습니다. 3장의 수정이 양쪽을 함께 바꿨고, 수정본은 대상 핀 두 개만 잠가 10번 모두 데드락이 나지 않았습니다. 다만 운영의 데드락 양쪽 정보를 직접 본 것은 아니어서, 이 결론은 재현에 근거한 추론입니다.

5. 데드락 뒤의 처리: 조용히 지나가던 실패

잠금 범위를 줄여도 데드락을 0으로 만들 수는 없습니다. 그래서 데드락이 난 뒤의 처리도 봤습니다.

결제 서버는 발급 결과를 알 수 없으면 경고만 남기고 성공으로 응답했습니다. 같은 블록에 있던 포인트 차감 같은 후속 단계도 함께 건너뛰었습니다.

두 곳을 고쳤습니다.

  • 연동 서버
    • 핀 배정 트랜잭션이 1213으로 실패하면 짧게 기다렸다가 최대 두 번 다시 실행합니다.
    • InnoDB는 데드락이 나면 트랜잭션 전체를 되돌립니다. 그래서 재시도도 트랜잭션 처음부터 다시 실행합니다.
  • 결제 서버
    • 발급 결과를 알 수 없으면 같은 요청으로 한 번 더 부릅니다.
    • 연동 서버는 같은 주문번호로 다시 요청이 오면 이미 배정한 핀을 그대로 돌려줍니다. 그래서 두 번 불러도 핀이 두 번 나가지 않습니다.
    • 재호출도 실패하면 수동 확인이 필요하다는 에러 로그를 남깁니다.
    • 발급 결과와 관계없이 포인트 차감 같은 후속 단계는 그대로 실행합니다.

6. 40일 0건, 그리고 그 숫자의 한계

어드민 환불 수정이 배포된 10월 8일부터 40일 동안, 연동 서버 로그의 데드락은 0건입니다.

다만 OR 조건 때문에 난 데드락은 기간 중 한 번뿐이라, 0건만으로는 근거가 약합니다. 이 수정의 근거는 4장의 실행 계획과 재현입니다.

마치며

이번 일을 정리하면서 남긴 원칙은 네 가지입니다.

  1. 데드락은 롤백된 SQL 기준으로 묶어 셉니다. 같은 1213 안에 원인이 여러 개 섞여 있을 수 있습니다.
  2. 잠금을 거는 쿼리에 OR와 IS NULL이 함께 있으면 실행 계획을 먼저 봅니다. 잠금은 걸러진 결과가 아니라 읽은 인덱스 범위에 걸립니다.
  3. 가설은 운영과 같은 분포로 재현해서 확인합니다. 같은 WHERE 절이라도 데이터 분포에 따라 실행 계획과 잠금 범위가 달라집니다.
  4. 데드락은 언젠가 다시 납니다. 재시도와 안전한 재호출을 두고, 실패가 조용히 지나가지 않게 합니다.

글을 정리하면서 2번 원칙을 한 번 더 적용했습니다. 다른 제휴처의 핀 매칭에도 같은 OR 조건이 남아 있었는데, 처음에는 행 수가 적다는 이유로 범위에서 뺐습니다. 실행 계획을 다시 보니 그 제휴처의 핀 전체를 읽고 있었습니다. 아직 문제가 난 적은 없었지만, 같은 방식으로 대상 id만 잠그도록 고쳐 배포했습니다.

처음에는 에러 코드 하나로 보이던 로그였습니다. 롤백된 SQL을 따라가 보니 고칠 곳은 연동 서버, 어드민, 결제 서버 세 곳에 나뉘어 있었고, 원인마다 그 자리에서 고쳤습니다.