시스템간 통신 중 요청 소실

에러 상황

 

테스트 환경에서 테스트 완료한 서버를 운영환경에 배포하였을 때

API 호출시 요청이 소실되는 에러가 발생

로그 시스템 상으로는

1. 요청 수신
2. 요청 송신

까지 찍혀 있는 상황

정상 Case의 경우

1. 요청 수신
2. 요청 송신
3. 응답 수신
4. 응답 송신

까지 찍혀 있어야 했다.

해결 과정

2번의 송신까지 로그가 찍혀있는 상황인데

3번의 응답 수신이 이뤄지지 않은 것으로 보아

에러가 발생했을 가능성이 있는 포인트

1. API 게이트웨이에서 송신 문제
2. Server2에서 요청 수신 문제
3. Server2에서 요청 처리 중 응답을 안해버린 경우
4. Server2에서 응답 송신 문제
5. API 게이트웨이에서 로그 쌓기 전 수신 문제

정도로 볼 수 있었고

우선 내가 바로 확인 할 수 있는 Server2의 로그를 확인해본 결과

요청을 처리하거나 하다가 에러난 로그를 확인할 수 없었다

⇒ 3번에 도달하기 전에 에러가 난 것이기에

1, 2번으로 좁힐 수 있었다.

 

각각의 내용은 내가 바로 확인할 수 있는 내용이 아니였기에 관련 담당자들에게 문의하였고, 문의한 결과 Server2의 앞단인 Web Server 쪽에 요청이 들어온 적이 없다는 것을 확인.

그리고 1번 게이트웨이에서 송신을 할때 관련 정책이 누락되어 있었다는 것을 해당 시스템 담당자에게 확인할 수 있었다.

운영 환경을 구축할 때 해당 내용을 등록하는 것이 누락되어있어 테스트 환경에서는 문제가 없었던 것

 

=> 게이트웨이 담당자께 누락된 정책 등록 요청드려 문제 해결하였다.

회고

머릿속에 내용이 정리된 이 시점에서 회고해보면 내가 봐도 간단한 내용이지만, 당시 운영 환경에서의 첫 테스트였고 당일 내에 완료를 해야하는 상황이라 시간이 촉박하다 보니 엄청 허둥지둥 대었다. 또한 게이트웨이에 쏘고 이 게이트웨이에서 다른 서버로 요청을 어떻게 쏘는지 그럼 다른 서버는 어떻게 이 요청을 받아 처리하고 응답을 다시 보내는지 등의 기반 지식이 부족한 상태에서 어디서 에러가 났는지 접근하려다 보니 어려움이 많았다. 전반적인 통신 흐름이나 시스템에대한 지식이 더 필요하다고 느꼈다.