Prediction circuit break pattern

Usecase

Architecture

캠페인이나 외부 이벤트 때문에 웹 서비스나 관련 서비스에 접속이 증가하는 경우가 있습니다. 만약 클라우드 서비스 또는 쿠버네티스를 사용한다면 요청량만큼 스케일 아웃을 할 수 있지만, 스케일 아웃 속도보다 요청량이 증가하는 속도가 더 빠른 경우가 많습니다. 특히 서버 또는 컨테이너 이미지에 모델 파일이 포함된 경우, 모델을 실행하거나 다운로드 받는데 시간이 오래 걸릴 수 있습니다.


Prediction circuit breaker pattern은 스케일 아웃이 성공할 때까지 complete outage를 방지하는 아키텍처입니다. 예측 서버가 예측할 수 있을 만큼 예측하고, 특정 한계 이상으로 요청이 오면 예측을 취소합니다. 전체 중단이 최악의 경우라 생각하면 부분 중단이 합리적이라고 생각할 수 있습니다. 요청이 많으면 예측 서버가 다시 시작되어 예측 리소스가 줄어드는 경우가 자주 발생합니다. 모든 예측에 응답하기 위해 스케일 아웃이 완료될 때까지 현재 예측 서비스를 안정화해야 하고, 안정화를 위해 특정 수의 요청을 취소하는 것이 합리적입니다.


이 패턴의 중요한 점은 취소된 요청에 대한 대안을 세우는 것입니다. 사용자 경험 저하를 최소화하고 클라이언트 활동을 중단하지 않아야 합니다. 취소를 위한 워크플로우를 고려하는 것이 좋습니다.

Diagram

diagram

Pros

Cons

Needs consideration