GKE-Argo CD failed to provision volume, QUOTA_EXCEEDED 오류

 

argo CD사용해서 배포를 하던중에 계속해서 Degraded 상태였던 문제가 있었습니다.

이벤트를 확인해보면 대부분 pv의 용량이 초과해서 나는 오류였는데요

 

argo CD의 작업하고 있는 어플리케이션을 삭제해버려 스크린샷은 못찍었지만 chat gpt한테 질문한 로그를 확인해보면 아래와 같습니다.

(combined from similar events): failed to provision volume with StorageClass "standard-rwo": rpc error: code = ResourceExhausted desc = CreateVolume failed to create single zonal disk pvc-3baed11b-3372-4580-a77b-282d66bb8f3f: failed to insert zonal disk: unknown Insert disk operation error: rpc error: code = ResourceExhausted desc = operation operation-1708788227463-61222434b5b2b-d6f14ba7-55f281c4 failed (QUOTA_EXCEEDED): Quota 'SSD_TOTAL_GB' exceeded. Limit: 500.0 in region asia-east1.

 

Kubernetes 클러스터에서 Persistent Volume (PV)을 프로비저닝하려고 시도할 때 발생했으며, 구체적으로는 스토리지 클래스 standard-rwo를 사용하여 볼륨을 생성하려 할 때 스토리지 프로바이더(여기서는 Google Cloud Platform, GCP)의 쿼터 제한을 초과했다고 합니다.

 

Persistent Disk를 확인해보면 500GB로 설정되어 있고. 베포하려는 헬름차트의 내용을 보면 대략 ~200GB 정도밖에 되지 않았습니다.

 

저는 GCP를 두번째 사용하고 있는데 무료 300크레딧을 받기위해 2달에 한번씩 아이디를 새로 만들고 있었습니다.

첫번쨰 아이디에서는 잘 돌아가던 argo CD설정이였는데, 두번째 아이디에서는 안되는게 정말 의아했습니다.

차이점이 뭘까 고민도 많이 해보고 혹시 그 사이에 내가 사용하던 헬름 차트끼리의 호환성이 바뀌었나? 하고 생각도 해보았습니다. 

 

그러던중 Persistent Disk의 용량을 증가시키려고 하니 일반계정을 활성화 시켜야만 가능하다라는 문구를 보여주더군요.

첫번째 아이디에서는 멋모르고 무섭게? 일반계정 활성화를 눌러 유료계정으로 전환했었습니다. 그리고 매일매일 크레딧이 혹시나 부족하지 않나 계속 모니터링을 했었습니다.

 

일반 계정 활성화를 해주니 몇분 지나지 않아 모든게 해결되었습니다..!!

 

계속해서 빨간불이 뜨던 storage도 초록불로 바뀌었죠.

 

argo CD도 당당하게 Healthy를 보여주네요... 5시간동안의 고생이 활성화 버튼때문이였다니..

사실 지금도 정말 활성화의 차이때문에 그런건가 의심되기도 하지만... 맞는것 같습니다

 

GCP를 쓸때는 일반계정 활성화를 하고나서 크레딧을 모니터링하는게 정신건강에 이로울것 같습니다!! 

참고만 해주세요!!