그라파나 + Loki Retention 설정

 

똑같은 장애를 만나고 같은 고민을 한다.

해당 부분에 전문가가 아니면 더욱 그러하다.

 

k8s를 사용하는 모든 곳에서 사용할것 같은데.. 생각보다 레퍼렌스가 많지 않다.

https://github.com/grafana/loki/issues/8357

Logs retention doesn't work · Issue #8357 · grafana/loki

 

로그가 꽉 차면 그라파나의 로그는 더 이상 출력이 안 된다. 

그나마 다행인 부분은 서비스를 하는데 문제가 없없다. ㅋ

 

 

1. yaml 재 배포는 정상적으로 동작하지 않았다.

## 수정된 yaml 재배포
helm upgrade --namespace monitoring loki-stack grafana/loki-stack --values loki-stack-values1.yaml

 

2. 시원하게 삭제하고 다시 설치하는 것으로!

## 삭제
helm uninstall --namespace monitoring loki-stack

 

삭제할 때 주의점 있다.

용량 부족 할때마다 삭제를 했는데 이번에는 이슈가 발생했다. 잠시 후 그라파나 폭주 

차이점이라고는 index 폴더를 남겨 두고 한부분인데.. index 폴더에 있는 내용을 다시 스캔하는듯??하다

따라서 반드시 chunks 폴더 하위 전체를 아주 시원하게 Cut한다.

 

3. 다시 설치

## 설치
helm install loki-stack grafana/loki-stack --values loki-stack-values1.yaml -n monitoring

 

설치 끝나면 POD 안으로 들어가서 

kubectl exec -it loki-stack-0  -n monitoring -- sh
df -h

 

 

낼 모레 확인 해보자!! 1주일 정도의 로그면 되니께!! 일단 되는거 보고... 다시 설정

 

굳 잘된다. 

 

 

 

간혹 재기동 할 때 아래와 같은 오류가 나면... Persistent Volume Claims 삭제를 해야 한다.

mountvolume.waitforattach failed for volume volume attachment is being deleted

 

그럼 인스톨할 때 알아서 자동으로 새롭게 만들어 준다.!!