올라마(ollama)를 통한 서비스는 ??

 

나 혼자 사용하기에 딱이다. 다수에게 서비스하기에는 너무나 할 것이 많고.. 충격적인 제약사항이 있다.

 

하나의 요청에... 하나밖에 처리를 못한다... 전혀 예상치 못했다..

 

여러명에게 서비스하려면 아래처럼 ...구성..

결국 20명 동접이고..... 나머지는 웨이팅 걸어야 하고..

 

20개의 올라마를 올리려면 ㅋㅋ 서버 사양도....ㅎㄷㄷ

VRAM 48GB 이상 (예: A6000, 2x A100 40GB)
RAM 64~128GB 이상 권장
CPU: 16코어 이상

 

그냥 띠발 그럼 openAI를 쓰는게 베스트하다.

chatGPT 가격이 왜 비싼지가 체감이 되네...아오

 

 

회사 정보는 즉, 사업보고서는 1년에 한 번 추가되니깐.. 

AI 답변을 일괄로 RDB에 저장해야 겠다..

 

모든 사업보고서 AI 넘기면...약 8시간...걸리네..아오!!..아오!!