RAG의 위엄.

 

 

ChatGPT가 나온 답변이다.

 

 

 

내가 만들고 있는 AI에서 나온 답변이다.

 

최근 기사들 위주로 RAG 해 놓고 프롬프트 이쁘게 만들어 넣고 맞춤형으로 답변이 나올 수 있도록 개발을 하고 있다.

 

현재 정테주 시황에 맞게 이재명 후보 관련 주도 보인다. ㅎㅎ

 

기능 1.  DB에 있는 기사 제목과 본문을 RAG ->  FEED

-> 최신 기사에 스코어를 더 줌

기능 2. 리포트 PDF를 RAG -> PDF

기능 3. 기능1과 기능2를 MIX!!

 

 

여러가지 다른 시험들을 해보려고 한다.

 

현재 모델은 아래 두가지로 테스트 해보고 있고

DeepSeek-llama3.1-Bllossom-8B.Q6_K.gguf
llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

 

구글에서 나온 젬마(Gemma) 도 있네.. ㅡㅡ

 

 

아래의 모듈로 이용 하고 잇지만

- PDFPlumberLoader

- RecursiveCharacterTextSplitter

- FAISS    

 

모든 것에 가지수가 너무 많네.... 혼자 하기에 조금은 버겁네...

 

- PDFPlumberLoader -> Docling

- RecursiveCharacterTextSplitter ->  SemanticChunker, TokenTextSplitter

- FAISS 대신 Milvus

 

사실 모듈은 크게 품질에 영향을 미칠까...싶긴한데.. 중요한것은 코어(모델)니께..

 

천리길도....한 걸음....하..