무료 임베딩 기술 검토 및 TEST

 

 

무료 사용가능한 임베딩친구들이 많다.

그 친구 내부에서도 많은 모델들이 있다...하악하악

사용 목적과 성능 요구사항에 따라서 테스트해야 한다...ㅎㅂ 늘 말은 쉽다.

 

테스트 기준 : PDF(4.8MB) RAG TEST
PDF 로더 : PDFPlumber
Splitter : RecursiveCharaterText

 

1. SentenceTransformersEmbeddings

몇 가지만 모델만 테스트 해보자. 

사실 얼마나 많이 달라질까? 의구심이 들긴했지만...

결과는 바로 나왔다. 

 

빠르고 가벼운 모델은 임베딩은 빨랐지만 질문에 대한 답변을 하지 못했다. 바로 Skip

임베딩이 아무리 빨리 된다고 하더라도.. 결과가 없으면...의미가 없는 건데.. 다른 모델들도 의미가 있나 싶다.

 

빠르고 가벼운 모델	- all-MiniLM-L6-v2 - paraphrase-MiniLM-L6-v2	-임베딩 : 7.9460초	답변 : X
고품질 모델	- all-mpnet-base-v2 - paraphrase-MPNet-base-v2	-임베딩 : 55.0932초	답변 : O
다국어지원이 모델	- multi-qa-mpnet-base-dot-v1 - msmarco-distilbert-base-v4	Skip
검색 최적화	- multi-qa-MiniLM-L6-cos-v1	- 임베딩 : 21.2433초	답변 : X
유사도 계산 작업에 최적화	- stsb-roberta-base - all-distilroberta-v1	- 임베딩 : 41.8356	답변 : X

 

2. HuggingFaceEmbeddings

해당 친구는 1번 친구를 확장했다고 보면 된다.

모델 이름도 대에충 비슷하다.

성능도 대에충 비슷한듯 하고...아니 답변이 똑같은것을 보니 똑같네....

 

3. OllamaEmbeddings

가장 느리지만... 가장 멋진 답변이 나온다.

빠르고 가벼운 모델

- bge-m3

-임베딩 : 148.9086초

답변 :

 

 

기존 테스타한 CPU 기준(i5-13600k)으로 테스트 한 부분이고

pip install faiss-gpu-cu12

 

GPU를 이용해서 진행하면 148초 걸려서 임베딩한 부분이.....6초 걸린다...와우..

 

기술검토 한다고 입문용으로 회사에서 지원해 준것인데.....갓비디아!!

 

 

글카도 지원 받았으니 이것저것 테스트 해보장!!