대머리개발자

상황에 맞게 써야하는게 정론이것 같다. 하나씩 테스트 해봐야 하는 노가다를 해보자! MilvusFAISSChroma라이선스/무료오픈소스(무료)오픈소스(무료)오픈소스(무료)영속성 (재시작 후 데이터 유지)O (DB 서버방식)X(기본:메모리) / 일부 O(파일저장)O (영속모드 있음)대용량 적합성매우 우수매우 빠름(로컬)중소규모 적합필터링/메타데이터 관리뛰어남제한적뛰어남운영 복잡도높음(서버 필요)낮음(로컬 파일)매우 낮음삭제/업데이트 지원지원어렵거나 불편지원RAG/RAG+ 용 RAG 라이브러리 호환매우 좋음매우 좋음매우 좋음 백터의 품질은 임베딩 모델에 결정 되기 때문에어떤 친구를 사용해도 문제는 없겠다. 단 서비스 대상의 규모에 따라 선택지는 있다.별도의 서버가 있다는 것은.. 많은 트래픽을 감당할 수 ..

ChatGPT가 나온 답변이다. 내가 만들고 있는 AI에서 나온 답변이다. 최근 기사들 위주로 RAG 해 놓고 프롬프트 이쁘게 만들어 넣고 맞춤형으로 답변이 나올 수 있도록 개발을 하고 있다. 현재 정테주 시황에 맞게 이재명 후보 관련 주도 보인다. ㅎㅎ 기능 1. DB에 있는 기사 제목과 본문을 RAG -> FEED-> 최신 기사에 스코어를 더 줌기능 2. 리포트 PDF를 RAG -> PDF기능 3. 기능1과 기능2를 MIX!! 여러가지 다른 시험들을 해보려고 한다. 현재 모델은 아래 두가지로 테스트 해보고 있고DeepSeek-llama3.1-Bllossom-8B.Q6_K.ggufllama-3-Korean-Bllossom-8B-Q4_K_M.gguf 구글에서 나온 젬마(Gemma) 도 있네.. ..

무료 사용가능한 임베딩친구들이 많다.그 친구 내부에서도 많은 모델들이 있다...하악하악사용 목적과 성능 요구사항에 따라서 테스트해야 한다...ㅎㅂ 늘 말은 쉽다. 테스트 기준 : PDF(4.8MB) RAG TESTPDF 로더 : PDFPlumberSplitter : RecursiveCharaterText 1. SentenceTransformersEmbeddings몇 가지만 모델만 테스트 해보자. 사실 얼마나 많이 달라질까? 의구심이 들긴했지만...결과는 바로 나왔다.  빠르고 가벼운 모델은 임베딩은 빨랐지만 질문에 대한 답변을 하지 못했다. 바로 Skip임베딩이 아무리 빨리 된다고 하더라도.. 결과가 없으면...의미가 없는 건데.. 다른 모델들도 의미가 있나 싶다. 빠르고 가벼운 모델- all-MiniL..

https://huggingface.co/MaziyarPanahi/DeepSeek-llama3.1-Bllossom-8B-GGUF/tree/main MaziyarPanahi/DeepSeek-llama3.1-Bllossom-8B-GGUF at main huggingface.co 이것저것 테스트 해보려고 보고 있는데.. 따근따근하게 2틀전에..나왔네...성능이 너무 좋타.. 동일한 질문 "너가 가장 잘하는 답변 분야가 뭐지?"DeepSeek-llama3.1-Bllossom-8B.Q6_K.gguf 딥시크의 답변 :  라마의 답변 : llama-3-Korean-Bllossom-8B-Q4_K_M.gguf두 LLM 모델 모두 "과기대"에서 한국어 연결을 강화시킨 모델이다. 뭔가 반응속도도 그렇고 빠릿빠릿한 느낌이다...

지금까지는 콘솔에서 테스트를 했지만.. 좀 더 우아(?)하게순수 코어만 TEST 하려면 크롬 확장 프로그램을 이용해 간단하게 해 볼 수 있다.크롬 확장 프로그램에서 올라마를 찾아서 설치하면 딱 끝! A-Z까지 이미 먼저 건너간 선배님들이 다 해놓았다 우리는 그냥 숟가락 들 힘만 있으면 된다. 늘 고맙습니다!! 물론 우린 api를 통해서 진행할 부분이지만 그냥 웹UI 형태로 테스트 해보고 싶었따.빠르게 테스트 해보고 싶다면 크롬 확장프로그램을 추천하는 바이다. 자바 대에충 8년.. 코틀린 대에충2년..써보다가파일썬 플라스크 보니깐.. 와.. 너무 간결하다.. 심플하다. 와.. 이러니깐. 서버리스에서 인기 있는 언어로 많이 쓰이는구만. 머물러 있지 말자!!@app.route("/ask", methods=["..

파일SUN!! 조으다.from langchain_ollama import OllamaLLM# modelollama = OllamaLLM( base_url='http://localhost:11434', model="llama3-bllossom" )# chain 실행print(ollama.invoke("주식을 잘하려면 어떻게 해야 하나요?")) >> 응답!! 대에충 콘솔이랑 비슷하게 나온다.  영어로 질문하면 영어로 답변 한다.무조건 답변을 한글로 하려면 간단하다. 질문에 앞 문장에서 "한국어로 답변해주세요" 하면 된다.필터의 느낌으로. ㅎbefore_prompt = "한국어로 답변하세요!"# chain 실행print(ollama.invoke(before_prompt + " how good stocks ")..

아무것도 모르는 상태에서 일단 설치!더 읽어 봐야 ㅋㅋ 잠만 쏟아 진다. ㅡㅡ  # 윈도우 기준1. https://ollama.com/ 접속해서 윈도우 setup 파일 다운로드 받고 실행하여 [next]만 하면 설치 완료된다.2. cmd 창에서 정상 설치 확인한다. 3. 한글 잘 알고 있는 모델을 crate 한다.3.1 Modelfile을 아래 와 같이 작성한다.FROM llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.ggufPARAMETER temperature 0.6PARAMETER top_p 0.9TEMPLATE """systemCutting Knowledge Date: December 2023{{ if .System }}{{ .System }}{{- end }}{{- if..

오픈 소스를 활용한다면  1. Ollama를 통해서 서비스를 하는 것이고2. TensorFlow or PyTorch 모델을 학습하면 된다. 말은 주운나 주운나 쉽다 솔루션도 중요하지만 진짜 핵심은 모델이다.해서 관련 모델(정보)를 private하게 관리하려고 하는 것이고그래서 SaaS가 아니라 PaaS 형태로 구축하려고 하는 것이고.... 솔트룩스를 홍보하는 것이 아니라... 탐난다. 자체 구축해 줄 것이고 학습하는 법도 가이드 줄 것이고.AI는 생각보다 많이 deep 하다. 특정 도메인에서의 전문가에게 맡기는 것이 좋겠다... 같은 개발자가 아니다. 나처럼 특정한 도메인 없는 망나니&대머리 개발자가 접근하기는 벅차다.. 50cm 콘트리트 벽이 있다.용어에서 이미 헛구역질이 난다. 그래도 시작해보자!!...