랭체인 적용해서 서비스 해보자.

파일SUN!! 조으다.

from langchain_ollama import OllamaLLM

# model
ollama = OllamaLLM( base_url='http://localhost:11434', model="llama3-bllossom" )

# chain 실행
print(ollama.invoke("주식을 잘하려면 어떻게 해야 하나요?"))

 

>> 응답!! 대에충 콘솔이랑 비슷하게 나온다. 

 

영어로 질문하면 영어로 답변 한다.

무조건 답변을 한글로 하려면 간단하다. 질문에 앞 문장에서 "한국어로 답변해주세요" 하면 된다.

필터의 느낌으로. ㅎ

before_prompt = "한국어로 답변하세요!"

# chain 실행
print(ollama.invoke(before_prompt + " how good stocks "))

 

 

deep 하게 공부한다면 정말 끝도 없겠다.

 

일단 전체적으로 맛만 보자.

 

https://github.com/teddylee777/langserve_ollama

GitHub - teddylee777/langserve_ollama: 무료로 한국어🇰🇷 파인튜닝 모델 받아서 로컬 LLM 호스팅. LangServe