올리마(Ollama) 일단 그냥 설치 해보자.

아무것도 모르는 상태에서 일단 설치!

더 읽어 봐야 ㅋㅋ 잠만 쏟아 진다. ㅡㅡ

 

 

# 윈도우 기준

1. https://ollama.com/ 접속해서 윈도우 setup 파일 다운로드 받고 실행하여 [next]만 하면 설치 완료된다.

2. cmd 창에서 정상 설치 확인한다.

 

3. 한글 잘 알고 있는 모델을 crate 한다.

3.1 Modelfile을 아래 와 같이 작성한다.

FROM llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M.gguf

PARAMETER temperature 0.6
PARAMETER top_p 0.9

TEMPLATE """<|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023

{{ if .System }}{{ .System }}
{{- end }}
{{- if .Tools }}When you receive a tool call response, use the output to format an answer to the orginal user question.

You are a helpful assistant with tool calling capabilities.
{{- end }}<|eot_id|>
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|>
{{- if and $.Tools $last }}

Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.

Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.

{{ range $.Tools }}
{{- . }}
{{ end }}
{{ .Content }}<|eot_id|>
{{- else }}

{{ .Content }}<|eot_id|>
{{- end }}{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}
{{ range .ToolCalls }}
{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }}
{{- else }}

{{ .Content }}
{{- end }}{{ if not $last }}<|eot_id|>{{ end }}
{{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|>

{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>

{{ end }}
{{- end }}
{{- end }}"""

SYSTEM """You are a helpful AI assistant. Please answer the user's questions kindly. 당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요."""

 

3.2 허깅 페이스에서 모델을 다운로드 받는다.

https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M/tree/main

Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M at main

 

3.3 실행한다. 

ollama create llama3-bllossom -f Modelfile

 

 

4. 모델 리스트를 확인한다.

 

5. 올라마 실행!

ollama run llama3-bllossom

 

제법 괜찮은 답변을 준데이!!