hugging face1 Ollama에 Bllossom 모델 적용하기 한국어를 잘 지원하는 로컬 LLM을 구현하기 위해,Hugging Face에서 다음 Bllossom 모델을 받아서 Ollama에 적용하려고 한다. 선택한 아래 모델의 경우 gguf 포맷으로 되어있기에먼저 gguf 및 양자화에 대한 이해를 간단하게 해보자. https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M · Hugging Face huggingface.co GGUF에 대한 이해GGUF란 모델 파일 포맷 중 하나로, 쉽게 말해 LLM 모델계의 docker로 이해할 수 있다.기존 방식의 경우 특정 프레임워크나 라이브러리에 종속되어 호환성이 떨.. 2025. 1. 19. 이전 1 다음
