대체 뭘 만든건가요..
llama cpp python 도 제대로 실행이 안되네..
안녕하세요,
llama-cpp-python은 llama.cpp과 별개의 라이브러리로, 기반으로 사용하는 llama.cpp 라이브러리의 업데이트가 필요합니다.
EXAONE 4.0을 지원하는 llama.cpp 버전 (b5932) 을 사용하도록 구성하거나, llama-cpp-python에서 최신 llama.cpp가 반영되길 기다려주세요.
Hello,
llama-cpp-python is a separate library from llama.cpp, and it requires an update to the underlying llama.cpp library that it's based on.
Please either configure it to use the llama.cpp version (b5932) that supports EXAONE 4.0, or wait for llama-cpp-python to incorporate the latest llama.cpp updates.
안녕하세요,
공유해 주신 모델에 대해 몇 가지 문제가 발생하여 연락드립니다.
어제 GitHub에서 다운로드한 exaone 브랜치의 소스 코드를 컴파일하고 생성된 DLL을 적용했는데, 파일을 읽을 수는 있었지만 실행은 되지 않았습니다.
또한, GGUF 파일을 다운로드하여 Ollama로 변환하려고 시도했지만 이 역시 실패했습니다. 앞선 문제와 마찬가지로 파일을 읽을 수는 있었지만 실행은 불가능했습니다.
( ollama 에서 안되는 것은 모델이 신규로 추가되어서 그런것 같습니다. )
소스 코드에서 모델이 exaone 4.0으로 언급된 부분도 보았는데, 이 또한 제가 이전에 사용했던 exaone 모델과는 다른 정의인 듯합니다.
소스는 정상으로 받은것 같고 컴파일도 되었는데.. 역시 실행이 안되요.
제가 잘못했을 수도 있지만, 확인할 수 있는 대부분의 사항을 확인했습니다.
이 문제가 해결되기를 정말 기대하고 있습니다.
이전에 3.5 버전을 사용했을 때 성능이 매우 좋아서 잔뜩 기대하고 있습니다.
응원합니다. 파이팅!!
안녕하세요,
@sb4528
님. 답변이 늦었습니다.
현재 ollama는 아직 EXAONE 4.0을 공식 지원하지 않습니다. llama.cpp에서는 공식 지원이 되기에 GGUF 변환은 문제 없지만 ollama에서 사용하기 위해선 EXAONE 4.0 구현이 추가되어야 합니다.ollama에서 공식 지원되는 대로 문서를 업데이트할 예정이니 많은 관심 부탁드립니다. 응원해주셔서 감사합니다!
Hello,
@sb4528
. We apologize for the late response.ollama does not currently supports EXAONE 4.0 officially. While llama.cpp provides official support and GGUF conversion works without issues, EXAONE 4.0 implementation needs to be added to ollama for it to work properly.
We will update our documentation once ollama officially supports EXAONE 4.0.
Thank you for your interest and encouragement!
안녕하세요. 답변 감사합니다.
GGUF 파일을 사용해서 GPU 없이 사용해 보려고 했는데..
이것은 안되고.. pytorch 를 사용하면 되는 것인가요?
에이전트 AI 시대'를 열기 위한 필수 기능 중 하나로 에이전트 도구 사용(agentic tool use)을 통합한다고 되어 있는데..
그런데 어떻게 사용하는지 잘 모르겠습니다.
혹시 mcp server 와 같은 방식으로 등록하나요? 설명이 더 필요합니다.
그런데.. friendlyai 에서는 어떻게 실행을 한 것인가요? 그리고 직원들에게 서비스도 한다고 들었는데..
사용해 보고 싶으면 어떻게 신청해야 하나요?