doesnt work (with anythingllm/ollama) #wontwork
안녕하세요.
anythingllm(ollama)를 이용해 사용해 보려고 했는데 뭔가 제대로 안 되는 듯 해서 리포트 드립니다.
exaone-deep:7.8b-q4_K_M 이랑 exaone-deep:7.8b (같은 건가요?) 사용해서 두번 테스트 해 봤습니다.
이상한 대답을 출력하다 끝나네요. 아래 스크린샷 참고 부탁드립니다.
감사합니다.
Hello,
I can't get the model to answer simple questions.
Maybe it is ollama/anythingllm incompatibility? However I doubt so since other models work fine.
i get:
and eventually:
I was expecting more in line of this:
Thanks.
안녕하세요, 답변이 늦어 죄송합니다.
먼저 Usage Guideline에 따르면 EXAONE-Deep 모델은 system prompt를 비우는 것이 권장됩니다.
그러나 저희가 확인한 결과 현재 AnythingLLM에서는 system prompt를 빈 문자열로 주는 것이 불가능해 보입니다.
따라서 해당 프로그램에서 EXAONE-Deep 모델을 사용하는 것을 권장드리지 않습니다.
Hello, and we apologize for the delayed reply.
According to the Usage Guideline, it is recommended to leave the system prompt empty when using the EXAONE-Deep model.
From our investigation, it appears that AnythingLLM does not allow the system prompt to be set as an empty string.
Therefore, we do not recommend using the EXAONE-Deep model with this program at this time.
Thank you for your understanding.
앗 그렇군요..
아쉽네요. 그게 쓰기 편했는데. 답변 감사합니다.