Кэширование
#10
by
borisssgrecchkin
- opened
Выполнил инференс на ГПУ через traformers. При запросе со списком passages длиной равной 5 (строки по 5-7 слов) кэш заполняет 7гб памяти. Из-за чего так происходит и можно ли как-то это обойти?