HF Endpoints
#1
by
dalager
- opened
Heps
Supergodt arbejde 👌
Jeg har lavet en basal, men kørende handler.py som gør det muligt at deploye hviske-tiske til et HF endpoint med noget GPU-jern
Ved ikke helt, om det hører til her i modellens repo, da et provider-specifikt modul nok bør holdes on the side.
Hvad tænker folk?
/christian
Opret gerne en PR her: https://github.com/Pluttodk/hvisketiske
Så kan vi få det ind, så skal jeg nok få oprettet HF endpointet
Tjek, jeg renser lige op og får det på listen :)
Ooog der var den så :)