| Re:Hab mir mal das 8B DeepSeek Modell lokal installiert. |  |
>Geht mit Ollama recht einfach. Das Modell ist 4,9GB groß, also ungefähr die Datenmenge, die auf eine einfach DVD passt.
>Das kleine Modell erzählt zwar oft Quatsch, aber auf der anderen Seite kann es auch zu den meisten Fragen etwas beitragen. Ich finde das vollkommen krass, wie in dieser verhältnismäßig kleinen Datenmenge so eine riesige Menge an Informationen enthalten ist.
>"Any sufficiently advanced technology is indistinguishable from magic." ;-)
Ich habe das mal mit LM Studio ausprobiert - mit AMDs ROCm auf einer 7800XT gibt es leider komische Probleme: Die Performance ist mist und auf ein einfaches "Hallo"/ "Hello" versucht mir die KI eine komplexe Formel zu errechnen und den mathematischen Beweis zu Zeigen... Manchmal in englisch, manchmal in chinesisch. Naja.
Auf einer 4060Ti16 mit CUDA fluppt das schneller als ein Wasserfall und es kommen verständliche Antworten. Am Wochenende werde ich mir mal das 14GB große Model anschauen.