2 хв читання · Mastodon
Запуск 510 ГБ DeepSeek-V4.1-Flash на споживчому GPU з 8 ГБ пам'яті
Інженери продемонстрували локальний запуск 510-гігабайтної DeepSeek-V4.1-Flash на карті RTX 5060 з 8 ГБ VRAM за допомогою прямого потокового зчитування з диска. Метод обходиться без конвертації завдяки структурі safetensors та попередньому завантаженню експертів.
Чому це важливо. Ви можете експериментувати з важкими MoE-моделями на бюджетному споживчому залізі за допомогою стримінгу з диска замість оренди дорогих хмарних кластерів.
