Mesh LLM використовує Iroh для об'єднання розподілених GPU в єдиний API
Mesh LLM використовує P2P-бібліотеку iroh для об'єднання незадіяних GPU на кількох комп'ютерах, створюючи єдиний безсерверний кластер для запуску моделей.
Вплив: Середній
Чому це важливо
Тепер ви можете об'єднати апаратне забезпечення у вашому офісі чи команді, щоб запускати гігантські моделі локально без оренди хмарних GPU.
TL;DR
- 01Об'єднує розподілене обладнання для запуску великих локальних моделей через OpenAI-сумісний API.
- 02Використовує розділений режим 'Skippy' для послідовного запуску шарів LLM на кількох вузлах.
- 03Не потребує центральних серверів; використовує iroh для безпечних прямих P2P-з'єднань та обходу NAT.
Ключові факти
- Розмір бінарного файлу
- 18 МБ
- Кількість моделей
- Понад 40 (від малих локальних моделей до MoE на 235 млрд параметрів)
Розподілені обчислення за принципом P2P
Mesh LLM перетворює розрізнені споживчі GPU на єдине обчислювальне середовище. Кожна нода запускає endpoint iroh, який слугує її криптографічно безпечним ідентифікатором. Центральний сервер маршрутизації відсутній; натомість вузли координують стани моделей, затримки та конфігурації за допомогою кастомного протоколу пліток (gossip protocol).
Конвеєрне виконання моделей
Завдяки внутрішній архітектурі "Skippy", моделі, які є занадто великими для однієї відеокарти, динамічно розділяються. Параметри активації передаються між етапами через оптимізований за затримкою QUIC-потік skippy-stage/2. Уся ця інфраструктура працює непомітно за стандартним OpenAI-сумісним API на http://localhost:9337/v1.
+---------------+ +---------------+ +----------------+
| Клієнт OpenAI | ----> | Локальна нода | ----> | Віддалена нода |
| (localhost) | | (Шари 0-15) | | (Шари 16-31) |
+---------------+ +---------------+ +----------------+✓ Коли використовувати
- Для запуску великих відкритих моделей, розмір яких перевищує обсяг VRAM будь-якої окремої відеокарти в локальній мережі.
- При створенні економічно вигідних спільних точок доступу до локального інференсу на базі наявного заліза.
✕ Коли НЕ варто
- Якщо вам потрібен інференс із наднизькою затримкою (мережевий оверхед конвеєра 'Skippy' через глобальну мережу буде занадто високим).
- У разі використання застарілих або непідтримуваних відеокарт, для яких немає сумісних збірок llama.cpp.
Що зробити сьогодні
- Завантажте бінарний файл Mesh LLM (близько 18 МБ) і запустіть локальний вузол на localhost:9337
- Приєднайтеся до приватної мережі вашої команди для спільного використання GPU
- Налаштуйте клієнти OpenAI SDK на адресу http://localhost:9337/v1 для безкоштовного використання
Що каже спільнота
“I spent a while trying to get mesh-llm running, but none of the installable llama.cpp builds worked with my older gpu. Seems very cool, but definitely a bit patchy on the supporting-stuff end of things.”
Джерела