Створення локального рівня пам'яті для LLM за допомогою Rust, SQLite та графів
Mnemo — це локальний рівень пам'яті для великих мовних моделей, побудований на Rust, SQLite та бібліотеці petgraph. Він дозволяє агентам зберігати стан і контекст між сесіями без хмарних сервісів.
Чому це важливо
Ви можете забезпечити своїм локальним ШІ-агентам довготривалу пам'ять між різними завданнями, не передаючи конфіденційну структуру вашої бази коду в хмару.
TL;DR
- 01Використовуйте Mnemo для побудови локальних приватних графів знань про ваші розробницькі проєкти
- 02Інтегруйте пошук на базі petgraph для отримання контекстних спогадів без використання важких векторних баз даних
- 03Створюйте власні обгортки на Rust або Python для синхронізації файлів робочого простору з SQLite-бекендом Mnemo
Архітектура
Mnemo функціонує як локальний сервіс-сайдкар. Він отримує сирий текст розмов, витягує сутності за допомогою LLM і зберігає їх у базу даних SQLite. Атомарні оновлення стану керуються бібліотекою petgraph.
Конвеєр запитів
Пошук оптимізовано за допомогою 6-етапного конвеєра: повнотекстовий пошук, пошук сутностей, розширення графа (BFS), фільтрація зв'язків та ранжування.
Розгортання
Mnemo постачається як єдиний статичний бінарний файл без залежностей від хмари. Підтримує кілька провайдерів, включаючи Ollama, OpenAI та Anthropic.