← Back to Blog

LLM Wiki: Your Self-Building Personal Knowledge Base (Complete Guide)

2026-05-23

LLM Wiki: Your Self-Building Personal Knowledge Base (Complete Guide)

What Is LLM Wiki?

Andrej Karpathy published a gist in early 2026 titled "LLM Wiki" — a pattern for building personal knowledge bases using LLMs. The core insight was simple but powerful: instead of retrieving raw chunks from your documents at query time (the traditional RAG approach), have the LLM incrementally build and maintain a persistent wiki — a structured, interlinked collection of markdown files that sits between you and your raw sources.

nashsu took that abstract pattern and turned it into a full cross-platform desktop application built with Tauri v2. It's not just a wrapper around the idea — it adds a two-step chain-of-thought ingest pipeline, a 4-signal knowledge graph with Louvain community detection, a Chrome Web Clipper, an optional vector search via LanceDB, a review system, Deep Research capabilities, and a local HTTP API that lets your AI agents query your knowledge base directly.

The result: you drop documents in, the LLM reads them, extracts entities and concepts, updates cross-references, maintains the index, and keeps everything consistent. You never write a wiki page yourself. The wiki compiles from everything you've read and keeps getting richer with every source you add.

Why Is It Trending?

LLM Wiki hit 8,900+ GitHub stars in just over a month since its initial release in April 2026. It's trending on GitHub because it solves a real pain point: knowledge management doesn't scale manually, and RAG is a poor substitute for a real knowledge base.

RAG systems (ChatGPT file uploads, NotebookLM, most enterprise RAG stacks) re-derive answers from scratch on every query. They don't accumulate. Ask a subtle question requiring synthesis across five documents, and the LLM has to find and piece together the relevant fragments every time. Nothing is built up.

LLM Wiki flips this model: knowledge is compiled once and kept current. The cross-references are already there. The contradictions have already been flagged. The synthesis already reflects everything you've read.

The fact that it's a polished desktop app (not just a CLI script) with Obsidian compatibility, a knowledge graph visualization, and a Chrome extension makes it immediately useful for researchers, students, writers, and anyone doing deep reading on complex topics.

Architecture Overview

LLM Wiki Architecture

LLM Wiki follows a three-layer architecture inherited from Karpathy's original pattern, with a desktop application layer on top.

The Three Layers

Raw Sources Layer — Your curated collection of documents (PDF, DOCX, PPTX, Markdown, images, web clips). These are immutable: the LLM reads from them but never modifies them. Sources are organized in raw/sources/ with optional raw/assets/ for local images.

Wiki Layer — A directory of LLM-generated markdown files organized into entities, concepts, sources summaries, comparisons, synthesis, and saved queries. Every page has YAML frontmatter with sources: [] linking back to raw documents. The LLM creates, updates, and cross-references pages here automatically. The wiki is also fully Obsidian-compatible — you can open it as an Obsidian vault and use the graph view, Dataview queries, and hotkeys.

Schema Layer — Two configuration files that define how the wiki works: purpose.md (goals, key questions, evolving thesis) and schema.md (structural rules, page types, conventions). These guide the LLM's behavior during every ingest and query.

The Desktop App

On top of these layers sits the Tauri v2 desktop application with:

  • Three-column layout: Knowledge Tree / File Tree (left) + Chat (center) + Preview (right)
  • Icon sidebar for switching between Wiki, Sources, Search, Graph, Lint, Review, Deep Research, Settings
  • Activity Panel — real-time ingest progress showing file-by-file status
  • Persistent state — conversations, settings, review items survive restarts
  • Scenario templates — Research, Reading, Personal Growth, Business, General

Two-Step Chain-of-Thought Ingest

This is the core innovation over the original pattern. Instead of a single LLM call that reads and writes simultaneously:

Step 1 (Analysis) — The LLM reads the source and produces a structured analysis: key entities, concepts, arguments, connections to existing wiki content, contradictions with existing knowledge, recommendations for wiki structure.

Step 2 (Generation) — The LLM takes the analysis and generates wiki files: source summary with frontmatter, entity pages, concept pages with cross-references, updated index.md, log.md, overview.md, and review items for human judgment.

Additional enhancements: SHA256 incremental cache (unchanged files are skipped), persistent ingest queue with crash recovery and auto-retry, folder import preserving directory structure, source folder auto-watch, and language-aware generation.

Knowledge Graph & Vector Search

The 4-signal relevance model computes connections between pages using:

Signal Weight Description
Direct links ×3.0 [[wikilinks]] between pages
Source overlap ×4.0 Pages sharing the same raw source
Adamic-Adar ×1.5 Pages sharing common neighbors
Type affinity ×1.0 Same page type (entity↔entity)

The graph is visualized with sigma.js + ForceAtlas2: node colors by page type or community, edge thickness by relevance weight, hover interactions, and Louvain community detection automatically discovers knowledge clusters with cohesion scoring.

Optional vector search via LanceDB uses any OpenAI-compatible embeddings endpoint, improving recall from 58.2% to 71.4%.

Prerequisites

  • A computer running macOS, Windows, or Linux
  • An LLM provider API key: OpenAI, Anthropic (Claude), Google (Gemini), Ollama (local), or any custom OpenAI-compatible endpoint
  • Node.js 20+ and Rust 1.70+ (only if building from source)
  • Optional: A web search API key (Tavily, SerpApi, or a SearXNG instance) for Deep Research
  • Optional: Chrome browser for the Web Clipper extension

Installation

Option 1: Pre-built Binary (Recommended)

  1. Go to the Releases page
  2. Download the appropriate package for your OS:
    • macOS: LLM.Wiki-*-aarch64.dmg (Apple Silicon) or LLM.Wiki_*_amd64.dmg
    • Windows: LLM.Wiki_*_x64_en-US.msi or LLM.Wiki_*_x64-setup.exe
    • Linux: LLM.Wiki_*_amd64.deb (Debian/Ubuntu), LLM.Wiki_*_x86_64.rpm (Fedora), or LLM.Wiki_*_amd64.AppImage (universal)
  3. Install and launch the application

Option 2: Build from Source

git clone https://github.com/nashsu/llm_wiki.git
cd llm_wiki
npm install
npm run tauri dev    # Development mode
# or
npm run tauri build  # Production build

Option 3: Chrome Extension (Web Clipper)

  1. Open chrome://extensions
  2. Enable "Developer mode" (top-right toggle)
  3. Click "Load unpacked" and select the extension/ directory from the cloned repo
  4. The extension communicates with the app via the local HTTP API on port 19827

Quick Start Guide

Step 1: Launch and Configure

  1. Launch LLM Wiki — you'll be greeted with a project creation dialog
  2. Choose a scenario template that fits your use case: Research, Reading, Personal Growth, Business, or General
  3. Go to Settings (gear icon in the sidebar) and configure:
    • LLM Provider: Select your provider (OpenAI, Anthropic, Google, Ollama, or Custom)
    • API Key: Enter your API key
    • Model: Choose your preferred model (e.g., gpt-4o, claude-sonnet-4-20250514, gemini-2.5-flash)
    • Context Window: Adjust the slider from 4K to 1M tokens depending on your model's capabilities

Step 2: Import Documents

  1. Click the Sources icon in the sidebar
  2. Drag and drop files or click to upload — supported formats include PDF, DOCX, PPTX, XLSX, Markdown, and images
  3. You can also import an entire folder recursively using the Folder Import button
  4. Optional: enable Source Folder Auto-Watch in Settings to automatically pick up files added, edited, or deleted in raw/sources/

Step 3: Watch the Wiki Build Itself

  1. Once documents are queued, the Activity Panel shows real-time ingest progress
  2. Each file goes through the two-step pipeline: first analysis, then generation
  3. The LLM creates entity pages, concept pages, updates the index, and cross-references everything
  4. You can browse the growing wiki in real time — switch to the Wiki view to see pages being created
  5. Click the Graph icon to watch the knowledge graph expand as connections form

Step 4: Query Your Knowledge Base

  1. Go to the Chat (center panel) and start asking questions
  2. The LLM searches the wiki using a multi-phase pipeline:
    • Tokenized keyword search + optional vector search
    • Graph expansion (2-hop traversal using the 4-signal relevance model)
    • Budget-controlled context assembly (60% wiki pages, 20% chat history, 5% index, 15% system)
  3. Responses include numbered citations linking back to specific wiki pages
  4. Use the Save to Wiki button to archive valuable answers as new wiki pages

Step 5: Explore the Knowledge Graph

  1. Open the Graph view to see how all your pages connect
  2. Toggle between Type (entity/concept/source) and Community (Louvain clusters) coloring
  3. Hover over nodes to see neighbors highlighted and non-neighbors dimmed
  4. Check Graph Insights for:
    • Surprising Connections — unexpected relationships between pages
    • Knowledge Gaps — isolated pages, sparse communities, bridge nodes

Step 6: Deep Research

When the LLM identifies knowledge gaps during ingest, it generates research topics:

  1. Go to the Deep Research panel
  2. Review the suggested topics and search queries (editable)
  3. LLM-supported web search (via Tavily, SerpApi, or SearXNG) finds relevant sources
  4. Results are synthesized into wiki research pages with cross-references
  5. Research output is automatically ingested into the wiki

Step 7: Web Clipper

  1. Install the Chrome Extension (see Installation section)
  2. Navigate to any web article
  3. Click the LLM Wiki extension icon
  4. Choose which project to clip into
  5. The article is extracted (ads, nav, sidebars removed), converted to Markdown, and auto-ingested
  6. The clip watcher polls every 3 seconds and processes new clips automatically

Step 8: Agent Integration

LLM Wiki ships a local HTTP API at http://127.0.0.1:19828:

  1. Enable the API server in Settings → API Server
  2. Generate an access token
  3. Install the agent skill into Claude Code / Codex:
npx skills add https://github.com/nashsu/llm_wiki_skill.git --skill llm_wiki_skill
  1. Now your AI agent can query your wiki: "What does my LLM Wiki say about transformer architectures?" or "Search my wiki for recent papers on attention mechanisms"

Configuration Details

Context Window Budget

The context window is allocated proportionally:

  • 60% — Wiki pages (prioritized by combined search + graph relevance)
  • 20% — Chat history
  • 5% — Index (content catalog)
  • 15% — System prompt (purpose, schema, language rules, citation format)

Multi-Provider LLM Support

Provider Streaming Notes
OpenAI ✅ GPT-4o, GPT-4o-mini, o3, o4-mini
Anthropic ✅ Claude Sonnet 4, Haiku 3.5
Google ✅ Gemini 2.5 Flash, Gemini 2.5 Pro
Ollama ✅ Local models via Ollama
Custom ✅ Any OpenAI-compatible endpoint

Web Search Providers

Provider API Key Required Notes
Tavily ✅ Optimized for LLM search
SerpApi ✅ Multi-engine support
SearXNG ❌ (self-hosted) Open-source meta search engine

Verification Checklist

When querying your wiki, verify that:

  • Your LLM provider is correctly configured in Settings
  • Documents appear in the Sources view with processing status
  • Wiki pages are being generated with proper YAML frontmatter
  • The knowledge graph shows connections between pages
  • Search returns relevant results (both keyword and vector if enabled)
  • Chat responses cite specific wiki pages
  • The Chrome extension successfully clips web pages
  • The local HTTP API responds on port 19828
  • Agent skill successfully queries the wiki

Resources

← Retour au Blog

LLM Wiki : Votre Base de Connaissances Personnelle Auto-Construite (Guide Complet)

2026-05-23

LLM Wiki : Votre Base de Connaissances Personnelle Auto-Construite (Guide Complet)

Qu'est-ce que LLM Wiki ?

Andrej Karpathy a publié un gist au début de 2026 intitulé "LLM Wiki" — un modèle pour construire des bases de connaissances personnelles à l'aide d'LLM. L'idée centrale était simple mais puissante : au lieu de retrouver des fragments bruts de vos documents à chaque requête (l'approche RAG traditionnelle), faites en sorte que l'LLM construise et maintienne progressivement un wiki persistant — une collection structurée et interconnectée de fichiers markdown qui fait le pont entre vous et vos sources brutes.

nashsu a transformé ce modèle abstrait en une application de bureau multiplateforme complète construite avec Tauri v2. Ce n'est pas juste une enveloppe autour de l'idée — elle ajoute un pipeline d'ingestion en deux étapes avec chaîne de réflexion, un graphe de connaissances à 4 signaux avec détection de communautés Louvain, un Web Clipper Chrome, une recherche vectorielle optionnelle via LanceDB, un système de révision, des capacités de recherche approfondie, et une API HTTP locale permettant à vos agents IA d'interroger directement votre base de connaissances.

Le résultat : vous déposez des documents, l'LLM les lit, extrait les entités et concepts, met à jour les références croisées, maintient l'index, et garde tout cohérent. Vous n'écrivez jamais une page wiki vous-même. Le wiki compile tout ce que vous avez lu et s'enrichit à chaque nouvelle source ajoutée.

Pourquoi est-ce Tendance ?

LLM Wiki a accumulé plus de 8 900 étoiles GitHub en un peu plus d'un mois depuis sa sortie initiale en avril 2026. Il est en tendance sur GitHub car il résout un vrai problème : la gestion des connaissances ne passe pas à l'échelle manuellement, et le RAG est un piètre substitut à une vraie base de connaissances.

Les systèmes RAG (téléchargements de fichiers ChatGPT, NotebookLM, la plupart des stacks RAG d'entreprise) réinventent les réponses à partir de zéro à chaque requête. Ils n'accumulent rien. Posez une question subtile nécessitant la synthèse de cinq documents, et l'LLM doit retrouver et assembler les fragments pertinents à chaque fois. Rien n'est construit.

LLM Wiki inverse ce modèle : la connaissance est compilée une fois et maintenue à jour. Les références croisées sont déjà là. Les contradictions sont déjà signalées. La synthèse reflète déjà tout ce que vous avez lu.

Le fait qu'il s'agisse d'une application de bureau soignée (pas juste un script CLI) avec la compatibilité Obsidian, une visualisation du graphe de connaissances et une extension Chrome le rend immédiatement utile pour les chercheurs, étudiants, écrivains et toute personne faisant de la lecture approfondie sur des sujets complexes.

Architecture

Architecture LLM Wiki

LLM Wiki suit une architecture à trois couches héritée du modèle original de Karpathy, avec une couche applicative de bureau par-dessus.

Les Trois Couches

Couche Sources Brutes — Votre collection organisée de documents (PDF, DOCX, PPTX, Markdown, images, clips web). Ces documents sont immuables : l'LLM les lit mais ne les modifie jamais. Les sources sont organisées dans raw/sources/ avec des raw/assets/ optionnels pour les images locales.

Couche Wiki — Un répertoire de fichiers markdown générés par l'LLM, organisés en entités, concepts, résumés de sources, comparaisons, synthèses et requêtes sauvegardées. Chaque page a un frontmatter YAML avec sources: [] reliant aux documents bruts. L'LLM crée, met à jour et établit les références croisées automatiquement. Le wiki est également entièrement compatible Obsidian — vous pouvez l'ouvrir comme un coffre Obsidian et utiliser la vue graphe, les requêtes Dataview et les raccourcis clavier.

Couche Schéma — Deux fichiers de configuration qui définissent le fonctionnement du wiki : purpose.md (objectifs, questions clés, thèse évolutive) et schema.md (règles structurelles, types de pages, conventions). Ces fichiers guident le comportement de l'LLM lors de chaque ingestion et requête.

L'Application de Bureau

Au-dessus de ces couches se trouve l'application de bureau Tauri v2 avec :

  • Disposition à trois colonnes : Arbre de Connaissances / Arborescence de Fichiers (gauche) + Chat (centre) + Aperçu (droite)
  • Barre latérale d'icônes pour basculer entre Wiki, Sources, Recherche, Graphe, Lint, Révision, Recherche Approfondie, Paramètres
  • Panneau d'Activité — progression en temps réel de l'ingestion fichier par fichier
  • État persistant — conversations, paramètres, éléments de révision survivent aux redémarrages
  • Modèles de scénarios — Recherche, Lecture, Développement Personnel, Professionnel, Général

Pipeline d'Ingestion en Deux Étapes

C'est l'innovation centrale par rapport au modèle original. Au lieu d'un seul appel LLM qui lit et écrit simultanément :

Étape 1 (Analyse) — L'LLM lit la source et produit une analyse structurée : entités clés, concepts, arguments, connexions avec le contenu wiki existant, contradictions avec les connaissances existantes, recommandations pour la structure du wiki.

Étape 2 (Génération) — L'LLM prend l'analyse et génère les fichiers wiki : résumé de source avec frontmatter, pages d'entités, pages de concepts avec références croisées, index.md mis à jour, log.md, overview.md, et éléments de révision pour jugement humain.

Améliorations supplémentaires : cache incrémental SHA256 (les fichiers inchangés sont ignorés), file d'attente d'ingestion persistante avec reprise après crash et réessai automatique, importation de dossiers préservant la structure, surveillance automatique du dossier source, et génération adaptée à la langue.

Graphe de Connaissances & Recherche Vectorielle

Le modèle de pertinence à 4 signaux calcule les connexions entre les pages :

Signal Poids Description
Liens directs ×3.0 [[wikilinks]] entre pages
Source commune ×4.0 Pages partageant la même source brute
Adamic-Adar ×1.5 Pages partageant des voisins communs
Affinité de type ×1.0 Même type de page (entité↔entité)

Le graphe est visualisé avec sigma.js + ForceAtlas2 : couleurs des nœuds par type ou communauté, épaisseur des arêtes par poids de pertinence, interactions au survol, et détection de communautés Louvain qui découvre automatiquement les clusters de connaissances avec score de cohésion.

La recherche vectorielle optionnelle via LanceDB utilise n'importe quel endpoint d'embedding compatible OpenAI, améliorant le rappel de 58,2 % à 71,4 %.

Prérequis

  • Un ordinateur sous macOS, Windows ou Linux
  • Une clé API d'un fournisseur LLM : OpenAI, Anthropic (Claude), Google (Gemini), Ollama (local), ou tout endpoint compatible OpenAI personnalisé
  • Node.js 20+ et Rust 1.70+ (uniquement pour la compilation depuis les sources)
  • Optionnel : Une clé API de recherche web (Tavily, SerpApi, ou une instance SearXNG) pour la Recherche Approfondie
  • Optionnel : Navigateur Chrome pour l'extension Web Clipper

Installation

Option 1 : Binaire Pré-Compilé (Recommandé)

  1. Allez sur la page des Releases
  2. Téléchargez le paquet approprié pour votre OS :
    • macOS : LLM.Wiki-*-aarch64.dmg (Apple Silicon) ou LLM.Wiki_*_amd64.dmg
    • Windows : LLM.Wiki_*_x64_en-US.msi ou LLM.Wiki_*_x64-setup.exe
    • Linux : LLM.Wiki_*_amd64.deb (Debian/Ubuntu), LLM.Wiki_*_x86_64.rpm (Fedora), ou LLM.Wiki_*_amd64.AppImage (universel)
  3. Installez et lancez l'application

Option 2 : Compilation depuis les Sources

git clone https://github.com/nashsu/llm_wiki.git
cd llm_wiki
npm install
npm run tauri dev    # Mode développement
# ou
npm run tauri build  # Compilation production

Option 3 : Extension Chrome (Web Clipper)

  1. Ouvrez chrome://extensions
  2. Activez le "Mode développeur" (interrupteur en haut à droite)
  3. Cliquez sur "Charger l'extension non empaquetée" et sélectionnez le dossier extension/ du dépôt cloné
  4. L'extension communique avec l'application via l'API HTTP locale sur le port 19827

Guide de Démarrage Rapide

Étape 1 : Lancement et Configuration

  1. Lancez LLM Wiki — un dialogue de création de projet s'affiche
  2. Choisissez un modèle de scénario adapté à votre cas : Recherche, Lecture, Développement Personnel, Professionnel ou Général
  3. Allez dans Paramètres (icône engrenage dans la barre latérale) et configurez :
    • Fournisseur LLM : Sélectionnez votre fournisseur (OpenAI, Anthropic, Google, Ollama ou Personnalisé)
    • Clé API : Entrez votre clé API
    • Modèle : Choisissez votre modèle préféré
    • Fenêtre de Contexte : Ajustez le curseur de 4K à 1M tokens selon les capacités de votre modèle

Étape 2 : Importation de Documents

  1. Cliquez sur l'icône Sources dans la barre latérale
  2. Glissez-déposez des fichiers ou cliquez pour importer — formats supportés : PDF, DOCX, PPTX, XLSX, Markdown et images
  3. Vous pouvez aussi importer un dossier entier récursivement avec le bouton Importation de Dossier
  4. Optionnel : activez la Surveillance Automatique du Dossier Source dans Paramètres

Étape 3 : Regardez le Wiki se Construire

  1. Une fois les documents en file d'attente, le Panneau d'Activité montre la progression en temps réel
  2. Chaque fichier passe par le pipeline en deux étapes : d'abord l'analyse, puis la génération
  3. L'LLM crée des pages d'entités, des pages de concepts, met à jour l'index et établit les références croisées
  4. Vous pouvez parcourir le wiki en pleine croissance en temps réel
  5. Cliquez sur l'icône Graphe pour regarder le graphe de connaissances s'étendre

Étape 4 : Interrogez votre Base de Connaissances

  1. Allez dans le Chat (panneau central) et commencez à poser des questions
  2. L'LLM recherche dans le wiki via un pipeline multi-phase :
    • Recherche par mots-clés tokenisés + recherche vectorielle optionnelle
    • Expansion du graphe (parcours à 2 sauts utilisant le modèle de pertinence à 4 signaux)
    • Assemblage du contexte contrôlé par budget
  3. Les réponses incluent des citations numérotées liées à des pages wiki spécifiques
  4. Utilisez le bouton Sauvegarder dans le Wiki pour archiver les réponses précieuses

Étape 5 : Explorez le Graphe de Connaissances

  1. Ouvrez la vue Graphe pour voir comment toutes vos pages se connectent
  2. Basculez entre le coloriage par Type et par Communauté (clusters Louvain)
  3. Survolez les nœuds pour voir les voisins mis en évidence
  4. Consultez les Insights du Graphe pour découvrir des connexions surprenantes et des lacunes de connaissances

Étape 6 : Recherche Approfondie

  1. Allez dans le panneau Recherche Approfondie
  2. Examinez les sujets suggérés et les requêtes de recherche (modifiables)
  3. La recherche web assistée par LLM trouve des sources pertinentes
  4. Les résultats sont synthétisés en pages de recherche wiki avec références croisées

Étape 7 : Web Clipper

  1. Installez l'extension Chrome
  2. Naviguez vers n'importe quel article web
  3. Cliquez sur l'icône de l'extension LLM Wiki
  4. Choisissez dans quel projet clipper
  5. L'article est extrait, converti en Markdown et automatiquement ingéré

Étape 8 : Intégration avec un Agent IA

LLM Wiki fournit une API HTTP locale sur http://127.0.0.1:19828 :

  1. Activez le serveur API dans Paramètres → Serveur API
  2. Générez un jeton d'accès
  3. Installez la compétence agent dans Claude Code / Codex :
npx skills add https://github.com/nashsu/llm_wiki_skill.git --skill llm_wiki_skill
  1. Votre agent IA peut maintenant interroger votre wiki

Détails de Configuration

Budget de la Fenêtre de Contexte

La fenêtre de contexte est allouée proportionnellement :

  • 60 % — Pages wiki (priorisées par la combinaison recherche + pertinence du graphe)
  • 20 % — Historique du chat
  • 5 % — Index (catalogue de contenu)
  • 15 % — Prompt système (objectif, schéma, règles linguistiques, format de citation)

Support Multi-Fournisseur LLM

Fournisseur Streaming Notes
OpenAI ✅ GPT-4o, GPT-4o-mini, o3, o4-mini
Anthropic ✅ Claude Sonnet 4, Haiku 3.5
Google ✅ Gemini 2.5 Flash, Gemini 2.5 Pro
Ollama ✅ Modèles locaux via Ollama
Personnalisé ✅ Tout endpoint compatible OpenAI

Fournisseurs de Recherche Web

Fournisseur Clé API Requise Notes
Tavily ✅ Optimisé pour la recherche LLM
SerpApi ✅ Support multi-moteur
SearXNG ❌ (auto-hébergé) Méta-moteur de recherche open-source

Liste de Vérification

  • Votre fournisseur LLM est correctement configuré dans Paramètres
  • Les documents apparaissent dans la vue Sources avec leur statut de traitement
  • Les pages wiki sont générées avec un frontmatter YAML approprié
  • Le graphe de connaissances montre des connexions entre les pages
  • La recherche retourne des résultats pertinents
  • Les réponses du chat citent des pages wiki spécifiques
  • L'extension Chrome fonctionne correctement
  • L'API HTTP locale répond sur le port 19828
  • La compétence agent interroge le wiki avec succès

Ressources