Barrel
EN GitHub

Contextes et ensembles de travail

Les données tiennent rarement dans une seule base. Une équipe de support peut garder les tickets européens sur un serveur et les tickets américains sur un autre, et un agent qui doit répondre à « quels tickets ont pris le plus de temps » a besoin des deux. Interroger chaque serveur l’un après l’autre puis recoller les réponses demande du travail, et quand un serveur est arrêté, il faut aussi savoir ce qui manque à la réponse. Les contextes vous permettent de poser la question une seule fois, par nom, et d’obtenir une seule réponse qui dit ce qu’elle couvre.

Un contexte est un jeu de données nommé (une base Barrel aujourd’hui) qui vit sur ce nœud, sur un autre barrel_server, ou dans un snapshot importé. Vous lui enregistrez une fiche, puis vous lancez une seule instruction BQL sur plusieurs contextes désignés par leur nom, et vous obtenez une seule réponse qui indique quels contextes ont répondu et ce que couvre chaque réponse. Un ensemble de travail est la liste des contextes avec lesquels vous travaillez, dont certains sont enregistrés en local pour répondre hors ligne. Lisez cette page pour connaître le modèle et ses limites avant de suivre Interroger plusieurs jeux de données.

Le modèle

Chaque terme ci-dessous est une étape de ce parcours : les fiches disent où vivent les données, une requête de contexte pose la question, et un ensemble de travail garde à portée de main les contextes dont vous avez besoin.

TermeCe que c’est
FicheUn document du catalogue du nœud (_barrel_catalog) : un nom comme support/eu, un id ctx_..., un ou plusieurs emplacements, et en option un titre, des sujets et un embedding. Les fiches ne contiennent jamais de secrets.
Emplacementlocal (une base sur ce nœud), remote (un point d’accès et une base sur un autre serveur) ou snapshot (un export importé)
Requête de contexteUne instruction BQL, la liste des contexts (ou un working_set), et la façon de fusionner les réponses
Ensemble de travailUne liste de contextes. Un membre peut être distant, une tranche enregistrée de résultats de requête, ou un snapshot importé
TrancheLes documents qu’une requête a renvoyés d’un contexte, enregistrés dans une base locale
SnapshotUne copie en lecture seule d’une base, faite avec barrel_ctx_export:export/3 et importée sur un autre nœud

Comment une requête s’exécute

BQL n’a pas de syntaxe pour les contextes. Vous les nommez dans la requête, à côté de l’instruction. Chaque membre exécute la même instruction (le nom de collection après FROM est ignoré), en parallèle, dans des budgets, et le nœud fusionne les lignes.

Cette requête demande aux deux contextes de support leurs deux tickets les plus longs, et les fusionne en une seule liste, du plus long au plus court :

{ok, R} = barrel_ctx:query(#{
    query => <<"SELECT id, subject, minutes FROM c "
               "ORDER BY minutes DESC LIMIT 2">>,
    contexts => [<<"support/eu">>, <<"support/us">>]}).

La réponse porte execution (succeeded, partial ou failed), rows ou groups, une entrée sources par contexte, coverage, et un summary d’un paragraphe. Un contexte qui ne répond pas est signalé dans son entrée de source, et non comme une requête en échec. Si support/us est arrêté, vous recevez quand même les lignes européennes, avec execution à partial et la raison dans l’entrée de source de support/us.

Règles :

  • Une requête de lignes exige LIMIT (au plus 1000). Ajoutez ORDER BY sur un champ sélectionné pour fusionner les lignes dans l’ordre.
  • Les réponses de bm25_top_k et hybrid_top_k restent groupées par contexte ; elles ne sont jamais fusionnées en un seul classement. Les scores BM25 dépendent des statistiques propres à chaque base : les scores de deux contextes ne sont donc pas comparables.
  • Refusés : SUBSCRIBE, OFFSET, UNNEST, les continuations, et les fusions rrf et rerank.
  • Budgets par défaut : 8 contextes par requête, une échéance de 5 s (60 s au plus), 4 s par membre, 8 membres en parallèle (16 au plus).

Ce qui est implémenté aujourd’hui

Fonctionne aujourd’hui
  • Le catalogue : enregistrer, lister, inspecter, découvrir par sujet, désenregistrer.
  • Les requêtes de contexte sur des membres locaux, distants et snapshots, depuis Erlang (barrel_ctx), REST (/contexts/_query) et MCP (context_query).
  • Les ensembles de travail : attacher et détacher des membres, matérialiser des tranches à partir d’une requête, importer des snapshots, mode hors ligne qui ignore les membres distants.
  • L’export et l’import en lecture seule de snapshots.
  • Les identifiants des serveurs distants dans la configuration du nœud (ctx_credentials), jamais dans les fiches.

Ce qui est prévu

Prévu

Rien de tout cela n’existe encore. Ces points sont listés dans la conception des contextes, sous « Not supported yet ».

  • La fédération en direct (SUBSCRIBE sur plusieurs contextes).
  • Le classement BM25 et hybride sur plusieurs contextes, qui demande des statistiques BM25 partagées ; les fusions rrf et rerank.
  • Le contrôle de la propriété des ensembles de travail : le libellé owner est stocké, pas vérifié. N’importe quel principal global peut lire ou supprimer n’importe quel ensemble de travail.
  • Une permission de requête seule : un droit qui permet d’interroger une source sans copier depuis elle.
  • Un catalogue partagé ou répliqué ; aujourd’hui chaque nœud a le sien, rempli à la main.
  • La publication de générations et de paquets d’index ngram vers un stockage objet.
  • La réutilisation des connexions et des options TLS dans le client distant.
  • Les sous-ensembles continus, les snapshots par prédicat, la pagination et la déduplication entre réplicas.
  • Des routes REST et MCP pour mettre à jour une fiche (barrel_ctx:update/2 est en Erlang seulement), et des outils MCP pour enregistrer et désenregistrer.

Notes

  • barrel_ctx_export:export/3 refuse une base sans stockage vectoriel ({error, no_vector_store}).
  • Un snapshot importé s’ouvre en lecture seule ; ce n’est pas une restauration.
  • Les routes d’enregistrement, de suppression et d’ensembles de travail exigent le jeton global sur barrel_server ; l’interrogation est ouverte aux jetons de capacité, et chaque membre local est alors vérifié comme une requête sur cette base.
  • La conception se trouve dans Conception des contextes.

Traduit de la page anglaise: /docs/concepts/contexts/ Modifier cette page Voir en Markdown

Haut et bas pour se déplacerEntrée pour ouvrir