Barrel
EN GitHub

Configuration

Cette page liste les options que vous passez à l’ouverture d’une base, et les clés que chaque application Barrel lit dans son environnement (sys.config), avec leurs valeurs par défaut. Servez-vous-en comme aide-mémoire ; les guides expliquent quand modifier chacune.

Ouvrir une base

barrel:open/2 prend une map, avec une sous-map par couche :

{ok, Db} = barrel:open(<<"notes">>, #{
    docdb => #{retention_period => 2592000},
    vectordb => #{db_path => "/var/lib/app/vec/notes",
                  dimensions => 768,
                  bm25_backend => disk},
    encryption => default
}).
CléDéfautSignification
docdb#{}Les options du magasin de documents, ci-dessous
vectordb#{}La configuration du magasin de vecteurs, ci-dessous, ou none pour les documents seuls
embeddingaucunUne politique d’embedding : la base tourne en mode enregistrement. stored rouvre avec la politique que la base a sauvegardée.
encryptiondisableddefault (clé tirée de BARREL_ENCRYPTION_KEY) ou #{provider => Mod}. Passez-la à chaque ouverture. Voir Chiffrement.
read_onlyfalseOuvre les deux magasins en lecture seule
store_supervisedfalseSupervise le magasin de vecteurs au lieu de le lier à l’appelant

Magasin de documents (docdb)

Ce sont les options de barrel_docdb:create_db/2. encryption, read_only, channels, conflict_resolver et les réglages de rétention ne sont pas stockés : passez-les à nouveau à chaque ouverture.

CléDéfautSignification
data_dirle data_dir de l’environnement applicatifDossier parent de la base
att_optsblob dans RocksDBBackend des pièces jointes : #{backend => none}, ou #{backend => s3, s3 => #{bucket => ...}} avec barrel_att_s3
retention_period2592000 (30 jours, en secondes)Historique conservé pour l’audit et les branches à un instant donné ; 0 garde tout et désactive la purge
retention_check_interval600000 msFréquence de la purge de rétention
ttl_sweep_interval0 (désactivé)Fréquence de suppression des documents expirés
ttl_sweep_batch512Documents supprimés par étape de purge
tombstone_purge_after0 (conserver)Purge les stubs de suppression après ce nombre de secondes
channelsaucun#{Name => [Pattern]}, fixé à la création
conflict_resolveraucunUn résolveur pour les versions concurrentes
max_conflict_versions8Versions concurrentes conservées par document
max_group, write_chunk256, 16Tailles du group commit
stats_interval60000 msFréquence de mise à jour des gauges de taille et de compaction ; 0 la désactive
att_upload_timeout3600 sDurée maximale pendant laquelle un envoi de pièce jointe peut rester ouvert
store_opts#{}Options RocksDB, voir ci-dessous

Les principales clés de store_opts. Chacune s’applique à toutes les familles de colonnes du stockage des documents : la mémoire des memtables d’une base peut donc atteindre write_buffer_size × max_write_buffer_number × 4.

CléDéfautRôle
compression, bottommost_compressionzstdrocksdb inclut toujours zstd. snappy et lz4 ne marchent que si rocksdb a été compilé avec la bibliothèque du système.
bloom_bits10Bits par clé du filtre de Bloom : la lecture d’une clé absente évite les fichiers qui ne peuvent pas la contenir
block_size4096Taille d’un bloc de table, en octets
write_buffer_size64 MioTaille d’une memtable avant écriture sur disque
max_write_buffer_number2Memtables par famille de colonnes avant que les écritures attendent un flush
min_tombstones_for_range_conversion64Une suite d’au moins ce nombre de suppressions devient une seule suppression de plage au flush, et les lectures la sautent d’un coup. 0 la désactive.
use_direct_io_for_compaction_readsfalseLes compactions lisent en I/O directe et laissent le cache de pages à vos lectures. Acceptée aussi dans att_opts. Demande un système de fichiers qui gère l’I/O directe (pas tmpfs).

prune_depth, compaction_interval et compaction_size_threshold n’ont plus d’effet depuis la 2.2.0 ; une base qui les reçoit écrit un avertissement dans le journal.

Magasin de vecteurs (vectordb)

CléDéfautSignification
db_path (ou path)<data_dir>/<name>.vectordb, à côté des documentsEmplacement du magasin. Un magasin créé avant barrel 1.13.0 dans priv/barrel_vectordb_<name> sous le répertoire de travail continue d’y être utilisé.
dimensions (ou dimension)768Taille des vecteurs
embedderaucunUn fournisseur barrel_embed, comme {ollama, #{model => <<"nomic-embed-text">>}}. Sans lui, les appels texte renvoient embedder_not_configured.
backendhnswhnsw, diskann, ou faiss (demande barrel_faiss)
hnsw#{m => 16, ef_construction => 200}Accepte aussi distance_fn (cosine ou euclidean) et quantization (scalar par défaut, turboquant, subspace_turboquant, none)
diskann#{r, l, base_path}
faiss#{index_type => <<"HNSW32">>}Accepte aussi nprobe
bm25_backendnone ; disk en mode enregistrementmemory ou disk active la recherche par mots-clés
read_onlyfalseRefuse les écritures

Politique d’embedding (embedding)

CléDéfautSignification
fieldsle document entierChemins dont le texte est transformé en embedding
join<<"\n">>Séparateur entre les champs
modeasyncsync calcule l’embedding avant que l’écriture ne rende la main
embedderLe fournisseur barrel_embed
dimensions768Doit correspondre au modèle
metadata_fieldsle document sans id ni les clés _Champs renvoyés comme métadonnées de recherche

Les autres clés sont refusées avec {error, {unknown_options, Keys}}.

Environnement applicatif

Définissez ces clés dans sys.config. Les chemins sont relatifs au répertoire de travail du nœud, sauf si vous les donnez en absolu.

barrel_server

CléDéfautSignification
http_port8080Port de l’écoute HTTP en clair, quand listeners n’est pas défini
listenersune écoute HTTP/1.1#{http => ..., https => ..., http3 => ...}
tlsaucun#{certfile, keyfile, cacertfile, verify, ssl_opts}
data_dircelui de barrel_docdbCopié dans le data_dir de barrel_docdb au démarrage. Les magasins de vecteurs le suivent, dans <data_dir>/<name>.vectordb.
open_opts#{}Options de barrel:open/2 pour chaque base que le serveur ouvre
authaucun (serveur ouvert)#{tokens => [...]}, ou #{accept => [bearer, signed, mtls], signers => ..., skew_ms => 300000, require_nonce => ...}. Voir Authentification.
corsaucun#{origins, expose, max_age} ; nécessaire pour barrel-lite
mcp#{}#{enabled => true, allowed_origins, allow_missing_origin, resources => full | live_only, live}. Voir le guide MCP.
max_body1 GioPlus grand corps de requête
sig_replay_sweep_ms60000Fréquence de purge des nonces de signature déjà vus
[{barrel_server, [
    {http_port, 8080},
    {data_dir, "/var/lib/barrel"},
    {auth, #{tokens => [<<"change-me">>]}},
    {cors, #{origins => [<<"https://app.example">>]}}
 ]}].

Le serveur définit aussi le task_db_opener de barrel_docdb, pour que les tâches de réplication restaurées après un redémarrage ouvrent leurs bases comme le fait le serveur.

barrel_docdb

CléDéfautSignification
data_dir"data/barrel_docdb"Emplacement des bases
default_storebarrel_store_rocksdbModule de stockage
block_cache_size512 MioCache de blocs RocksDB partagé par toutes les bases
block_cache_typeclockType de cache
query_timeout_ms30000Échéance des requêtes
hlc_max_offset0 (désactivé)Plus grand décalage d’horloge accepté d’un pair, en ms
body_async_iofalseExpérimental
metrics[][{exporter, none | console | otlp | {Mod, Map}}, {otlp_endpoint, Url}, {otlp_headers, #{}}, {otlp_compression, none | gzip}]
tracing[][{enabled, true}, {exporter, ...}, {otlp_endpoint, Url}]
logging[][{exporter, none | console | file | otlp | {Mod, Map}}, {file_path, ...}, {file_format, text | json}, ...]
sync_auth, sync_signing, sync_ssl#{}Identifiants pour la réplication HTTP, par origine ou par URL de base
task_db_openeraucun{Mod, Fun} qui ouvre une base pour une tâche restaurée

Voir Supervision pour les exporters.

barrel

CléDéfautSignification
dbs_idle_timeout300000 msbarrel_dbs ferme une base inutilisée après ce délai ; 0 jamais
dbs_max_open0 (sans limite)Nombre maximal de bases que barrel_dbs garde ouvertes
dbs_evict_guard5000 msÀ la limite dbs_max_open, seule une base inactive depuis ce délai est évincée ; sinon l’ouverture échoue avec too_many_open_dbs
ctx_max_contexts8Contextes par requête
ctx_deadline_ms5000 (60000 au plus)Échéance des requêtes de contexte
ctx_member_timeout_ms4000Temps accordé à chaque membre
ctx_max_parallel8 (16 au plus)Membres interrogés en même temps
ctx_offlinefalseDémarre en mode hors ligne
ctx_catalog_db_barrel_catalogBase qui contient les fiches de contexte
ctx_dir<docdb data_dir>/_ctxTranches et imports
ctx_credentials#{}Identifiants pour les contextes distants

barrel_embed

CléDéfautSignification
managed_venvtrueCrée un venv Python et installe les paquets des fournisseurs à la première utilisation ; false utilise votre propre python
venv_dir<priv>/.venvEmplacement du venv géré

barrel_crypto

CléDéfautSignification
encryption_keyaucunSecret maître quand BARREL_ENCRYPTION_KEY n’est pas défini : 32 octets, 64 caractères hexadécimaux ou une phrase de passe
encryption_saltbarrel_default_salt_v1Sel quand BARREL_ENCRYPTION_SALT n’est pas défini

barrel_spaces

CléDéfautSignification
registry_db_barrel_spacesLa base de registre
embedderaucunEmbedder utilisé pour rouvrir les espaces en mode enregistrement
janitor_interval300000 msFréquence de suppression des restes des sessions expirées

barrel_ngram

CléDéfautSignification
data_dir"data/barrel_ngram"Emplacement des index ; tout le reste se règle par corpus

barrel_att_s3

CléDéfautSignification
multipart_gc_interval1 heure, en ms ; 0 désactivéPurge des envois multipart abandonnés
multipart_gc_max_age24 heures, en secondesÂge au-delà duquel un envoi est considéré abandonné

barrel_rerank

CléDéfautSignification
venv_pathundefined, c’est-à-dire priv/.venv de l’applicationEmplacement du virtualenv. Réglez-le après application:load/1 et avant le démarrage de l’application.

barrel_vectordb

Son .app.src déclare default_dimensions, default_embedder, hnsw_m, hnsw_ef_construction, hnsw_ef_search et embed_cache_size, mais aucune n’est lue. Réglez-les par magasin dans vectordb.

Traduit de la page anglaise: /docs/reference/configuration/ Modifier cette page Voir en Markdown

Haut et bas pour se déplacerEntrée pour ouvrir