barrel_embed
Des embeddings de texte et d’image pour Erlang, depuis des modèles locaux ou des API cloud, avec une chaîne de fournisseurs qui passe au suivant quand l’un est indisponible.
Ce qu’elle résout
La recherche vectorielle a besoin d’embeddings, et la bonne source change : un modèle local sur un portable, Ollama sur un serveur, une API cloud en production. barrel_embed place toutes les sources derrière un seul appel, si bien que barrel et barrel_vectordb prennent une configuration embedder et n’appellent jamais un modèle directement.
Quand l’utiliser
- Vous voulez le mode enregistrement ou la recherche par texte dans barrel ou barrel_vectordb.
- Vous voulez une solution de repli : essayer d’abord un modèle local, puis un autre fournisseur.
- Vous avez votre propre modèle et voulez le brancher comme module fournisseur.
Quand ne pas l’utiliser
- Vous calculez les vecteurs ailleurs et les transmettez : vous pouvez vous passer de fournisseur (barrel_vectordb inclut quand même cette bibliothèque).
Sa place dans Barrel
- Repose sur
- Aucune autre bibliothèque Barrel
- Utilisée par
barrel,barrel_vectordb- Autres dépendances
- hackney ; Python 3 pour les fournisseurs Python locaux
- Seule
- Oui. Sa seule dépendance est hackney.
Installation
{barrel_embed, "~> 2.6"} Configuration
Configuration de init/1
| Clé | Défaut | Rôle |
|---|---|---|
embedder | aucun | {Provider, Opts} ou une liste pour une chaîne de repli ; sans rien, {ok, undefined} |
dimensions | 768 | Renvoyé par dimension/1 ; fixez-le selon le modèle |
batch_size | 32 | Taille des lots pour embed_batch |
Fournisseurs (modèle par défaut, dimension)
| Clé | Défaut | Rôle |
|---|---|---|
local | BAAI/bge-base-en-v1.5, 768 | sentence-transformers dans un venv Python géré |
ollama | nomic-embed-text, 768 | url par défaut http://localhost:11434 |
fastembed | BAAI/bge-small-en-v1.5, 384 | ONNX dans le venv |
openai | text-embedding-3-small, 1536 | api_key ou OPENAI_API_KEY |
cohere, voyage, jina, mistral | 1024 chacun | Clé d’API lue dans l’environnement |
azure, bedrock, vertex | voir la référence | Identifiants cloud |
splade, colbert, clip | creux, multi-vecteur, image | Appels spécialisés, venv Python |
Environnement de l’application (barrel_embed)
| Clé | Défaut | Rôle |
|---|---|---|
venv_dir | <priv>/.venv | venv Python géré |
managed_venv | true | false saute l’initialisation du venv |
Seulement les clés les plus utilisées. Pour toutes les options, voyez la référence de configuration et la référence de l’API.
L’API par tâche
Calculer des embeddings
| Tâche | Appel | Renvoie |
|---|---|---|
| Démarrer une chaîne de fournisseurs | barrel_embed:init/1 | {ok, State}, {ok, undefined} ou {error, no_providers_available} |
| Un texte | barrel_embed:embed/2 | {ok, [float()]} ou {error, all_providers_failed} |
| Plusieurs textes | barrel_embed:embed_batch/2,3 | {ok, [[float()]]} |
| Décrire | barrel_embed:info/1, describe/2, dimension/1 | #{configured, providers, dimension} |
| Libérer | barrel_embed:release/1 | ok |
Fournisseurs et venv
| Tâche | Appel | Renvoie |
|---|---|---|
| Écrire un fournisseur | behaviour barrel_embed_provider: name/0, dimension/1, embed/2, embed_batch/2 | init/1, available/1, model_info/1 en option |
| venv Python | barrel_embed:venv_path/0, refresh_venv/0, install_provider/1 | chemin, ok |
| Creux, multi-vecteur, image | barrel_embed_splade:embed_sparse/2, barrel_embed_colbert:embed_multi/2, barrel_embed_clip:embed_image/2 | prennent la configuration du fournisseur, pas l’état |
Votre propre fournisseur
Tout module qui implémente le behaviour peut être désigné comme fournisseur.
-module(my_embedder).
-behaviour(barrel_embed_provider).
-export([embed/2, embed_batch/2, dimension/1, name/0]).
embed(Text, _Config) ->
<<A:8, B:8, C:8, D:8, _/binary>> =
crypto:hash(sha256, Text),
{ok, [A / 255, B / 255, C / 255, D / 255]}.
embed_batch(Texts, Config) ->
{ok, [V || T <- Texts, {ok, V} <- [embed(T, Config)]]}.
dimension(_Config) -> 4.
name() -> my_embedder. Personnalisé, Ollama, et une chaîne de repli
D’après une exécution vérifiée, avec Ollama lancé en local et nomic-embed-text téléchargé.
{ok, _} = application:ensure_all_started(barrel_embed),
{ok, C} = barrel_embed:init(#{
embedder => {my_embedder, #{}}, dimensions => 4}),
io:format("custom: ~p~n",
[barrel_embed:embed(<<"hello">>, C)]),
{ok, O} = barrel_embed:init(#{
embedder => {ollama, #{model => <<"nomic-embed-text">>}},
dimensions => 768}),
{ok, V} = barrel_embed:embed(<<"hello">>, O),
io:format("ollama dim=~p~n", [length(V)]),
%% a chain: the first provider is down, the second answers
{ok, Ch} = barrel_embed:init(#{embedder => [
{ollama, #{url => <<"http://127.0.0.1:1">>}},
{my_embedder, #{}}]}),
io:format("chain: ~p~n",
[barrel_embed:embed(<<"hello">>, Ch)]),
io:format("not configured: ~p~n",
[barrel_embed:init(#{})]). custom: {ok,[0.17254901960784313,0.9490196078431372,
0.30196078431372547,0.7294117647058823]}
ollama dim=768
Provider barrel_embed_ollama not available, skipping
chain: {ok,[0.17254901960784313,0.9490196078431372,
0.30196078431372547,0.7294117647058823]}
not configured: {ok,undefined} Limites à connaître
dimension/1renvoie lesdimensionsconfigurées (768 par défaut), pas la taille du fournisseur. Passezdimensionsexplicitement, par exemple 384 pour bge-small.- Chaque appel d’embedding lance d’abord
available/1du fournisseur. Pour les fournisseurs cloud, c’est une requête HTTP de plus par appel. - La première initialisation d’un fournisseur Python peut installer des paquets avec pip et télécharger un modèle. Les paquets Python ne sont pas épinglés.
- Les fournisseurs cloud sont décrits d’après le code source ; ils n’ont pas été lancés avec des clés. fastembed, splade, colbert et clip n’ont pas été lancés.