Barrel
EN GitHub

barrel_rerank

Le reclassement par cross-encoder : une seconde passe qui réordonne les résultats d’une recherche vectorielle ou par mots-clés en lisant ensemble la requête et chaque candidat.

Ce qu’elle résout

La recherche de premier niveau est rapide mais approchée. Un cross-encoder note directement chaque paire requête et document, et place les meilleures réponses en tête. barrel_rerank fait tourner le modèle dans un port Python et y multiplexe les requêtes concurrentes.

Quand l’utiliser

  • Les premiers résultats d’une recherche vectorielle ou hybride sont proches, mais dans le mauvais ordre.
  • Vous pouvez payer un appel au modèle par requête, sur une courte liste de candidats.

Quand ne pas l’utiliser

  • Vous ne pouvez pas faire tourner Python avec transformers et torch (environ 2 Go) sur le nœud.
  • Il vous faut des scores entre 0 et 1 : les scores sont des logits bruts.

Sa place dans Barrel

Repose sur
Aucune autre bibliothèque Barrel
Utilisée par
Aucune autre bibliothèque Barrel n’en dépend
Optionnelle dans
barrel_vectordb
Autres dépendances
Python 3 avec transformers et torch ; un modèle HuggingFace téléchargé à la première utilisation
Seule
Oui, sans aucune dépendance Erlang. Il faut Python sur le nœud.

Installation

dépendances rebar.config
{barrel_rerank, "~> 1.0"}

Configuration

Configuration de start_link/1

CléDéfautRôle
python "python3" Donnez un chemin absolu si l’installation du venv échoue
model cross-encoder/ms-marco-MiniLM-L-6-v2 Identifiant de modèle HuggingFace
timeout 120000 ms Par requête

Environnement de l’application (barrel_rerank)

CléDéfautRôle
venv_path undefined (priv/.venv) Emplacement du virtualenv ; sans valeur, priv/.venv de l’application

Seulement les clés les plus utilisées. Pour toutes les options, voyez la référence de configuration et la référence de l’API.

L’API par tâche

Reclasser

TâcheAppelRenvoie
Démarrer un serveur de modèle barrel_rerank:start_link/1 {ok, Pid} ; non enregistré, un par appel
Reclasser des candidats barrel_rerank:rerank/3,4 {ok, [{Index, Score}]}, le meilleur en premier, index à partir de 0
Garder les k meilleurs option top_k les k premières paires
Décrire, vérifier barrel_rerank:info/1,2, available/1 {ok, #{model, type}}
Arrêter barrel_rerank:stop/1 ok
Venv barrel_rerank_venv:ensure_venv/0, venv_path/0, refresh/0 chemin, ok

Reclasser trois passages

D’après une exécution vérifiée qui réutilisait un venv existant avec transformers, torch et uvloop.

Erlang
%% optional: set venv_path after load and before start
ok = application:load(barrel_rerank),
ok = application:set_env(barrel_rerank, venv_path,
                         "/abs/path/to/.venv"),
{ok, _} = application:ensure_all_started(barrel_rerank),
{ok, S} = barrel_rerank:start_link(#{}),
Docs = [<<"Machine learning is a subset of AI.">>,
        <<"Python is a programming language.">>,
        <<"Deep learning uses neural networks.">>],
Q = <<"What is machine learning?">>,
io:format("rerank: ~p~n", [barrel_rerank:rerank(S, Q, Docs)]),
io:format("top_k=1: ~p~n",
          [barrel_rerank:rerank(S, Q, Docs, #{top_k => 1})]),
ok = barrel_rerank:stop(S).
Sortie d’une exécution sur barrel_rerank 1.0.2
rerank: {ok,[{0,9.581769943237305},
             {2,-5.255744457244873},
             {1,-9.625640869140625}]}
top_k=1: {ok,[{0,9.581769943237305}]}

Limites à connaître

  • Les scores sont des logits bruts du cross-encoder (9.58, -5.25 ci-dessus), pas des valeurs entre 0 et 1.
  • Si l’installation du venv échoue, start_link/1 lance "python3" par son nom et échoue avec {error, {port_open_failed, enoent}}. Passez un python absolu ou un venv_path qui fonctionne.
  • Le modèle est téléchargé depuis HuggingFace à la première utilisation.

Haut et bas pour se déplacerEntrée pour ouvrir