Cargando

Reclasificación de resultados

Lección 407 min
Cargando

El enfoque de recuperación híbrida que hemos creado funciona bien, pero todavía hay algunos detalles que pulir. Cuando buscas términos específicos o usas abreviaturas, los resultados podrían no estar perfectamente ordenados. Por ejemplo, preguntar "¿Qué hizo el equipo de ingeniería con INC-2023-Q4-011?" podría devolver primero la sección de ciberseguridad, aunque la sección de ingeniería de software sea más relevante para esa consulta específica.

Reclasificación basada en LLM

La reclasificación agrega otro paso de post-procesamiento después de fusionar los resultados de tu índice vectorial y tu índice BM25. El concepto es sencillo: toma tus resultados de búsqueda y pide a Claude que los reordene según su relevancia para la pregunta del usuario.

Flujo de reclasificación: los resultados de VectorIndex y BM25Index se fusionan, el reclasificador envía un prompt a Claude, y Claude devuelve una lista reordenada.

Así es como funciona el proceso:

  • Ejecuta tu búsqueda híbrida (vectorial + BM25) como de costumbre
  • Fusiona los resultados como antes
  • Pasa los resultados fusionados a una función de reclasificación
  • El reclasificador envía todo a Claude con un prompt específico
  • Claude devuelve una lista reordenada de los documentos más relevantes

Indicaciones del sistema

El prompt de reclasificación está diseñado para ser claro y específico. Le proporcionas a Claude la pregunta del usuario y todos los documentos que parecen relevantes, y luego le pides una tarea sencilla: devolver los documentos más relevantes en orden decreciente de relevancia.

Una estructura típica de prompt se ve así:

You are tasked with finding the documents most relevant to a user's question.

<user_question>
What happened with INC-2023-Q4-011?
</user_question>

Here are documents that may be relevant:
<documents>
<document>Section 10...</document>
<document>Section 2...</document>
<document>Section 7...</document>
<document>Section 6...</document>
</documents>

Return the 3 most relevant docs, in order of decreasing relevance.

Consideraciones de eficiencia

Pedirle a Claude que devuelva fragmentos de texto completos sería ineficiente: estarías esperando a que Claude copie grandes cantidades de texto. En su lugar, asigna a cada fragmento de texto un ID único de antemano. Luego pide a Claude que devuelva solo esos IDs en el orden correcto.

Este enfoque es mucho más rápido porque Claude solo necesita devolver una lista simple como ["1p5g", "51n3", "ab83"] en lugar de copiar secciones completas de documentos.

Implementación

La función de reclasificación es llamada automáticamente por tu recuperador después de la búsqueda híbrida inicial. Aquí está la estructura básica:

python
def reranker_fn(docs, query_text, k):
    # Formatear documentos con IDs
    joined_docs = "\n".join([
        f"<document><document_id>{doc['id']}</document_id>"
        f"<document_content>{doc['content']}</document_content></document>"
        for doc in docs
    ])
    
    # Crear prompt con la pregunta del usuario y los documentos
    prompt = f"""You are about to be given a set of documents...
    {query_text}
    {joined_docs}
    """
    
    # Obtener la respuesta de Claude y analizar los IDs de documentos
    result = chat(messages, stop_sequences=["```"])
    return json.loads(result["text"])["document_ids"]

Resultados

Cuando pruebas el reclasificador con consultas como "¿Qué hizo el equipo de ingeniería con INC-2023-Q4-011?", deberías ver resultados más relevantes en la parte superior. Claude comprende el contexto y puede identificar que una consulta sobre el equipo de ingeniería debería priorizar la sección de ingeniería de software sobre otras secciones que simplemente mencionan el incidente.

La compensación es clara: la reclasificación aumenta la latencia porque necesitas esperar la respuesta de Claude, pero mejora significativamente la precisión de búsqueda al aprovechar la comprensión de Claude sobre el contexto y la relevancia.