RAG sobre documentación interna, con citas obligatorias

La idea

La documentación interna se acumula: manuales de procesos, decisiones de arquitectura, cómo se configuró tal integración. Nadie la lee, y quien la busca no sabe dónde está.

Quería probar un asistente que responda sobre ese material con una condición estricta: cada respuesta cita el fragmento del que sale. Si no hay respaldo, contesta que no lo sabe.

Cómo lo estoy montando

Sin infraestructura de más: PostgreSQL con pgvector, que ya suele estar en el stack, en vez de sumar una base vectorial dedicada.

• Los documentos se parten en fragmentos que respetan los encabezados, no cada N caracteres.
• Cada fragmento guarda su documento y sección de origen, para poder citar.
• Se recupera por similitud y se pasa al modelo con la instrucción de responder solo con lo recuperado.

Lo que ya funciona

Preguntas concretas cuya respuesta vive en un documento: "¿cómo se configuró el webhook de tal integración?". Ahí acierta y la cita permite comprobarlo en dos clics, que era el objetivo.

Lo que todavía no

• La recuperación es el cuello de botella, no el modelo. Casi todas las respuestas malas venían de haber recuperado el fragmento equivocado. Cambiar de modelo no arregló nada; cambiar el troceado, sí.
• Preguntas que cruzan documentos. "¿Qué integraciones tocan el CRM?" requiere reunir información dispersa, y la recuperación por similitud devuelve lo más parecido, no lo más completo.
• Documentación desactualizada. El sistema responde con confianza desde un documento viejo. Estoy probando a incorporar la fecha del documento a la respuesta.

Lo aprendido hasta ahora

En un RAG, la estrategia de troceado importa más que el modelo. Fragmentos alineados con la estructura del documento —una sección, una idea— cambiaron los resultados más que cualquier ajuste de prompt o de temperatura.

Siguiente paso

Añadir la fecha del documento al contexto y a la cita, para que se note cuándo una respuesta se apoya en material antiguo.