Chunking (fragmentación de texto)

Chunking, o fragmentación de texto, es una técnica clave en sistemas de IA y, en particular, en aplicaciones de RAG (Retrieval-Augmented Generation), buscadores semánticos y asistentes basados en modelos de lenguaje. Consiste en dividir documentos extensos (artículos, manuales, PDFs, transcripciones, bases de conocimiento, etc.) en fragmentos de texto coherentes que puedan ser representados con embeddings, indexados y recuperados de forma eficiente.

La fragmentación surge porque los modelos de lenguaje tienen una ventana de contexto limitada, es decir, solo pueden procesar una cantidad máxima de tokens por petición. Para poder trabajar con colecciones de documentos grandes, se trocean dichos documentos en partes más pequeñas que:

• Sean suficientemente cortas para caber en la ventana de contexto.
• Mantengan coherencia semántica (cada fragmento debe tratar un tema o subtema reconocible).
• Conserven el contexto útil para responder preguntas sin introducir demasiado ruido.

Desde un punto de vista técnico, cada fragmento se transforma en un vector de embeddings y se almacena en un índice (por ejemplo, en una base de datos vectorial). Cuando el usuario hace una consulta, el sistema busca en ese índice los fragmentos semánticamente más cercanos, los recupera y se los pasa al modelo de lenguaje como contexto para generar la respuesta.

Existen diversas estrategias de chunking para equilibrar granularidad, contexto y relevancia:

• Fragmentación de tamaño fijo: divide el texto en bloques de un número fijo de tokens, palabras o caracteres (por ejemplo, 300-500 tokens), con una superposición opcional para no cortar ideas a la mitad.
• Fragmentación por ventana deslizante: crea fragmentos solapados moviendo una ventana a través del texto, lo que ayuda a preservar contexto entre segmentos contiguos.
• Fragmentación basada en la estructura del documento: respeta encabezados, secciones, párrafos, tablas o etiquetas HTML (<h2>, <p>, listas, etc.), generando fragmentos alineados con la organización natural del contenido.
• Fragmentación semántica: utiliza embeddings y medidas de similitud semántica para detectar cambios de tema entre oraciones o párrafos, y colocar los puntos de corte donde disminuye la coherencia, de modo que cada fragmento represente una unidad temática.
• Fragmentación jerárquica o recursiva: descompone el contenido en distintos niveles (secciones → párrafos → frases) y construye una estructura en árbol de fragmentos, permitiendo navegar y recuperar información a distintos niveles de detalle.

Desde la perspectiva de marketing digital, contenido y SEO asistido por IA, el chunking es especialmente útil porque:

• Permite crear chatbots de contenido que responden sobre blogs, documentación o bases de conocimiento de una marca.
• Facilita buscadores semánticos internos que devuelven párrafos concretos relevantes, en lugar de documentos completos.
• Mejora la calidad de sistemas de asistencia al redactor (briefings, resúmenes, reescrituras) al proporcionar al modelo fragmentos muy focalizados.

Los parámetros de configuración (tamaño de fragmento, solapamiento, umbrales de similitud, tamaño de «buffer» de oraciones adyacentes, etc.) impactan directamente en la precisión de la recuperación y en la experiencia de usuario. Un chunk demasiado grande introduce ruido; uno demasiado pequeño puede perder contexto. Diseñar una buena estrategia de fragmentación es, por tanto, una parte crítica de cualquier sistema de IA que trabaje con contenido extenso.