¿Qué es el contexto en un chatbot y por qué importa?
Lo que el chatbot "ve" en la conversación define lo que puede responder.
Cuando conversas con un chatbot, parece recordar todo lo dicho. En la práctica, lo que considera en cada respuesta es limitado y depende de lo que hay en el contexto. Entender esto ayuda a explicar por qué, a veces, el asistente "olvida" algo, se contradice o responde de forma inesperada.
Qué es el contexto
El contexto es el conjunto de texto que el modelo recibe y considera al generar una respuesta. Normalmente incluye las instrucciones iniciales, tus mensajes, las respuestas anteriores y, cuando los hay, documentos o resultados de herramientas que adjuntaste. El modelo no "lee tu mente" ni guarda por su cuenta lo que dijiste en conversaciones separadas, a menos que el servicio ofrezca una función de memoria.
El límite del contexto
Cada modelo tiene un tamaño máximo de contexto, medido en unidades llamadas tokens, que son trozos de texto. Cuando la conversación se hace demasiado larga, partes antiguas pueden quedar fuera del alcance del modelo o ser resumidas por el sistema. Por eso, en conversaciones muy largas, el asistente puede perder detalles del comienzo. Incluso dentro del límite, la información importante en medio de un texto muy largo puede recibir menos atención.
Por qué importa
- Calidad de las respuestas. Cuanto más claro y relevante el contexto, mejor la respuesta.
- Consistencia. Las instrucciones dadas al principio pueden olvidarse en conversaciones largas.
- Privacidad. Lo que pegas en el contexto se envía al servicio, así que conviene cuidar los datos sensibles.
- Costo. En algunos servicios, un contexto mayor significa mayor uso.
Un ejemplo
Camila pidió a un chatbot que escribiera un correo formal, con tono cordial y como máximo cinco líneas. Tras muchos intercambios, el asistente empezó a responder con textos largos e informales. Al repetir las instrucciones al comienzo de un mensaje nuevo, volvió al formato pedido. Es un ejemplo ilustrativo.
Cómo organizar el contexto
- Sé específico al inicio. Indica el objetivo, el público, el tono y el formato deseado.
- Da solo lo que importa. Los textos largos e irrelevantes diluyen el foco.
- Refuerza cuando haga falta. En conversaciones largas, repite las instrucciones principales.
- Empieza una conversación nueva para un tema nuevo. Así evitas mezclar información.
- Pide un resumen. En proyectos largos, pide un resumen de lo decidido y pégalo al inicio de la próxima sesión.
Confianza y privacidad
El contexto también es una cuestión de confianza: lo que incluyes en él puede ser almacenado o procesado por el servicio. Antes de pegar información personal o profesional, revisa la política del servicio.
