Opus 4.8 y Sonnet 5 invocan mal herramientas de edición

Un desarrollador que trabaja en una herramienta de codificación llamada Pi detectó que los modelos más recientes de Anthropic, Claude Opus 4.8 y Claude Sonnet 5, invocan la herramienta de edición de Pi con campos inventados que no existen en su esquema. El hallazgo fue reportado por Simon Willison en su blog el 4 de julio de 2026, a partir de las observaciones de Armin, quien está desarrollando Pi.

Según el reporte, el problema aparece específicamente en el arreglo anidado edits[] que recibe la herramienta de edición: los modelos agregan claves que Armin nunca definió en el esquema. La edición en sí (el cambio de código que el modelo quiere aplicar) suele ser correcta, pero como los parámetros no coinciden con lo que Pi espera, la herramienta rechaza la llamada y le pide al modelo que lo intente de nuevo.

Lo que llamó la atención de Armin es que el error no proviene de un modelo chico o de versiones anteriores de Claude, sino de los dos modelos más avanzados de la familia actual. Ni Haiku ni las versiones previas de Anthropic muestran este comportamiento: son justamente Opus 4.8 y Sonnet 5, los modelos de mejor desempeño general, los que fallan al usar el esquema de herramienta externo de Pi.

Una hipótesis sobre entrenamiento especializado

Armin propone una explicación: los modelos más recientes de Anthropic habrían sido entrenados, probablemente con aprendizaje por refuerzo, para usar con mayor precisión la herramienta de edición integrada en Claude Code, el propio producto de línea de comandos de Anthropic. Ese entrenamiento especializado podría tener un efecto colateral no buscado: cuando el modelo se conecta a un harness de terceros con su propia herramienta de edición personalizada, como Pi, esa optimización no se traslada y en cambio aumenta la probabilidad de errores.

Willison agrega un punto de comparación con otro proveedor. La herramienta de edición de Claude funciona con un mecanismo de búsqueda y reemplazo (search and replace). El Codex de OpenAI, en cambio, usa un mecanismo llamado apply_patch, y OpenAI ha explicado públicamente que entrena a sus modelos para usar ese formato específico de manera efectiva. Cada compañía, entonces, optimiza sus modelos para el formato de herramienta que su propio producto usa, lo que puede dejar a las herramientas externas en desventaja según qué modelo esté detrás.

La pregunta para quienes construyen harnesses

El caso deja abierta una pregunta concreta para desarrolladores de herramientas de codificación asistida por IA que no son Anthropic ni OpenAI: si el desempeño de un modelo al invocar una herramienta de edición depende del formato específico para el que fue entrenado, ¿tendría sentido que un harness como Pi implemente varios tipos de herramienta de edición (una con el formato de búsqueda y reemplazo de Claude, otra con el formato apply_patch de OpenAI) y elija cuál usar según el modelo que el usuario seleccionó?

Willison no ofrece una respuesta definitiva, pero plantea la pregunta como algo que la industria de herramientas de codificación con IA probablemente vaya a tener que resolver a medida que los modelos de distintos proveedores se especializan cada vez más en sus propios formatos de herramientas.