Midiendo el Rendimiento de Contenido con IA: Cómo Itero en Público con un Agente Autónomo

Proyectos· 5 min de lectura

El Problema: Contenido sin Dirección

Hace unos meses empecé a trabajar en conversoriaecnae.es, un sitio sobre códigos CNAE e IAE (regulaciones fiscales españolas). El tráfico era decente, pero me enfrentaba a un problema clásico:

¿Qué contenido crear?

Podría escribir artículos al azar sobre CNAE, pero sería disparar a ciegas. Necesitaba un sistema que:

1. Descubriera qué está buscando la gente 2. Analizara si era relevante 3. Generara contenido optimizado automáticamente 4. Publicara solo lo de calidad

Así nació el Autonomous Content Agent.

La Arquitectura: Monitoreo → Análisis → Generación → Publicación

El sistema funciona en cuatro fases:

Fase 1: Discovery (Monitoreo de Gmail)

Configuré Google Alerts para monitorear regulaciones españolas sobre CNAE, IAE, impuestos y laboral. Todas las alertas llegan a un email, y mi agente las captura automáticamente usando la API de Gmail.

```typescript // El agente revisa Gmail cada cierto tiempo const alerts = await gmail.users.messages.list({ userId: 'me', q: 'from:google-alerts@google.com' }); ```

Sencillo pero efectivo. No necesito revisar manualmente nada.

Fase 2: Filtering (Puntuación de Relevancia)

Aquí es donde entra Claude. No publico todo lo que Google Alert encuentra. Cada alerta se puntúa automáticamente:

  • **Relevancia CNAE/IAE**: ¿Habla directamente de códigos fiscales?
  • **Actualidad**: ¿Es una regulación nueva o un cambio importante?
  • **Potencial SEO**: ¿Hay palabras clave que la gente busca?
  • **Claridad**: ¿Puedo explicarlo sin confundir?

Los commits recientes muestran que he estado refinando esto constantemente:

``` fix: Improve statistics agent prompts for higher quality scores (1/12/2026) ```

Eso no fue casualidad. Después de publicar contenido mediocre, me di cuenta de que mis prompts eran demasiado generosos. Bajé el umbral de calidad y el sistema empezó a descartar más alertas.

Métrica importante: De las alertas que recibo, típicamente publico una fracción. El resto no pasan el filtro. Esto es bueno—significa que estoy siendo selectivo.

Fase 3: Generación (Creación de Artículos)

Una vez que una alerta pasa el filtro, Claude genera un artículo completo en español (es-ES) con:

  • Título SEO-optimizado
  • Meta descripción
  • Estructura de encabezados
  • Párrafos con contexto de CNAE/IAE
  • Links internos a contenido relacionado

El stack es TypeScript 98% del proyecto, usando:

  • **@anthropic-ai/sdk**: Para llamadas a Claude
  • **@sanity/client**: Para guardar borradores
  • **@supabase/supabase-js**: Para almacenar datos de alertas
  • **cheerio**: Para parsear HTML de las alertas

```typescript // Generación simplificada const article = await claude.messages.create({ model: "claude-3-5-sonnet-20241022", max_tokens: 2000, messages: [{ role: "user", content: `Genera un artículo sobre: ${alertContent}. Enfoque: CNAE/IAE, regulación española, SEO.` }] }); ```

Fase 4: Publicación (Sanity CMS)

No publico directamente. Todo va a Sanity como borrador. Yo reviso, edito si es necesario, y publico manualmente. Esto me da control de calidad final.

Cómo Mido el Rendimiento

Aquí viene la parte interesante: ¿Cómo sé si el agente está funcionando?

No es suficiente contar artículos publicados. Necesito métricas reales:

1. Tasa de Rechazo

Traceo cuántas alertas entran vs. cuántas se publican. Si la tasa de rechazo es muy alta, el sistema es demasiado estricto. Si es muy baja, publico basura.

Actualmente estoy calibrando esto. Los commits recientes muestran iteraciones en los prompts—eso significa que estoy ajustando el balance.

2. Tiempo de Permanencia en Artículos

Uso Analytics para ver cuánto tiempo los usuarios pasan en artículos generados por el agente vs. artículos que escribí yo manualmente.

Si la gente abandona rápido, el contenido no es útil. Si se queda, estoy en el camino correcto.

3. Clicks a Recursos Internos

Cada artículo tiene links a otras páginas del sitio (convertidores CNAE, calculadoras IAE, etc.). Si nadie hace click, el contenido no es relevante.

4. Errores en la Publicación

Traceo bugs: artículos con contenido duplicado, links rotos, errores de formateo. Cada error me dice dónde mejorar el prompt o la lógica.

La Realidad: No Todo Funciona a la Primera

Este proyecto está en desarrollo activo. Mira el estado:

```

  • Phase 1: Foundation ✅ COMPLETE
  • Phase 2: Gmail Integration ✅ COMPLETE & TESTED
  • Phase 3: AI Agents 🔨 IN PROGRESS

```

No está terminado. Y eso es exactamente el punto.

En las primeras semanas, el agente publicaba artículos que eran técnicamente correctos pero aburridos. Los usuarios no hacían scroll. Iteré en los prompts.

Luego publicaba demasiado contenido. Ajusté los umbrales de relevancia.

Después, los artículos tenían errores de formato. Mejoré la lógica de sanitización.

Cada cambio está documentado en los commits. No oculto los fallos—los publico.

Lecciones Prácticas para Construir Agentes de Contenido

1. Empieza sin IA

Antes de automatizar, hazlo manualmente. Entiende el proceso. Solo entonces automatiza.

2. Mide lo Correcto

No cuentes artículos generados. Mide engagement. Un artículo que nadie lee no vale nada.

3. Itera en los Prompts

Los prompts son código. Versiónalos. Prueba cambios pequeños. Mide el impacto.

4. Mantén Control de Calidad

Yo no publico automáticamente. Reviso todo. Así evito publicar basura y aprendo qué funciona.

5. Documenta el Sistema

Tengo un archivo CLAUDE.md con la configuración de mi agente. Esto me permite iterar sin perder contexto.

El Stack que Uso

Para quienes quieran replicar esto:

  • **Next.js**: Framework principal
  • **Supabase**: Base de datos para alertas y estadísticas
  • **Sanity**: CMS para el contenido
  • **Claude (Anthropic)**: Generación y análisis
  • **Gmail API**: Monitoreo de alertas
  • **Vercel**: Deployment

Todo en TypeScript. Sin sorpresas.

Próximos Pasos

Estoy en la Fase 3: AI Agents. El siguiente paso es:

1. Mejorar el scoring de relevancia con más datos históricos 2. Automatizar la publicación (con revisión final) 3. Crear un dashboard para ver métricas en tiempo real 4. Experimentar con diferentes estilos de contenido

El Takeaway

No necesitas un equipo grande para automatizar contenido. Necesitas:

1. Un problema real: Qué contenido crear 2. Un proceso: Cómo descubrirlo, analizarlo, generarlo 3. Métricas claras: Cómo saber si funciona 4. Iteración constante: Mejorar basado en datos

Este agente no es perfecto. Pero está vivo, aprende, y mejora cada día.

¿Estás construyendo algo parecido? Comparte tu experiencia. Los que iteramos en público aprendemos juntos.

Brian Mena

Brian Mena

Ingeniero informatico construyendo productos digitales rentables: SaaS, directorios y agentes de IA. Todo desde cero, todo en produccion.

LinkedIn