一键在 Manus 中运行任何 Skill

kai-measurement

星标0

分支0

更新时间2026年6月26日 02:46

Pipeline de medición y monitoreo de métricas para el sistema KAI. Integra la API de producción con herramientas de medición para evaluar alucinaciones, tasa de éxito de herramientas y rendimiento.

安装

用 Codex 或 Claude 帮你安装复制这段 Prompt，粘贴到 Codex、Claude 或其他助手里，让它检查 Skill 页面并帮你完成安装。

在 Manus 中运行

来源

gatovillano

gatovillano/KognitoAI

打开 GitHub 仓库查看创作者相关仓库

下载

在 Manus 中运行

Objetivo

Crear un sistema pipelines para medir y monitorear las métricas clave de KAI:

Tasa de alucinaciones (actual: 8.2% vs 13.7% RAG puro)
Recall@5 (actual: 0.72 vs 0.58 RAG puro)
Tasa de éxito en herramientas (actual: 96.3%)

Cuándo usar esta skill

Cuando necesites monitorear el rendimiento de KAI en producción
Para validar mejoras en el sistema de RAG
Para generar reportes de calidad de respuestas
Para comparar métricas antes/después de actualizaciones

Flujo de trabajo

1. KAIMeasurementPipeline
   ├── Inicializa conexión a API de KAI
   ├── Envía queries de prueba
   └── Captura métricas de respuesta

2. HallucinationMeasurementPipeline
   ├── Ejecuta queries con respuestas conocidas
   ├── Verifica si las respuestas son correctas
   └── Calcula tasa de alucinaciones

3. ToolSuccessPipeline
   ├── Envía queries que requieren herramientas
   ├── Mide éxito en ejecución de herramientas
   └── Reporta tasa de éxito

Métricas implementadas

Métrica	Valor Actual	Meta	Fuente
Tasa de alucinaciones	8.2%	<5%	[1]
Recall@5	0.72	>0.80	[1]
Tasa de éxito herramientas	96.3%	>98%	[1]

Configuración

Variables de entorno requeridas

NEXT_PUBLIC_API_URL="https://apibase.cuerpolibre.cl"
INTERNAL_API_KEY_FOR_BOT="bac65afb5234660a6490aefe3a01923713a904418e4f59b5fbb81d888e2d76cc"

Uso básico

from kai_measurement_pipeline import KAIMeasurementPipeline, run_measurement_pipeline

# Ejecutar suite completa de medición
results = await run_measurement_pipeline()

# Usar pipeline directamente
async with KAIMeasurementPipeline() as pipeline:
    result = await pipeline.send_query("¿Qué es KAI?")

Salidas

Métricas generales

{
  "total_queries": 5,
  "successful_queries": 5,
  "tool_success_rate": 0.963,
  "hallucination_rate": 0.082,
  "timestamp": "2024-01-15T10:30:00"
}

Consideraciones de seguridad

Usa API key para autenticación
No almacena queries sensibles
Límites de rate limiting implementados

Referencias

[1] KognitoAI_Hybrid_Memory_Architecture_FINAL_3678.pdf - Paper técnico

同仓库更多 Skills

同仓库

search-and-research

gatovillano/KognitoAI

Búsqueda y investigación avanzada en internet. Proporciona múltiples fuentes de datos (web scraping, APIs de búsqueda, análisis de contenido) para encontrar información precisa y actualizada. Úsalo cuando necesites investigar tópicos, validar datos, encontrar fuentes o realizar análisis comparativo de información en la web.

2026-07-190

kai-measurement-pipeline

gatovillano/KognitoAI

Pipeline para medición de rendimiento real de KognitoAI

2026-06-260

knowledge-memory-management

gatovillano/KognitoAI

Gestión del conocimiento y memoria del usuario. Almacena información, notas, aprendizajes y relaciones entre conceptos en bases de datos vectoriales y grafos de conocimiento. Úsalo cuando el agente descubra información valiosa que deba persistir, cuando cree nuevas relaciones entre conceptos, o cuando necesite actualizar el perfil de conocimiento del usuario.

2026-06-190

marketing-ideas

gatovillano/KognitoAI

When the user needs marketing ideas, inspiration, or strategies for their SaaS or software product. Also use when the user asks for 'marketing ideas,' 'growth ideas,' 'how to market,' 'marketing strategies,' 'marketing tactics,' 'ways to promote,' 'ideas to grow,' 'what else can I try,' 'I don't know how to market this,' 'brainstorm marketing,' or 'what marketing should I do.' Use this as a starting point whenever someone is stuck or looking for inspiration on how to grow. For specific channel execution, see the relevant skill (ads, social, emails, etc.).

2026-06-190

moltbook-skill

gatovillano/KognitoAI

Integration with Moltbook, the social network for AI agents. Post, comment, upvote, and create communities.

2026-06-190

onlyoffice-rag-pipeline

gatovillano/KognitoAI

Pipeline para integrar documentos de OnlyOffice con el sistema RAG de KAI. Procesa documentos, genera embeddings y los almacena en el conocimiento.

2026-06-190

name	kai_measurement
description	Pipeline de medición y monitoreo de métricas para el sistema KAI. Integra la API de producción con herramientas de medición para evaluar alucinaciones, tasa de éxito de herramientas y rendimiento.

Objetivo

Crear un sistema pipelines para medir y monitorear las métricas clave de KAI:

Tasa de alucinaciones (actual: 8.2% vs 13.7% RAG puro)
Recall@5 (actual: 0.72 vs 0.58 RAG puro)
Tasa de éxito en herramientas (actual: 96.3%)

Cuándo usar esta skill

Cuando necesites monitorear el rendimiento de KAI en producción
Para validar mejoras en el sistema de RAG
Para generar reportes de calidad de respuestas
Para comparar métricas antes/después de actualizaciones

Flujo de trabajo

1. KAIMeasurementPipeline
   ├── Inicializa conexión a API de KAI
   ├── Envía queries de prueba
   └── Captura métricas de respuesta

2. HallucinationMeasurementPipeline
   ├── Ejecuta queries con respuestas conocidas
   ├── Verifica si las respuestas son correctas
   └── Calcula tasa de alucinaciones

3. ToolSuccessPipeline
   ├── Envía queries que requieren herramientas
   ├── Mide éxito en ejecución de herramientas
   └── Reporta tasa de éxito

Métricas implementadas

Métrica	Valor Actual	Meta	Fuente
Tasa de alucinaciones	8.2%	<5%	[1]
Recall@5	0.72	>0.80	[1]
Tasa de éxito herramientas	96.3%	>98%	[1]

Configuración

Variables de entorno requeridas

NEXT_PUBLIC_API_URL="https://apibase.cuerpolibre.cl"
INTERNAL_API_KEY_FOR_BOT="bac65afb5234660a6490aefe3a01923713a904418e4f59b5fbb81d888e2d76cc"

Uso básico

from kai_measurement_pipeline import KAIMeasurementPipeline, run_measurement_pipeline

# Ejecutar suite completa de medición
results = await run_measurement_pipeline()

# Usar pipeline directamente
async with KAIMeasurementPipeline() as pipeline:
    result = await pipeline.send_query("¿Qué es KAI?")

Salidas

Métricas generales

{
  "total_queries": 5,
  "successful_queries": 5,
  "tool_success_rate": 0.963,
  "hallucination_rate": 0.082,
  "timestamp": "2024-01-15T10:30:00"
}

Consideraciones de seguridad

Usa API key para autenticación
No almacena queries sensibles
Límites de rate limiting implementados

Referencias

[1] KognitoAI_Hybrid_Memory_Architecture_FINAL_3678.pdf - Paper técnico