Lo que aprendí: de demos de chat con IA a productos reales de IA

En 2025 creé bastantes demos usando Gemini y Kendo UI, construyendo pequeñas experiencias de chat combinadas con Conversational UI para prototipos rápidos. La idea era tomar un fragmento de texto (a veces una imagen) y devolver una respuesta visualmente atractiva.

Estas demos fueron divertidas y muy útiles para aprender. Pero en algún momento me di cuenta de algo importante: lograr que un chatbot responda una vez no es lo mismo que construir un producto de IA confiable en el que las personas puedan apoyarse todos los días.

Quiero compartir lo que aprendí sobre la diferencia entre demos rápidas y funcionalidades reales de IA, cuándo no conviene usar LLMs, cuándo realmente marcan la diferencia y algunos conceptos clave que de verdad necesitas conocer.

La IA es más que llamar a una API de chat

Mi camino con la IA empezó como el de muchos: creé un chatbot usando Gemini u otro LLM con su SDK, donde podías pegar algo de texto o subir una imagen, y el bot respondía con algo que parecía inteligente.

La primera vez que lo ves funcionando se siente mágico. Piensas: «Genial, ya estoy creando cosas con IA».

Pero cuando intenté llevar estas ideas a un producto real, los problemas aparecieron muy rápido. El mismo prompt a veces producía respuestas ligeramente distintas. Algunas respuestas eran excelentes, otras resultaban confusas o incompletas.

Fue ahí cuando entendí el punto clave:

No se trata solo de llamar a un modelo y recibir una respuesta. Cuando integras IA en un producto, estás trabajando con un sistema probabilístico. Tienes que pensar en:

• cómo se comporta el modelo en distintas situaciones,

• cómo vas a medir la calidad, y

• cómo vas a mejorar el sistema a lo largo del tiempo.

En otras palabras, usar la API de chat es solo el primer paso. Construir una funcionalidad de IA significa diseñar todo el sistema alrededor del modelo para que se comporte de forma consistente en el mundo real.

«Pero si ya trabajo con IA... ¿verdad?»

Algo que aprendí rápido es que «trabajar con IA» puede significar cosas muy distintas. Llamar simplemente a una API que envuelve a un modelo como ChatGPT o cualquier otro LLM no es lo mismo que integrar de verdad IA en tu producto. Hay una gran diferencia entre consumir la API de un modelo para recibir un flujo de datos y realmente incorporar funcionalidad impulsada por IA en el núcleo de tu aplicación.

En otras palabras, usar herramientas como Cursor, Copilot o cualquier asistente de código basado en IA para programar más rápido no significa que la IA sea parte de tu producto. Simplemente significa que estás usando IA para ser más eficiente como desarrollador.

Cuando pasas de usar IA solo como asistente de programación a construir funcionalidades con IA dentro de tu producto, comienzas a diseñar sistemas que combinan modelos, herramientas y datos para resolver problemas reales. Esa es la verdadera diferencia.

No todos los problemas necesitan un LLM

Es tentador querer ponerle una capa de «IA» a cada producto, pero otra cosa que aprendí rápido es que no todos los problemas necesitan IA ni un LLM.

Si tienes una sección de preguntas frecuentes sencilla o un flujo estricto, un sistema basado en reglas o un árbol de decisiones suele ser suficiente. No tiene sentido añadir complejidad o costos con un LLM cuando una solución más simple funciona mejor.

De igual forma, si necesitas un sistema completamente determinista (donde la misma entrada siempre debe producir exactamente la misma salida por razones legales, de cumplimiento normativo o de negocio), un LLM simplemente no es la herramienta adecuada. Los LLMs introducen variación y creatividad de forma natural, lo cual es fantástico para ciertas tareas, pero terrible cuando necesitas garantías estrictas.

Así que la primera lección que aprendí es esta: si te incomoda recibir «respuestas ligeramente distintas» para una misma entrada, lo más probable es que necesites un sistema determinista y no un LLM.

Cuándo tiene sentido usar LLMs

Por otro lado, los LLMs destacan cuando el problema es ambiguo, se basa mucho en lenguaje natural o maneja datos poco estructurados. Son excelentes para:

• transformar una representación en otra,

• clasificar texto informal, con ruido o en múltiples idiomas, y

• responder preguntas fundamentadas en tus propios documentos o datos.

Usar un LLM para clasificar logs y responder preguntas contextuales tiene sentido porque los datos son variados y no siempre están limpios. El LLM puede gestionar ese tipo de complejidad de una manera que las reglas simples no pueden igualar.

Conceptos que realmente necesitas

Te lo digo con total sinceridad: no soy un experto en machine learning, ni de lejos. Pero con el tiempo me di cuenta de que solo saber llamar a una API y manejar un flujo de respuestas no alcanzaba.

Tuve que aprender por qué el tamaño del modelo importa, el balance entre velocidad y costo, cómo gestionar las ventanas de contexto y cómo analizar la latencia.

Uno de los puntos clave que tuve que comprender fue cómo los LLMs generan tokens. Producen texto token por token, y ese proceso es probabilístico. Por eso tuve que aprender sobre estrategias de muestreo: por qué importan top-k y top-p, y cómo cambiar la temperatura afecta el resultado. Temperaturas más bajas ofrecen respuestas más estables y predecibles, mientras que temperaturas más altas añaden creatividad (y a veces caos).

También tuve que entender que al usar un LLM pagas por tokens, tanto por los tokens de entrada (tu prompt y contexto) como por los tokens de salida (la respuesta del modelo). Prompts extensos y respuestas largas significan mayores costos, así que diseñar prompts eficientes no es solo un detalle agradable: es indispensable para controlar el costo y el rendimiento.

Recursos sobre IA generativa

Si quieres ir más allá de «simplemente llamar a una API» y entender de verdad cómo funciona la IA generativa y dónde tiene sentido aplicarla, estos son los recursos que te recomiendo:

• Gen AI: Navigate the Landscape
  Una visión clara de qué es la IA generativa, dónde encaja y cómo está cambiando la forma en que construimos productos.
  👉 https://www.skills.google/paths/1951/course_templates/1261

• Gen AI: Unlock Foundational Concepts
  Te ayuda a construir el modelo mental adecuado: cómo funcionan los modelos, conceptos clave y sus principales limitaciones.
  👉 https://www.skills.google/paths/1951/course_templates/1265

• Gen AI Apps: Transform Your Work
  Enfocado en casos de uso prácticos: cómo la IA generativa puede mejorar tus tareas y flujos de trabajo diarios.
  👉 https://www.skills.google/paths/1951/course_templates/1266

• Gen AI Agents: Transform Your Organization
  Ideal para entender agentes, uso de herramientas (tool use) y cómo conectar la IA generativa con sistemas reales dentro de una empresa.
  👉 https://www.skills.google/paths/1951/course_templates/1267

• Prompt Design in Vertex AI
  Muy útil para aprender a diseñar mejores prompts, controlar el comportamiento del modelo y evaluar resultados.
  👉 https://www.skills.google/paths/118/course_templates/976

• Angular Conversational UI Overview (para interfaces rápidas)
  Si quieres armar una interfaz de chat rápido y conectarla a tu backend con LLM, este es un excelente punto de partida.
  👉 https://www.telerik.com/kendo-angular-ui/components/conversational-ui

Conclusión

Para ir cerrando: es fácil quedarse con un chatbot sencillo que solo llama a la API de Gemini (o a cualquier otra API de IA) y sentir que el trabajo está hecho. Pero la verdadera lección es ir más allá.

Conviene enfocarnos en aprender cómo los LLMs pueden ayudarnos realmente a tomar decisiones y diseñar sistemas que resuelvan problemas reales, no solo a crear otra demo más.

Dicho de otra forma, la clave está en dejar atrás la idea de limitarse a llamar a una API y pensar en cómo encajan los LLMs en el panorama general. Enfoquémonos en construir productos donde los modelos, las herramientas y los datos se unan para crear algo verdaderamente útil.

Ese es el verdadero cambio: pasar de simplemente jugar con IA a integrarla de verdad en tu producto.

Foto de Robert Lukeman en Unsplash