La inteligencia artificial puede acelerar la creación de casos de prueba hasta cuatro veces, reducir el esfuerzo de pruebas manuales en un 70 % y disminuir el costo de los escenarios de automatización de interfaces de usuario (UI) para los clientes hasta en un 90 %.
La incorporación de enfoques asistidos por IA en el Quality Assurance (QA) ofrece beneficios tangibles para los clientes. El lanzamiento de ChatGPT —un agente de IA capaz de interactuar con navegadores y ejecutar comandos a partir de instrucciones en lenguaje natural— fue un catalizador clave para la adopción de esta tecnología en el ámbito de QA.
Este avance representó un paso hacia una automatización de pruebas más inteligente y autónoma, capaz de realizar acciones como la recopilación de datos y otras tareas complejas que tradicionalmente requerían intervención humana. Esta capacidad impulsó a nuestro QE Lab a explorar cómo estos desarrollos podrían revolucionar sus metodologías de prueba.
La habilidad de herramientas como el operador de ChatGPT para interactuar directamente con navegadores abre la puerta a scripts de prueba más dinámicos y adaptables. En lugar de depender únicamente de pasos predefinidos, los agentes de IA pueden navegar por aplicaciones, identificar elementos y ejecutar acciones basadas en instrucciones en lenguaje natural, haciendo que la creación y el mantenimiento de pruebas resulten más eficientes.
Si bien los modelos de IA todavía presentan limitaciones para resolver CAPTCHAs complejos —como los de Google—, existen soluciones prácticas para entornos de prueba, como la desactivación temporal del CAPTCHA para usuarios específicos de testeo.
El bypass de autenticaciones en múltiples pasos suele lograrse utilizando bibliotecas estándar en lenguajes como C# o Python, especialmente en escenarios de prueba que emplean contraseñas de un solo uso (OTP, por sus siglas en inglés).
Fragmentos de código simples y fácilmente disponibles pueden encargarse de estas tareas sin necesidad de agentes de IA complejos. Estos ejemplos demuestran que la programación tradicional sigue siendo una herramienta poderosa para resolver desafíos de pruebas específicas.
8 enfoques para el uso efectivo de la IA en pruebas
1. Automatización de pruebas con IA
- Enfoque: este método utiliza agentes de IA para ejecutar casos de prueba de forma autónoma. El agente interpreta los casos escritos en texto plano y realiza las acciones necesarias en un navegador. Este enfoque aprovecha herramientas como la API de ChatGPT, Gemini API y un navegador para interactuar con aplicaciones web.
- Ejemplo: un agente de IA ejecuta un caso de prueba que implica abrir un sitio web, iniciar sesión, navegar a los detalles de una tienda, guardar una fecha de visita, hacer clic en actividades de la tienda, seleccionar un elemento de una lista y comparar fechas de diferentes ubicaciones. El agente realiza con éxito todos los pasos basándose únicamente en un caso de prueba en texto plano, sin la necesidad de ningún código de automatización de pruebas.
- Beneficios: este enfoque reduce significativamente el esfuerzo en pruebas manuales, especialmente para aplicaciones web y de interfaz de usuario (UI).
- Limitaciones: incluyen posibles "alucinaciones" de los modelos de lenguaje (LLM) y desafíos en escenarios complejos que requieren verificación de bases de datos o a través de APIs.
2. Pruebas exploratorias impulsadas por la IA
- Enfoque: se utilizan agentes de IA para explorar las aplicaciones e identificar posibles problemas. El agente recibe instrucciones o requisitos y navega de forma autónoma para encontrar errores.
- Ejemplo: se le indicó a un agente de IA que realice pruebas exploratorias en un sitio web con el objetivo de encontrar 10 errores. El agente identificó con éxito problemas reales y de alta prioridad, incluyendo discrepancias en las fechas mostradas en diferentes partes de la página e inconsistencias entre los valores en el HTML y las imágenes de los gráficos.
- Beneficios: este método puede detectar problemas que las pruebas tradicionales podrían pasar por alto.
- Limitaciones: las pruebas exploratorias impulsadas por la IA pueden no identificar problemas relacionados con una lógica de negocio compleja.
3. IA para la creación de casos de prueba
- Enfoque: se utilizan modelos de lenguaje para generar casos de prueba a partir de los requisitos, lo que puede acelerar significativamente el proceso de diseño de pruebas. Se emplean herramientas como MCP (Model Context Protocol) de Anthropic, la API de OpenAI, el framework LlamaIndex y la base de datos vectorial ChromaDB.
- Ejemplo: se utilizó Claude para generar casos de prueba a partir de un archivo TXT con requisitos de un servicio de streaming de música. Claude generó un amplio conjunto de pruebas, incluyendo casos positivos y negativos con atributos como título, condiciones previas, pasos y resultados esperados. El sistema también pudo actualizar casos de prueba existentes en base a requisitos modificados.
- Beneficios: este enfoque puede ahorrar una cantidad significativa de tiempo en la creación de casos de prueba y permite integrarse con herramientas como Jira y Confluence para generar directamente los casos a partir de historias de usuarios y requisitos.
- Limitaciones: los casos de prueba generados pueden requerir revisión y ajustes por parte de una persona.
4. Automatización de procesos robóticos (RPA) con IA
- Enfoque: los agentes de IA se utilizan para automatizar tareas repetitivas y basadas en reglas. Esto puede liberar a los trabajadores humanos para que se enfoquen en un trabajo más complejo y creativo.
- Ejemplo: se desarrolló un agente de IA para automatizar la tarea de verificación de hojas de tiempo para los gestores de proyectos. El agente pudo verificar las descripciones de la hoja de tiempo y corregir el seguimiento de horas, generando un informe HTML que destaca inconsistencias y errores tipográficos.
- Beneficios: este enfoque puede ahorrar tiempo y mejorar la precisión en la realización de tareas rutinarias.
- Limitaciones: las soluciones actuales pueden tener limitaciones para interactuar con aplicaciones de escritorio y manejar escenarios complejos que involucren múltiples sistemas.
5. IA para generación y mantenimiento de pruebas de API
- Enfoque: la IA genera, ejecuta y repara pruebas de API. Esto incluye componentes como un asistente de código, generador de casos de prueba, generador automático de pruebas y reparador de pruebas.
- Ejemplo: se utilizaron URLs de Swagger para generar casos de prueba manuales y luego automatizar pruebas a partir de ellos. El sistema también puede ejecutar las pruebas generadas e intentar corregir fallos mediante IA.
- Beneficios: este enfoque reduce significativamente el tiempo necesario para la creación y mantenimiento de pruebas de API. Además, ofrece capacidades de autocorrección (self-healing).
- Limitaciones: los artefactos generados pueden necesitar revisión, y el marco puede no soportar pruebas de rendimiento o API con lógica de negocio compleja.
6. IA para localizadores de autocorrección
- Enfoque: se emplean LLMs para analizar los elementos de la UI y sugerir localizadores alternativos cuando los originales fallan. Esto contribuye a reducir el mantenimiento de pruebas derivado de cambios en la interfaz del usuario.
- Ejemplo: se demostró una prueba de concepto utilizando Playwright y JavaScript, donde un LLM analizó la interfaz de usuario y sugirió localizadores alternativos cuando un localizador se rompió intencionalmente. El LLM fue capaz de identificar localizadores válidos y permitir que la prueba continuara su ejecución.
- Beneficios: este enfoque reduce el esfuerzo de mantenimiento del ensayo y aumenta la capacidad de prueba.
- Limitaciones: existen desafíos con UIs dinámicas y shadow DOM/iframes.
7. IA para generación de pruebas a partir de escenarios
- Enfoque: la IA se utiliza para generar pruebas automatizadas a partir de escenarios de usuarios previamente registrados. El agente de IA observa las acciones del usuario en el navegador, guarda los pasos y localizadores, y luego crea el código de prueba.
- Ejemplo: un agente de IA registró las interacciones de usuario, como el registro e inicio de sesión en un sitio web. Luego, el agente generó el código de prueba, incorporando buenas prácticas y reutilizando componentes existentes del framework.
- Beneficios: este enfoque puede reducir significativamente el tiempo y el costo de la automatización de pruebas.
- Limitaciones: el código generado puede necesitar algunas correcciones manuales, y pueden surgir problemas relacionados con la identificación de localizadores.
8. Playwright MCP para generación de pruebas y reproducción de errores
- Enfoque: Playwright MCP (Model Context Protocol) se utiliza para conectar LLMs con navegadores, lo que les permite interactuar con páginas web. Esto habilita a los LLMs a generar modelos de objetos de página, reproducir errores y crear pruebas.
- Ejemplo: Playwright MCP se puede usar para generar un modelo de objetos de página en TypeScript, reproducir un error a partir de una descripción y crear pruebas a partir de casos de prueba en un archivo TXT. También demostró cómo pedirle al LLM que analice una página y proponga pruebas.
- Beneficios: este enfoque puede aumentar considerablemente la velocidad de escritura de pruebas y automatizar diversas tareas de testing.
- Limitaciones: al igual que con otros enfoques impulsados por la IA, pueden existir limitaciones y es necesario contar con supervisión humana.
