Este estudio investiga el uso de Google NotebookLM para la generación automática de ítems de evaluación educativa. Se adoptó un enfoque de métodos mixtos, combinando la evaluación psicométrica cuantitativa con la retroalimentación cualitativa de los estudiantes. Se administraron seis pruebas, cada una compuesta por 15 preguntas de opción múltiple generadas a partir de diversas fuentes como PDFs, diapositivas web y videos de YouTube, a estudiantes de pregrado. El análisis cuantitativo implicó calcular índices clave que confirmaron que muchos ítems generados por IA cumplían con criterios psicométricos aceptables, aunque algunos ítems revelaron preocupaciones de fiabilidad y sesgo potencial. Concurrentemente, un cuestionario estructurado evaluó la claridad, relevancia y equidad de los ítems de la prueba. Los estudiantes generalmente calificaron positivamente las preguntas generadas por IA en términos de claridad y alineación pedagógica, aunque también señalaron áreas de mejora. En conclusión, los hallazgos sugieren que la IA generativa puede ofrecer una solución escalable y eficiente para la creación de ítems de prueba; sin embargo, se necesitan más refinamientos metodológicos para garantizar una validez, fiabilidad y equidad ética consistentes en las evaluaciones de aprendizaje.