Rev. Cient. Sist. Inform. 3(2), e570, doi: 10.51252/rcsi.v3i2.570
Artículo original
Original article
Jul-Dic, 2023
https://revistas.unsm.edu.pe/index.php/rcsi
e-ISSN: 2709-992X
Este es un artículo de acceso abierto distribuido bajo los términos de la licencia de atribución de Creative Commons, que permite el uso sin restricciones, distribución y
reproducción en cualquier medio, siempre que se cite debidamente la obra original.
Implementación de un chatbot basado en modelo de
lenguaje de inteligencia artificial para responder preguntas
frecuentes de estudiantes universitarios
Implementation of a chatbot based on artificial intelligence language model to
respond to frequently asked questions from university students
Espinosa-Luna, Bruno Hiroshi1* Montañez-Díaz, Bruno Adrián1
Castillo-Oliva, Johann1 Mendoza-De-los-Santos, Alberto1
1Universidad Nacional de Trujillo, Trujillo, Perú
Recibido: 28 May. 2023 | Aceptado: 26 Jun. 2023 | Publicado: 10 Jul. 2023
Autor de correspondencia*: t033300120@unitru.edu.pe
Como citar este artículo: Espinosa-Luna, B. H., Castillo-Oliva, J., Montañez-Díaz, B. A. & Mendoza-De los Santos, A. (2023).
Implementación de un chatbot basado en modelo de lenguaje de inteligencia artificial para responder preguntas frecuentes de
estudiantes universitarios. Revista Científica de Sistemas e Informática, 3(2), e570. https://doi.org/10.51252/rcsi.v3i2.570
RESUMEN
El uso de asistentes virtuales es común en los procesos de atención de distintas universidades alrededor del
mundo. En la actualidad, se ofrecen varias herramientas de inteligencia artificial como procesadores de lenguaje
natural para el desarrollo más eficiente de este servicio. El artículo expone la implementación y evaluación de
usabilidad de un chatbot basado en el modelo de lenguaje GPT-3.5-Turbo para la atención a estudiantes de
primer ciclo de Ingeniería de Sistemas de la Universidad Nacional de Trujillo. El diseño de la investigación fue
pre-experimental y se aplicó el cuestionario de usabilidad de chatbot o CUQ como instrumento de investigación.
Los resultados obtenidos fueron que el chatbot presenta un nivel de usabilidad percibida aceptable y el 93% de
estudiantes estuvieron de acuerdo de que las respuestas brindadas por el asistente virtual fueron útiles. El agente
conversacional destacó en la facilidad de uso y navegación, además, se exhibió problemas en entender las
preguntas realizadas por el usuario y de brindar respuestas de forma natural.
Palabras clave: agente conversacional; asistente virtual; atención universitaria; GPT; soporte estudiantil
ABSTRACT
The use of virtual assistants is common in the service processes of different universities around the world.
Nowadays, several artificial intelligence tools such as natural language processors are offered for a more efficient
development of this service. This article presents the implementation and usability evaluation of a chatbot based
on the GPT-3.5-Turbo artificial intelligence language model for the attention of first semester students of Systems
Engineering at the National University of Trujillo. The research design was pre-experimental and the chatbot
usability questionnaire or CUQ was applied as a research instrument. The results obtained were that the chatbot
presents an acceptable level of perceived usability and 93% of students agreed that the answers provided by the
virtual assistant were useful. The conversational agent stood out in ease of use and navigation, and also exhibited
problems in understanding the questions asked by the user and providing answers in a natural way.
Keywords: conversational agent; virtual assistant; university care; GPT; student support; student support
Espinosa-Luna, B. H. et al
2 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
1. INTRODUCCIÓN
La Inteligencia Artificial (IA), según Saranya & Subhashini (2023), se refiere a un sistema o máquina que
imita la inteligencia humana con el propósito de resolver problemas específicos. En la actualidad, la IA
continúa incrementando su presencia en la industria y en la vida cotidiana. Bajo ese contexto, una de las
aplicaciones específicas de la IA en crecimiento son los agentes conversacionales (Mariani et al., 2023),
también conocidos como chatbots. Los chatbots se programan para procesar el lenguaje natural y permitir
la interacción con los seres humanos a través de texto (Barus & Surijati, 2022).
Estos agentes automatizados pueden ser programados e integrados en empresas utilizando plataformas
como Dialogflow o LINE (Hsu & Lin, 2023). Sin embargo, además de estas opciones, existen los
transformadores generativos preentrenados, conocidos como GPT (Generative Pretrained Transformers),
que forman parte de los LLMs (Large Language Models). Estos modelos tienen la capacidad de procesar el
lenguaje natural y pueden ser utilizados para desarrollar diversas herramientas (Eloundou et al., 2023).
Dentro de estos modelos, uno de los más grandes y con mayor capacidad en la actualidad es el modelo GPT-
3 de la compañía OpenAI. Este modelo se utiliza en múltiples aplicaciones de procesamiento de lenguaje
natural gracias a su alta flexibilidad y adaptabilidad, incluyendo la creación de chatbots (Ray, 2023).
Las compañías utilizan estas plataformas y herramientas para desarrollar agentes conversacionales
enfocados en los clientes con el objetivo de mejorar el servicio aprovechando la capacidad de respuesta
que ofrecen (Wang et al., 2022). Esto es especialmente relevante en organizaciones que enfrentan una alta
demanda y requieren una interacción continua con sus grupos de interés, como en los centros de educación
superior.
En base a esto, la administración y soporte en las universidades enfrentan el desafío de responder a
preguntas simples y repetitivas (Lee et al., 2019), lo cual se vuelve más tedioso a medida que aumenta el
número de estudiantes. Esta situación puede generar insatisfacción laboral y una disminución en la calidad
del servicio (Madhan Kumar et al., 2023).
En el contexto de la Universidad Nacional de Trujillo (UNT), los estudiantes realizan consultas de forma
presencial, a través de las redes sociales de la universidad o los portales web. Sin embargo, la atención se
ve limitada debido a la disponibilidad del personal y a sus capacidades para brindar respuestas inmediatas
a las consultas. Además, el personal encargado de la atención puede tener múltiples responsabilidades
asignadas, lo que conlleva a una sobrecarga de trabajo. Esto se vuelve especialmente problemático cuando
se trata de atender consultas simples y repetitivas. Como resultado, la calidad del servicio de atención
puede verse afectada negativamente.
Para abordar este problema, investigaciones plantean el uso de chatbots en el entorno educativo de nivel
superior para automatizar la atención de preguntas frecuentes de los estudiantes (Santana et al., 2021). Así
mismo, se ha relacionado la implementación de los agentes conversacionales con la mejora de la
experiencia de usuario (Reddy K et al., 2022). Entonces, el presente estudio busca beneficiar tanto a
estudiantes como al personal de soporte al estudiante al automatizar el proceso de consulta y respuesta de
preguntas frecuentes con el desarrollo de un chatbot para la atención a estudiantes.
En base a las pruebas de la implementación del chatbot para los estudiantes del primer ciclo de la Escuela
de Ingeniería de Sistemas en la UNT, se busca evaluar la usabilidad del agente conversacional en la atención
de preguntas frecuentes usando el aplicativo de mensajería instantánea WhatsApp como interfaz de
usuario. Sin embargo, para asegurar que el chatbot es funcional, uno de los indicadores medidos en diversas
implementaciones es la usabilidad (Casazola Cruz et al., 2021), que es una medida de calidad de la
experiencia del usuario al interactuar con un software (Sánchez, 2011).
Espinosa-Luna, B. H. et al
3 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
Por lo tanto, se plantea la pregunta ¿Cómo es la usabilidad de un chatbot basado en modelo de lenguaje
para la atención de estudiantes universitarios? Con base en esta pregunta, el objetivo general de este
estudio es desarrollar un chatbot utilizando el modelo de lenguaje GPT-3.5-Turbo, con el propósito de
evaluar su usabilidad percibida por los estudiantes de primer ciclo de Ingeniería de Sistemas en la
Universidad Nacional de Trujillo. Los objetivos específicos son:
(i) Determinar el nivel de usabilidad del chatbot
(ii) Evaluar la utilidad percibida de las respuestas proporcionadas por el chatbot
(iii) Identificar los aspectos positivos de usabilidad del chatbot
(iv) Identificar los aspectos negativos de usabilidad del chatbot.
2. MATERIALES Y MÉTODOS
2.1. Software
Para el desarrollo del backend, se adoptó el uso de la arquitectura serverless. En esencia, el backend se
refiere a los componentes internos de una aplicación web, como la base de datos, el servidor y la lógica de
negocio, que permanecen ocultos para el cliente (Sotnik et al., 2023). Lo destacable es que esta arquitectura
serverless se ha implementado gracias a un tipo de servicio en la nube denominado “Plataforma como
Servicio” (PaaS).
Con el uso de serverless, se ha logrado eliminar la necesidad de aprovisionar, mantener y administrar
servidores por parte de los desarrolladores (Kumar, 2019). Esto implica que todos los componentes que
forman la arquitectura funcionan de manera automática y bajo demanda, liberando a los desarrolladores
de tareas tediosas y permitiéndoles centrarse en la esencia de su aplicación.
En este sentido, PaaS proporciona un marco óptimo para que los desarrolladores construyan aplicaciones
y programas sin la necesidad de instalar o gestionar complejos entornos de producción (Mohammed &
Zeebaree, 2021). Al eliminar la carga de administrar la infraestructura subyacente, los desarrolladores
pueden enfocarse en la creación de aplicaciones innovadoras y de alta calidad. Este enfoque permite una
mayor agilidad en el desarrollo de software y la creación de soluciones más escalables (Shaji George &
Sagayarajan, 2023).
Acorde a ello, la adopción de una arquitectura serverless para el backend implementada a través de un
servicio en la nube basado en PaaS, en este caso la plataforma Render, posibilitó una forma eficiente y
simplificada de construir y distribuir aplicaciones web, esto liberó la carga de gestionar servidores y
entornos complejos en el proyecto.
Ahora bien, durante el desarrollo del software se usaron diversos recursos tecnológicos y herramientas. El
backend desarrollado consiste en la implementación de una REST API, la cual permitió la transferencia de
datos entre el cliente y el servidor, estableciendo así el estado de los recursos involucrados (Wolde &
Boltana, 2021). Para su desarrollo se utilizó el entorno de ejecución Node.js junto con el framework Express.
Además, se aprovechó el servicio de MongoDB Atlas como base de datos para almacenar la información de
la escuela académica de Ingeniería de Sistemas. También se utilizó la API de WhatsApp Cloud para poder
recibir y enviar mensajes a un número asociado gracias a un webhook registrado en dicha plataforma. Un
webhook es un mecanismo a través del cual un servidor (API de WhatsApp) llamará a un servicio en otro
servidor (servidor personalizado de NodeJS) cuando reciba una solicitud específica del cliente (Nugraha &
Sebastian, 2021).
Por último, y más importante, la API de OpenAI brindó acceso al modelo GPT-3.5 turbo, perteneciente a la
familia de los LLMs. Al igual que GPT-3, este modelo ofrece un conjunto inusualmente amplio de
Espinosa-Luna, B. H. et al
4 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
capacidades, como resumen de texto, comportamiento de chatbot, búsqueda, generación de código y
generación de ensayos (Tamkin et al., 2021). Sin embargo, GPT-3.5-Turbo va un paso más allá al ser
optimizado para conversaciones lo cual fue clave para el funcionamiento del chatbot.
A continuación, se describe el flujo del servicio del chatbot, detallando cada etapa desde la entrada de las
preguntas por parte de los estudiantes hasta la generación y envío de las respuestas correspondientes. Una
representación visual de este flujo se muestra en la Figura 1.
Inicialmente, cuando un estudiante formula una pregunta en su cuenta de WhatsApp, el webhook detecta
dicho mensaje y lo envía a la ruta ‘/api/chat’ de la REST API, en donde se procesa la pregunta. En dicho
procesamiento, se construye un prompt que contiene la información necesaria sobre la escuela académica
que fue recogida de la base de datos. Los prompts son instrucciones dadas a un LLM para hacer cumplir
reglas, automatizar procesos y garantizar cualidades específicas (y cantidades) de la salida generada
(White et al., 2023).
Este proceso es conocido como Ingeniería de peticiones (Prompt Engineering), el cual implica la utilización
de prompts, que se suministran al modelo de lenguaje durante el proceso de inferencia con el fin de
proporcionarle información relevante sobre la tarea que se realizará posteriormente (Busch et al., 2023).
Por ejemplo, el prompt inicial que se le brindó al modelo fue: “Eres el asistente virtual de la escuela de
ingeniería de sistemas y tu función es atender las consultas de los estudiantes”. Además, se hizo necesario
establecer ciertas restricciones, como la indicación de limitarse a la información proporcionada, y aclarar
algunos conceptos relacionados con los procesos académicos.
Luego del proceso de construcción del prompt, este se envía a la API de OpenAI, la cual genera una respuesta
apropiada a la pregunta del estudiante. Posteriormente, la pregunta y respuesta se guardan en la base de
datos, y la respuesta generada se envía de vuelta al estudiante a través de WhatsApp, completando así el
flujo del servicio del chatbot.
Figura 1. Arquitectura del chatbot de atención estudiantil
2.2. Prueba de usabilidad
La investigación se llevó a cabo como una aplicación con enfoque cuantitativo y diseño preexperimental.
En esta etapa, se trabajó con una muestra de 41 estudiantes pertenecientes al primer ciclo de la escuela
profesional de Ingeniería de Sistemas de la Universidad Nacional de Trujillo sede Trujillo.
Para analizar la usabilidad percibida, se aplicó el instrumento de medición validado CUQ (Chatbot Usability
Questionnaire) (Holmes et al., 2019) compuesto por 16 ítems con la escala de Likert de 5 puntos (totalmente
en desacuerdo, en desacuerdo, ni de acuerdo ni en desacuerdo, de acuerdo, totalmente de acuerdo), un
puntaje calculado en base a 160 y normalizado a 100. Este instrumento ha sido creado para medir con
mayor certeza la usabilidad en agentes conversacionales y está basado en SUS (System Usability Scale), una
Espinosa-Luna, B. H. et al
5 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
métrica de usabilidad ampliamente utilizada en la industria por ser un instrumento fácil de aplicar y flexible
en el análisis de cualquier tipo de software con sus 10 ítems (Jordan et al., 1996). De acuerdo con Holmes
et al. (2019), los resultados obtenidos pueden ser interpretados bajo los mismos métodos planteados para
SUS debido al alto nivel de concordancia entre ambas escalas de usabilidad.
Posteriormente, el cuestionario fue aplicado de forma presencial a los estudiantes, después de brindar un
plazo de 5 días para probar el asistente virtual. Para la tabulación de los datos, se han exportado las
respuestas al programa Microsoft Excel 2019. En el mismo software se analizó y graficó los resultados
obtenidos. Asimismo, mediante el software IBM SPSS versión 27, se verificó el tipo de distribución de los
datos y, en base a ello, se aplicó la prueba de hipótesis correspondiente.
3. RESULTADOS
El chatbot se implementó exitosamente y a través de la interfaz de la aplicación de mensajería WhatsApp
se llevaron a cabo pruebas de interacción para observar el flujo de conversación del chatbot. En la Figura
2, se puede apreciar el flujo de conversación respecto al desarrollo de los laboratorios de clase en la Escuela
de Ingeniería de Sistemas de la universidad.
Figura 2. Ejemplo 1 de interacción con el chatbot
Espinosa-Luna, B. H. et al
6 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
Durante las pruebas de interacción en la Figura 2, se pudo observar que el chatbot ofreció respuestas
acordes a las expectativas, ya que estaban basadas en el conjunto de datos utilizado como referencia. Sin
embargo, cuando se planteó una pregunta que no estaba incluida en la base de datos como una pregunta
frecuente, tal como se muestra en la Figura 3, el chatbot respondió indicando que no disponía de dicha
información específica y ofreció el número de contacto de personal calificado para atender la consulta.
Figura 3. Ejemplo 2 de interacción con el chatbot
En su estudio, Barus & Surijati (2022) se encontraron con una situación similar durante la implementación
de un chatbot. Para abordar este problema, los investigadores decidieron entrenar nuevamente el modelo,
agregando la nueva pregunta a su base de conocimientos. En la Figura 4 se puede apreciar la respuesta
actualizada del chatbot después de haber actualizado la base de datos con la respuesta a la pregunta
planteada en la Figura 3, la cual no pudo ser resuelta inicialmente.
Espinosa-Luna, B. H. et al
7 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
Figura 4. Ejemplo 3 de interacción con el chatbot
En relación con la aplicación y análisis de las respuestas del cuestionario de usabilidad del chatbot, se
calculó un puntaje promedio CUQ de 73,4 (SD=10,1). Este resultado indica que la usabilidad percibida es
mayor al valor de referencia de 68 planteado por Lewis & Sauro (2018). Por lo tanto, el chatbot propuesto
muestra una mejor usabilidad que la mediana histórica de puntajes SUS. La Figura 5 muestra en mayor
detalle los resultados obtenidos en el cuestionario.
Figura 5. Diagrama de caja de los puntajes CUQ obtenidos
El chatbot implementado obtuvo el grado B- aprobatorio de acuerdo con la calificación por nivel planteado
por Lewis & Sauro (2018). Además, basado en el criterio de aceptabilidad formulado por Bangor et al.
(2008), el nivel de usabilidad es aceptable por tener un puntaje promedio mayor a 70.
Espinosa-Luna, B. H. et al
8 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
Para el análisis de los aspectos del chatbot, se calcula la media del puntaje de un ítem del cuestionario,
basado en valores numéricos de 1 a 5, donde el menor valor representa total desacuerdo con el enunciado,
mientras que el mayor valor representa total acuerdo.
Los ítems impares del cuestionario aplicado evalúan los aspectos positivos. Los promedios de los puntajes
de aspecto positivo son altos, como se observa en la Figura 6, donde el manejo de errores y el entendimiento
son los únicos cuyos promedios se encuentran entre la neutralidad y el acuerdo. El servicio destaca por su
facilidad de uso y navegación.
Figura 6. Media de puntuaciones de los aspectos positivos del chatbot
En la Tabla 1, se pone en evidencia que el 93% de los participantes están de acuerdo o totalmente de
acuerdo de que las respuestas brindadas por el agente conversacional son útiles, según la encuesta.
Tabla 1.
Aspecto “Respuestas útiles” del chatbot
Escala
Frecuencia
Porcentaje
Totalmente en desacuerdo
0
0%
En desacuerdo
0
0%
Ni de acuerdo, ni en desacuerdo
3
7%
De acuerdo
27
66%
Totalmente de acuerdo
11
27%
Total
41
100%
Los ítems pares evalúan los aspectos negativos. Los promedios de los puntajes de aspecto negativo se
encuentran mayoritariamente entre el desacuerdo y la neutralidad como se observa en la Figura 7. El
servicio debe mejorar las respuestas robóticas, así como el reconocimiento de las entradas y la confusión
que puede provocar durante el uso del asistente virtual.
Espinosa-Luna, B. H. et al
9 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
Figura 7. Media de puntuaciones de los aspectos negativos del chatbot
Los puntajes CUQ obtenidos por la encuesta presentan una distribución normal de acuerdo con la prueba
de normalidad de Shapiro-Wilk, puesto que el p-valor (0,435) es mayor al nivel de significancia (0,05)
considerado en el presente trabajo. Debido a esto, se aplica la prueba paramétrica T de Student a los
puntajes CUQ.
Tomando como hipótesis nula que la media de los puntajes CUQ es mayor o igual a la media histórica de 68
de SUS (Lewis & Sauro, 2018), se aplica la prueba T de Student de una cola para una sola muestra. El valor
t obtenido es 3,396, por lo que se acepta la hipótesis nula al ser el valor t mayor a 0. En la Tabla 2, se observa
los resultados de la aplicación de T de Student.
Tabla 2.
Prueba T de Student
T de Student
t
gl
Sig. (bilateral)
Decisión
Puntaje CUQ
3.396
40
0.002
Se acepta 𝐻0 y se rechaza 𝐻𝑎
Teniendo en cuenta la aplicación de agentes conversacionales en universidades, el puntaje obtenido por el
chatbot fue similar al del agente conversacional implementado por Jimenez Flores (2019), que utilizó la
plataforma Dialogflow de Google para el procesamiento del lenguaje natural, y que fue percibido como un
servicio de calidad por los usuarios.
Igualmente, la usabilidad positiva percibida por los usuarios del chatbot coincidió con los resultados de
Reddy K et al. (2022), puesto que brindó una experiencia positiva para el usuario final al responder sus
preguntas frecuentes en relación con asuntos académicos universitarios. Además, al analizar los resultados,
se encontró una coincidencia con el estudio de Santana et al. (2021), quienes también reportaron un alto
porcentaje de respuestas útiles en el chatbot a pesar de utilizar una base de conocimientos relativamente
pequeña debido a dificultades en la recolección de datos.
Sin embargo, hay ocasiones en las que el modelo de lenguaje, a pesar de reconocer entradas que no están
relacionadas a la escuela de ingeniería de sistemas, las responde de todas formas, o, en el peor de los casos,
combina la información con la de su preentrenamiento por defecto, produciendo respuestas erróneas. Lin
et al. (2020) experimentaron problemas similares en su agente conversacional basado en GPT. Por ese
motivo, aplicaron fine-tuning o ajuste fino al modelo para limitar su rango de respuestas a la información
proporcionada. Además, los mismos autores hacen énfasis en que el uso de conjuntos de datos de
Espinosa-Luna, B. H. et al
10 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
respuestas empáticas y humanas en el ajuste fino del modelo, como EmpatheticDialog (Rashkin et al.,
2018), permite obtener respuestas más naturales para el usuario final.
Adicionalmente, Kumar et al. (2022) comprueba que un buen diseño de prompts o entradas al modelo
facilita la interacción hombre-máquina del chatbot, y, por lo tanto, crea agentes conversacionales más
humanos. Esto incluye otorgar al agente conversacional una identidad clara y precisa al inicio de la
conversación para guiar el formato de respuesta en las siguientes preguntas, o ejemplos de conversaciones
reales que se desean imitar. En el chatbot implementado, se le indicó al modelo que debía responder las
preguntas relacionadas a la escuela de Ingeniería de Sistemas, así como las limitaciones en los temas a
contestar, pero no se proporcionó ejemplos de interacción humana con el estudiante para que actuará de
forma similar a los ejemplos.
CONCLUSIONES
El chatbot basado en el modelo de lenguaje GPT-3.5-Turbo para atención a estudiantes universitarios
presenta un nivel de usabilidad aceptable con un puntaje promedio CUQ de 73,4. Además, se encontró que
el 93% de encuestados consideraron que las respuestas proporcionadas por el chatbot fueron útiles. Se
destacan varios aspectos positivos, entre ellos la facilidad de uso y navegación que ofrece la interfaz por la
aplicación de mensajería WhatsApp. Sin embargo, se deben mejorar las respuestas robóticas y el
reconocimiento de entradas que brinda el modelo de lenguaje actualmente. Para abordar estas
limitaciones, se sugiere que investigaciones futuras, en línea con el tema de estudio actual, apliquen
técnicas como el ajuste fino del modelo utilizando datos relevantes para responder satisfactoriamente a las
preguntas frecuentes. Asimismo, se recomienda alimentar al modelo con ejemplos de respuestas humanas
deseables, con el objetivo de mejorar la naturalidad de sus respuestas.
FINANCIAMIENTO
Ninguno
CONFLICTO DE INTERESES
No existe ningún tipo de conflicto de interés relacionado con la materia del trabajo.
CONTRIBUCIÓN DE LOS AUTORES
Conceptualización: Espinosa-Luna, B. H., Castillo-Oliva, J. y Montañez-Díaz, B. A.
Curación de datos: Espinosa-Luna, B. H., Castillo-Oliva, J. y Montañez-Díaz, B. A.
Análisis formal: Espinosa-Luna, B. H.
Adquisición de fondos: Espinosa-Luna, B. H.
Investigación: Espinosa-Luna, B. H. y Montañez-Díaz, B. A.
Administración del proyecto: Montañez-Díaz, B. A.
Software: Castillo-Oliva, J. y Montañez-Díaz, B. A.
Supervisión: Mendoza-De-los-Santos, A.
Validación: Mendoza-De-los-Santos, A.
Visualización: Castillo-Oliva, J. y Montañez-Díaz, B. A.
Redacción -borrador original: Espinosa-Luna, B. H., Castillo-Oliva, J. y Montañez-Díaz, B. A.
Redacción - revisión y edición: Espinosa-Luna, B. H., Castillo-Oliva, J. y Montañez-Díaz, B. A.
Espinosa-Luna, B. H. et al
11 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
REFERENCIAS BIBLIOGRÁFICAS
Bangor, A., Kortum, P. T., & Miller, J. T. (2008). An Empirical Evaluation of the System Usability Scale.
International Journal of Human-Computer Interaction, 24(6), 574–594.
https://doi.org/10.1080/10447310802205776
Barus, S. P., & Surijati, E. (2022). Chatbot with Dialogflow for FAQ Services in Matana University Library.
International Journal of Informatics and Computation, 3(2), 62.
https://doi.org/10.35842/ijicom.v3i2.43
Busch, K., Rochlitzer, A., & Diana Sola, H. L. (2023). Just Tell Me: Prompt Engineering in Business Process
Management. Computer Science, 1. https://arxiv.org/abs/2304.07183
Casazola Cruz, O. D., Alfaro Mariño, G., Burgos Tejada, J., & Ramos More, O. A. (2021). La usabilidad
percibida de los chatbots sobre la atención al cliente en las organizaciones: una revisión de la
literatura. Interfases, 014, 184–204. https://doi.org/10.26439/interfases2021.n014.5401
Eloundou, T., Manning, S., Mishkin, P., & Rock, D. (2023). GPTs are GPTs: An Early Look at the Labor Market
Impact Potential of Large Language Models. http://arxiv.org/abs/2303.10130
Holmes, S., Moorhead, A., Bond, R., Zheng, H., Coates, V., & Mctear, M. (2019). Usability testing of a
healthcare chatbot: Can we use conventional methods to assess conversational user interfaces?
Proceedings of the 31st European Conference on Cognitive Ergonomics, 207–214.
https://doi.org/10.1145/3335082.3335094
Hsu, C.-L., & Lin, J. C.-C. (2023). Understanding the user satisfaction and loyalty of customer service
chatbots. Journal of Retailing and Consumer Services, 71, 103211.
https://doi.org/10.1016/j.jretconser.2022.103211
Jimenez Flores, V. J. (2019). Entidad conversacional de inteligencia artificial y calidad del servicio percibido
por estudiantes de la Universidad José Carlos Mariátegui Filial Tacna, 2018 – II. [Universidad Nacional
Jorge Basadre Grohmann]. http://repositorio.unjbg.edu.pe/handle/UNJBG/3848
Jordan, P. W., Thomas, B., McClelland, I. L., & Weerdmeester, B. (1996). Usability Evaluation In Industry
(1st ed.). CRC Press.
Kumar, H., Musabirov, I., Shi, J., Lauzon, A., Choy, K. K., Gross, O., Kulzhabayeva, D., & Williams, J. J. (2022).
Exploring The Design of Prompts For Applying GPT-3 based Chatbots: A Mental Wellbeing Case Study
on Mechanical Turk. http://arxiv.org/abs/2209.11344
Kumar, M. (2019). Serverless Architectures Review, Future Trend and the Solutions to Open Problems.
American Journal of Software Engineering, 6(1), 1–10. https://doi.org/10.12691/ajse-6-1-1
Lee, K., Jo, J., Kim, J., & Kang, Y. (2019). Can Chatbots Help Reduce the Workload of Administrative Officers? -
Implementing and Deploying FAQ Chatbot Service in a University (pp. 348–354).
https://doi.org/10.1007/978-3-030-23522-2_45
Lewis, J. R., & Sauro, J. (2018). Item Benchmarks for the System Usability Scale. Journal of Usability Studies,
13(3), 158–167. https://uxpajournal.org/wp-content/uploads/sites/7/pdf/JUS_Lewis_May2018.pdf
Lin, Z., Xu, P., Winata, G. I., Siddique, F. Bin, Liu, Z., Shin, J., & Fung, P. (2020). CAiRE: An End-to-End
Empathetic Chatbot. Proceedings of the AAAI Conference on Artificial Intelligence, 34(09), 13622–
13623. https://doi.org/10.1609/aaai.v34i09.7098
Madhan Kumar, C., Fardeen, M., Rohit, P., & Rakhes, M. (2023). AI based chatbot to answer faqs.
Interantional Journal of Scientific Research in Engineering and Management, 7(3).
https://doi.org/10.55041/IJSREM18072
Espinosa-Luna, B. H. et al
12 Rev. Cient. Sist. Inform. 3(2): e570; (Jul-Dic, 2023). e-ISSN: 2709-992X
Mariani, M. M., Hashemi, N., & Wirtz, J. (2023). Artificial intelligence empowered conversational agents: A
systematic literature review and research agenda. Journal of Business Research, 161, 113838.
https://doi.org/10.1016/j.jbusres.2023.113838
Mohammed, C. M., & Zeebaree, S. R. . (2021). Sufficient Comparison Among Cloud Computing Services:
IaaS, PaaS, and SaaS: A Review. International Journal of Science and Business, 5(2), 17–30.
https://ideas.repec.org/a/aif/journl/v5y2021i2p17-30.html
Nugraha, K. A., & Sebastian, D. (2021). Proceedings of the 7th International Conference on Education and
Technology (ICET 2021). Proceedings of the 7th International Conference on Education and
Technology, 601, 119–122. https://www.atlantis-press.com/proceedings/icet-21/125964506
Ray, P. P. (2023). ChatGPT: A comprehensive review on background, applications, key challenges, bias,
ethics, limitations and future scope. Internet of Things and Cyber-Physical Systems, 3, 121–154.
https://doi.org/10.1016/j.iotcps.2023.04.003
Reddy K, G. K., Pal, A., V, S. K., J, R., & K, S. (2022). Cross Domain Answering FAQ Chatbot. 2022
International Conference on Advanced Computing Technologies and Applications (ICACTA), 1–4.
https://doi.org/10.1109/ICACTA54488.2022.9752986
Sánchez, W. O. (2011). Logotipo del repositorio Comunidades Iniciar sesión Inicio Revistas y libros
Revista Ing-Novación No. 02, agosto 2011 La usabilidad en Ingeniería de software: definición y
características La usabilidad en Ingeniería de software: definición y característic. Revista Ing-
Novación, 2, 7–22. http://hdl.handle.net/11715/519
Santana, R., Ferreira, S., Rolim, V., Miranda, P., Nascimento, A., & Mello, R. F. (2021). A Chatbot to Support
Basic Students Questions. CEUR Workshop Proceedings, 3059, 58–67. http://sunsite.informatik.rwth-
aachen.de/Publications/CEUR-WS/Vol-3059/paper6.pdf
Saranya, A., & Subhashini, R. (2023). A systematic review of Explainable Artificial Intelligence models and
applications: Recent developments and future trends. Decision Analytics Journal, 7, 100230.
https://doi.org/10.1016/j.dajour.2023.100230
Shaji George, A., & Sagayarajan, S. (2023). Securing Cloud Application Infrastructure : Understanding the
Penetration Testing Challenges of IaaS , PaaS , and SaaS Environments Partners Universal
International Research Journal ( PUIRJ ). Partners Universal International Research Journal, March,
24–34. https://doi.org/10.5281/zenodo.7723187
Sotnik, S., Shakurova, T., & Lyashenko, V. (2023). Development Features Web-Applications. International
Journal of Academic and Applied Research, 7(1), 79–85.
https://openarchive.nure.ua/handle/document/21600
Tamkin, A., Brundage, M., Clark, J., & Ganguli, D. (2021). Understanding the Capabilities, Limitations, and
Societal Impact of Large Language Models. http://arxiv.org/abs/2102.02503
Wang, X., Lin, X., & Shao, B. (2022). How does artificial intelligence create business agility? Evidence from
chatbots. International Journal of Information Management, 66, 102535.
https://doi.org/10.1016/j.ijinfomgt.2022.102535
White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., Elnashar, A., Spencer-Smith, J., & Schmidt, D. C.
(2023). A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT.
http://arxiv.org/abs/2302.11382
Wolde, B. G., & Boltana, A. S. (2021). REST API Composition for Effective Testing the Cloud. Journal of
Applied Research and Technology, 19(6), 676–693.
https://doi.org/10.22201/icat.24486736e.2021.19.6.924
