A hybrid chatbot for University service delivery

Abstract

Este estudo apresenta o desenvolvimento e avaliação de um sistema de chatbot híbrido baseado em inteligência artificial, concebido para melhorar a prestação de serviços universitários na Universidade ISLA. Os métodos de comunicação tradicionais, como e mails e chamadas telefónicas, resultam em respostas atrasadas (média de 24-48 horas) e ineficiências administrativas, criando estrangulamentos nos serviços de apoio a estudantes e professores. Metodologia: O sistema emprega uma arquitetura híbrida de dois níveis combinando (1) correspondência de padrões baseada em regras usando Spacy (modelo en_core_web_sm) para processamento de linguagem natural e RapidFuzz para correspondência difusa de strings (limiar de confiança de 70%), e (2) fallback baseado em IA usando o modelo LLaMA 3.1 da Groq (70 mil milhões de parâmetros) para tratar consultas fora da base de conhecimento predefinida. O backend baseado em Flask gere quatro funções principais: consultas sobre cursos (4.468 intenções específicas de cursos), rastreamento de pedidos de documentos com geração automática de bilhetes, respostas a perguntas frequentes gerais (329 pares de perguntas e respostas predefinidos) e gestão de lembretes para professores. A persistência de dados é alcançada através de armazenamento baseado em JSON, permitindo recuperação rápida e escalabilidade do sistema. Implementação: A arquitetura prioriza a eficiência ao tentar primeiro a correspondência baseada em regras (tempo médio de resposta: 0,001 segundos), recorrendo à geração por IA apenas quando os limiares de confiança não são atingidos (tempo médio de resposta: 1-2 segundos). O sistema integra suporte multilíngue (português e inglês) via Google Translator e inclui gestão de sessões para autenticação de utilizadores e interações personalizadas. A interface baseada na web foi desenvolvida usando HTML, CSS e JavaScript, proporcionando design responsivo em diferentes dispositivos. Resultados: Os testes de desempenho com 10 utilizadores registados demonstraram uma taxa de resolução primária de 70% através de correspondência baseada em regras, com tratamento baseado em IA das consultas restantes. A base de conhecimento compreende 329 pares de perguntas e respostas gerais da universidade e 4.468 intenções específicas de cursos, proporcionando cobertura abrangente de consultas comuns de estudantes e professores. O sistema processou com sucesso múltiplos tipos de consultas em gestão de cursos, rastreamento de pedidos de documentos e recuperação de informações universitárias. O tempo médio de resposta para respostas baseadas em regras manteve-se abaixo de 0,002 segundos, enquanto as respostas de fallback de IA foram em média de 1-2 segundos. Conclusão: O chatbot híbrido demonstra com sucesso a viabilidade de combinar a eficiência baseada em regras com a flexibilidade da IA para automação de serviços universitários. A abordagem de dois níveis fornece respostas rápidas e fiáveis para consultas comuns (70% dos casos de teste), mantendo a capacidade de lidar com questões novas através da integração de modelos de linguagem grandes. No entanto, as limitações incluem dependência de bases de conhecimento predefinidas para desempenho ótimo, precisão reduzida para consultas parafraseadas abaixo do limiar de 70% de similaridade, e dependência da disponibilidade de API externa para funcionalidade de fallback de IA. Trabalhos futuros devem explorar bases de conhecimento expandidas, integração do histórico de conversação para melhor consciência do contexto, e mecanismos de aprendizagem híbrida para migrar respostas geradas por IA bem-sucedidas para a camada baseada em regras.

This study presents the development and evaluation of a hybrid AI-powered chatbot system designed to enhance university service delivery at ISLA University. Traditional communication methods such as emails and phone calls result in delayed responses (24 48 hours average) and administrative inefficiencies, creating bottlenecks in student and faculty support services. Methodology: The system employs a two-tier hybrid architecture combining (1) rule based pattern matching using Spacy (en_core_web_sm model) for natural language processing and RapidFuzz for fuzzy string matching (70% confidence threshold), and (2) AI-powered fallback using Groq's LLaMA 3.1 model (70 billion parameters) for handling queries outside the predefined knowledge base. The Flask-based backend manages four core functions: coursework queries (4,468 course-specific intents), document request tracking with automated ticket generation, general FAQ responses (329 predefined Q&A pairs), and professor reminder management. Data persistence is achieved through JSON-based storage, enabling rapid retrieval and system scalability. Implementation: The architecture prioritizes efficiency by attempting rule-based matching first (average response time: 0.001 seconds), falling back to AI generation only when confidence thresholds are not met (average response time: 1-2 seconds). The system integrates multi-language support (Portuguese and English) via Google Translator and includes session management for user authentication and personalized interactions. The web-based interface was developed using HTML, CSS, and JavaScript, providing responsive design across devices. Results: Performance testing with 10 registered users demonstrated a 70% primary resolution rate through rule-based matching, with AI-powered handling of remaining queries. The knowledge base comprises 329 general university Q&A pairs and 4,468 course-specific intents, providing comprehensive coverage of common student and faculty inquiries. The system successfully processed multiple query types across coursework management, document request tracking, and university information retrieval. Average response time for rule-based responses remained under 0.002 seconds, while AI fallback responses averaged 1-2 seconds. Conclusion: The hybrid chatbot successfully demonstrates the viability of combining rule-based efficiency with AI flexibility for university service automation. The two-tier approach provides reliable, fast responses for common queries (70% of test cases) while maintaining capability to handle novel questions through large language model integration. However, limitations include dependency on predefined knowledge bases for optimal performance, reduced accuracy for paraphrased queries below the 70% similarity threshold, and reliance on external API availability for AI fallback functionality. Future work should explore expanded knowledge bases, integration of conversation history for improved context awareness, and hybrid learning mechanisms to migrate successful AI generated responses into the rule-based layer.