AI-Powered vehicle image recognition for smart urban planning and traffic management

Abstract

Modern cities face complex challenges in traffic management and road maintenance, which impact both quality of life and infrastructure efficiency. AI-powered vehicle image recognition offers a promising solution by transforming visual data into actionable insights for optimized transportation planning and predictive infrastructure maintenance. Artificial Intelligence enables complex, data-driven tasks through machine learning, with computer vision processing visual data to extract actionable insights in urban environments. By leveraging vehicle identification and object detection, AI enhances urban planning and transportation systems, optimizing traffic flow, reducing congestion, and improving safety, while also enabling proactive infrastructure maintenance through real-time analysis. Recent advances in deep learning and convolutional neural networks have introduced robust, real time image recognition capabilities that offer practical solutions for the challenges of urban mobility and infrastructure management. This work focuses on the development of an AI-driven image recognition application for vehicle identification, aimed at supporting integrated urban planning, transportation systems optimization, and infrastructure monitoring. The research begins with an overview of artificial intelligence, machine learning, and deep learning principles, with particular emphasis on the architecture and effectiveness of CNNs in object detection tasks. A structured methodology is presented, detailing the proposed architectural system, selection of relevant datasets, data annotation processes, and experimental setup. Special attention is given to the implementation of state-of-the-art object detection models, such as YOLO (You Only Look Once), trained and evaluated using the mixed COCO+BDD100k dataset within the PyTorch framework, and optimized through GPU acceleration to achieve high-speed inference and detection accuracy. Based on the Design Science Research methodology, this work developed a real-time vehicle tracking system using a YOLOv11n, achieving a detection precision of approximately 78% and a Multi-Object Tracking Accuracy (MOTA) of 67.5%, successfully demonstrating capabilities for vehicle counting, speed estimation, and ESAL calculation to support urban planning and predictive maintenance. Furthermore, the study discusses the system's potential to integrate with urban monitoring platforms, offering real-time data streams for city planners and traffic authorities. The findings underscore the transformative potential of AI in advancing urban mobility, safety, and infrastructure resilience, while also identifying avenues for future research, including the integration of multi-source data, scalability challenges, and adaptive learning mechanisms for evolving urban environments.

As cidades modernas enfrentam desafios complexos na gestão do tráfego e manutenção de estradas, o que impacta tanto a qualidade de vida quanto a eficiência da infraestrutura. O reconhecimento de imagens de veículos com IA oferece uma solução promissora ao transformar dados visuais em informações acionáveis para um planeamento de transporte otimizado e uma manutenção preditiva da infraestrutura. A Inteligência Artificial permite tarefas complexas e orientadas por dados através da aprendizagem máquina, sendo que a visão computacional processa dados visuais para extrair informações acionáveis em ambientes urbanos. Ao alavancar a identificação de veículos e a deteção de objetos, a IA melhora o planeamento urbano e os sistemas de transporte, otimizando o fluxo de tráfego, reduzindo congestionamentos e melhorando a segurança, além de permitir uma manutenção proativa da infraestrutura através de análise em tempo real. Avanços recentes em aprendizagem profunda e redes neuronais convolucionais introduziram capacidades robustas de reconhecimento de imagem em tempo real que oferecem soluções práticas para os desafios da mobilidade urbana e gestão de infraestruturas. Este trabalho foca-se no desenvolvimento de uma aplicação de reconhecimento de imagem orientada por IA para identificação de veículos, com o objetivo de apoiar o planeamento urbano integrado, a otimização dos sistemas de transporte e a monitorização de infraestruturas. A investigação começa com uma visão geral dos princípios de inteligência artificial, aprendizado de máquina e aprendizagem profunda, com ênfase particular na arquitetura e eficácia das CNNs em tarefas de deteção de objetos. É apresentada uma metodologia estruturada, detalhando o sistema arquitetónico proposto, a seleção de conjuntos de dados relevantes, os processos de anotação de dados e o enquadramento experimental. É dada atenção especial à implementação de modelos de deteção de objetos de última geração, como o YOLO, treinados e avaliados usando o conjunto de dados do COCO+BDD100k no ambiente PyTorch, e otimizados através de aceleração por GPU para alcançar alta velocidade de inferência e precisão de deteção. Com base na metodologia Design Science Research, este trabalho desenvolveu um sistema de rastreamento de veículos em tempo real usando um YOLOv11n, alcançando uma precisão de deteção de aproximadamente 78% e uma Multi Object Tracking Accuracy (MOTA) de 67,5%, demonstrando com sucesso capacidades para contagem de veículos, estimativa de velocidade e cálculo de ESAL para apoiar o planeamento urbano e a manutenção preditiva. Além disso, o estudo discute o potencial do sistema para se integrar a plataformas de monitorização urbana, oferecendo fluxos de dados em tempo real para planeamento urbano e autoridades de trânsito. As conclusões reforçam o potencial transformador da IA no avanço da mobilidade urbana, segurança e resiliência das infraestruturas, enquanto identifica direções para pesquisas futuras, incluindo a integração de dados de múltiplas fontes, desafios de escalabilidade e mecanismos de aprendizagem adaptativa para ambientes urbanos em evolução.