Os sistemas de IA estão sendo treinados em diversos campos para tomar decisões significativas, como usar IA para gerir o tráfego urbano a fim de aumentar a velocidade, segurança e sustentabilidade. No entanto, isso é desafiador, pois os modelos de aprendizado por reforço frequentemente encontram dificuldades com variações nas tarefas. Para resolver isso, pesquisadores do MIT desenvolveram um algoritmo mais eficiente para treinar esses modelos. Este algoritmo seleciona estrategicamente as tarefas mais impactantes para treinar a IA, o que maximiza o desempenho e minimiza os custos. Por exemplo, no controle de semáforos de tráfego urbano, ele se concentra em um número menor de interseções chave para o treinamento, melhorando a eficácia geral. Os pesquisadores descobriram que este método é de 5 a 50 vezes mais eficiente do que as abordagens convencionais, levando a um aprendizado mais rápido e a um melhor desempenho da IA. A autora sênior Cathy Wu destaca a simplicidade e eficácia do algoritmo, enfatizando seu potencial para uma adoção mais ampla.

A pesquisa, apresentada na Conference on Neural Information Processing Systems, foi conduzida por Jung-Hoon Cho, Vindula Jayawardana, Sirui Li e Cathy Wu. Os métodos tradicionais envolvem treinar um algoritmo separado para cada interseção ou um para todas, ambos com desvantagens. O novo método encontra um equilíbrio ao usar aprendizado por transferência para aplicar um modelo treinado a novas tarefas sem treinamento adicional, concentrando-se em tarefas que melhoram o desempenho geral do algoritmo. O algoritmo desenvolvido de Aprendizado por Transferência Baseado em Modelo (MBTL) estima o benefício de treinar novas tarefas modelando o desempenho individual das tarefas e a generalização através de diferentes tarefas, selecionando aquelas que oferecem os maiores ganhos. Esta abordagem aumenta significativamente a eficiência do treinamento, usando muito menos dados para chegar às mesmas soluções. Os testes mostraram a eficiência do MBTL em várias tarefas simuladas, alcançando até 50 vezes mais eficiência no treinamento. Isso significa uma redução significativa nos requisitos de dados para alcançar soluções ótimas. Os pesquisadores visam expandir o MBTL para enfrentar problemas mais complexos e do mundo real, particularmente nos sistemas de mobilidade de próxima geração. A pesquisa recebeu apoio de várias instituições, incluindo uma CAREER Award da National Science Foundation e uma Amazon Robotics PhD Fellowship.