Avaliação experimental de aprendizado federado sob diferentes condições de rede
Arquivos
Data
2023-01-25
Autores
Eguchi, Jhonatan Hiroo 
Orientadores
Kimura, Bruno Yuji Lino
Tipo
Trabalho de conclusão de curso
Título da Revista
ISSN da Revista
Título de Volume
Resumo
No Aprendizado Federado (AF), um sistema distribuído é composto por um conjunto de dispositivos clientes que são conectados a um servidor para realizar o treinamento de um modelo de aprendizado de máquina. Neste sistema, a qualidade da conectividade dos clientes está sujeita a diferentes condições da rede, especificamente, condições do enlace de gargalo presente no caminho fim-a-fim entre cliente e servidor. Enquanto muitos trabalhos da literatura propõem soluções de AF com foco no aprimoramento do modelo em si, o impacto da rede no desempenho do modelo ainda é pouco discutido. Neste contexto, o objetivo deste trabalho é avaliar experimentalmente a influência da latência, vazão e perda de pacotes na rede sobre um modelo de AF. Resultados experimentais em um ambiente de emulação mostraram que, para modelos simples com poucas rodadas entre cliente e servidor, os impactos da rede na acurácia do modelo não são evidentes. Por outro lado, em modelos mais robustos e com mais rodadas entre clientes e servidores, a latência foi o principal parâmetro que causou degradação de desempenho no aprendizado, no caso, uma latência de 500 ms prejudicou a acurácia em cerca de 1\%, quando comparada a uma latência de 20 ms, a acurácia sendo uma métrica do modelo do aprendizado de máquina para avaliar o quão bom está o modelo quando submetido a uma base de testes. Além de prejudicar o modelo, foi observado que latências elevadas e perdas de pacotes levam a erros na aplicação, desconectando clientes durante o aprendizado. A partir dos resultados experimentais, este trabalho apresenta discussão sobre desafios e oportunidades na interação entre transmissão de dados e aplicações de AF.
In Federated Learning (FL), a distributed system is consisted of a set of client devices that are connected to a server in order to train a machine learning model. In such system, the quality of connectivity from the clients depends on the network conditions, more specifically, the conditions of the bottleneck link in the end-to-end path between client and server. While many works in the literature propose FL solutions focused on improving the learning model itself, network effects on the performance of the models are still little discussed. In this context, the aim of this work is to experimentally evaluate the impact of packet latency, throughput and packet loss on a FL model. Experimental results in an emulation environment have shown that, for simple models with low rounds between clients and server, the network impact on the model accuracy were not evident. However, in robust models with more rounds between clients and server, the latency degraded the model performance, e.g., a 500 ms packet latency harmed the accuracy in about 1\% compared to a 20 ms latency, accuracy being a machine learning metric to evaluate how efficient is a model over the test data sets. In addition, higher latencies and higher packet loss lead to application errors, disconnecting clients during the model training. From the experimental results, this work presents discussions on challenges and opportunities regarding the interaction between data transmission and FL applications.
In Federated Learning (FL), a distributed system is consisted of a set of client devices that are connected to a server in order to train a machine learning model. In such system, the quality of connectivity from the clients depends on the network conditions, more specifically, the conditions of the bottleneck link in the end-to-end path between client and server. While many works in the literature propose FL solutions focused on improving the learning model itself, network effects on the performance of the models are still little discussed. In this context, the aim of this work is to experimentally evaluate the impact of packet latency, throughput and packet loss on a FL model. Experimental results in an emulation environment have shown that, for simple models with low rounds between clients and server, the network impact on the model accuracy were not evident. However, in robust models with more rounds between clients and server, the latency degraded the model performance, e.g., a 500 ms packet latency harmed the accuracy in about 1\% compared to a 20 ms latency, accuracy being a machine learning metric to evaluate how efficient is a model over the test data sets. In addition, higher latencies and higher packet loss lead to application errors, disconnecting clients during the model training. From the experimental results, this work presents discussions on challenges and opportunities regarding the interaction between data transmission and FL applications.