홈

이 논문에선 기존 분산 학습 방법의 하나인 FedAvg의 느린 업데이트 집계와 대역폭 병목 문제를 지적하고 이를 해결하기 위해 over-the-air computation (AirComp)방법을 제안한다. AirComp는 무선 다중 접속 채널의 신호 중첩 성질을 활용해 곧바로 업데이트를 계산하여 통신과 집계를 동시에 빠르게 수행한다. 이 방법은 sparse, low-rank, difference-of-convex(DC)등의 수학적 방법을 통해 이 모델이 이론적으로 안정된 알고리즘(global convergence)임을 증명한다. 실험 결과, 제안한 방법은 기존 방법보다 더 많은 디바이스 수를 유지해 지연을 줄이고 학습 손실을 더 빨리 줄이며 예측 정확도를 높였다. 논문 링크: Federated Lear..

이 논문은 6G, AI native 통신에서 자주 사용되는 Split Learning에 관해 소개한다. 이는 Federated Learning과 자주 비교되며 이에 대해 공부하고 정리해 보았다. 쉽게 요약하자면 각 의료기관들은 연산을 많이 하지 못하고 데이터도 부족하니 중간 단계(cut layer)까지만 학습한 후 중앙 기관에 학습결과를 공유한다. 중앙에선 이 결과들을 모아 하나의 학습 모델을 만들고 각 기기들에게 공유한다. 이러면 작은 병원에서도 많은 데이터를 집합한 모델을 쓸 수 있고 데이터를 여러 기관끼리 직접 공유하지 않아도 된다. 이런 SplitNN은 연산량과 대역폭 면에서도 다른 방법보다 유리한 결과가 나타났다. 논문 링크: Split learning for health: Distri..

논문 링크: Communication-Efficient Learning of Deep Networks from Decentralized DataModern mobile devices have access to a wealth of data suitable for learning models, which in turn can greatly improve the user experience on the device. For example, language models can improve speech recognition and text entry, and image models can automaarxiv.org 출처: H. B. McMahan, E. Moore, D. Ramage, S. Hampson,..