https://arxiv.org/abs/2305.18285
Partially Personalized Federated Learning: Breaking the Curse of Data Heterogeneity
We present a partially personalized formulation of Federated Learning (FL) that strikes a balance between the flexibility of personalization and cooperativeness of global training. In our framework, we split the variables into global parameters, which are
arxiv.org
1. 우리는 개인화의 유연성과 글로벌 훈련의 협력성 사이의 균형을 이루는 부분적으로 개인화된 연합 학습(FL)의 공식화를 제시합니다. 우리의 프레임워크에서는, 모든 클라이언트 간에 공유되는 글로벌 파라미터와 개인 정보를 보유하는 개별 로컬 파라미터로 변수를 분리합니다.
2. 파라미터가 적절히 분할되면, 각 클라이언트가 자신의 데이터를 완벽하게 맞출 수 있도록 하는 글로벌 파라미터를 찾을 수 있다는 것을 증명하였습니다. 이를 '과도하게 개인화된' 문제라고 합니다. 예를 들어, 공유되는 글로벌 파라미터는 좋은 데이터 표현을 학습하는 데 사용할 수 있으며, 개인화된 계층은 특정 클라이언트에 대해 미세 조정됩니다.
3. 또한, 모든 클라이언트에게 상당한 이점을 제공하는 부분적으로 개인화된 공식화를 위한 간단한 알고리즘을 제시합니다. 특히, 이는 로컬 단계로의 훈련, 비동기 훈련, 비잔틴-강건 훈련 등의 여러 설정에서 데이터 이질성의 저주를 깨뜨립니다.
'AI > etc' 카테고리의 다른 글
| 생성 후 선택: World Knowledge가 안내하는 개방형 시각적 질문 답변 (0) | 2023.05.31 |
|---|---|
| 과거를 상상하여 미래를 추론 (0) | 2023.05.30 |
| 네이버가 보는 AGI 는? (0) | 2023.05.30 |
| Just Forward 패스로 언어 모델 미세 조정 (0) | 2023.05.30 |
| 마음의 눈 재구성: fMRI-to-Image with Contrastive Learning 및 Diffusion Priors (0) | 2023.05.30 |