https://arxiv.org/abs/2305.18274
github: https://medarc-ai.github.io/mindeye/
Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors
We present MindEye, a novel fMRI-to-image approach to retrieve and reconstruct viewed images from brain activity. Our model comprises two parallel submodules that are specialized for retrieval (using contrastive learning) and reconstruction (using a diffus
arxiv.org
설명: https://twitter.com/humanscotti/status/1663356107966824451?s=20
트위터에서 즐기는 Paul Scotti
“Announcing 🧠👁️ MindEye! Our state-of-the-art fMRI-to-image approach that retrieves & reconstructs images from brain activity, is out as a preprint! MindEye takes human brain activity as input and outputs reconstructed images like these. Project
twitter.com
1. 우리는 뇌 활동에서 본 이미지를 검색하고 재구성하는 새로운 fMRI-to-image 방법, MindEye를 제시합니다. 우리의 모델은 검색을 위한 모듈(대조적 학습을 사용)과 재구성을 위한 모듈(확산 사전을 사용)로 구성된 두 개의 병렬 하위 모듈을 포함합니다.
2. MindEye는 fMRI 뇌 활동을 CLIP 이미지 공간과 같은 높은 차원의 다중 모달 잠재 공간으로 매핑할 수 있으며, 이는 이 잠재 공간에서 임베딩을 받아들이는 생성 모델을 사용한 이미지 재구성을 가능하게 합니다. MindEye는 다른 기존 방법들과 광범위하게 비교하고, 재구성과 검색 작업에서 최첨단 성능을 달성함을 보여줍니다.
3. 특히, MindEye는 미세한 이미지 특정 정보를 보존하는 뇌 임베딩을 통해 매우 유사한 후보 중에서도 원본 이미지를 정확히 검색할 수 있습니다. 이를 통해, 우리는 LAION-5B와 같은 대규모 데이터베이스에서도 이미지를 정확하게 검색할 수 있습니다. 이를 통해 우리는 개선된 학습 기법과 훨씬 많은 매개 변수로 모델을 학습시킴으로써, MindEye가 이전 방법들에 비해 성능 개선을 보여줌을 입증하였습니다.
'AI > etc' 카테고리의 다른 글
| 네이버가 보는 AGI 는? (0) | 2023.05.30 |
|---|---|
| Just Forward 패스로 언어 모델 미세 조정 (0) | 2023.05.30 |
| Ghost in the Minecraft: 텍스트 기반 지식 및 메모리를 갖춘 대규모 언어 모델을 통해 일반적으로 오픈 월드 환경에 사용할 수 있는 에이전트 (0) | 2023.05.30 |
| 임의의 특징을 사용하여 전이하는 자기 지도 강화학습 (0) | 2023.05.30 |
| 멀티모달 언어 모델로 이미지 생성 (0) | 2023.05.30 |