빛으로 만든 신경망이 기계 학습을 더 지속 가능하게 만들 수 있습니다 : 뉴로모픽
인공지능(AI)과 기계학습 기술의 급속한 발전으로 우리의 일상생활은 크게 변화하고 있습니다. 그러나 이러한 발전의 이면에는 에너지 소비와 환경 문제라는 큰 과제가 있습니다. 뉴로모픽 컴퓨팅은 이러한 문제를 해결할 수 있는 혁신적인 접근법으로 주목받고 있습니다. 특히 광학 기술을 활용한 뉴로모픽 시스템은 에너지 효율성과 계산 속도 면에서 큰 잠재력을 보여주고 있습니다. 이 글에서는 최근 ‘네이처 피직스’에 발표된 연구를 중심으로, 광학 기반 뉴로모픽 컴퓨팅의 최신 동향과 전망을 알아보겠습니다.
선형 파동 산란을 이용한 완전 비선형 뉴로모픽 컴퓨팅
배경
심층 학습 신경망의 크기가 증가함에 따라 에너지 소비 문제가 심각해지고 있습니다. 이는 기존의 컴퓨팅 아키텍처로는 지속 가능한 AI 발전에 제한이 될 수 있습니다. 또한, 기존의 뉴로모픽 접근법들은 물리적 비선형성을 구현하는 데 상당한 어려움을 겪고 있습니다. 이러한 비선형성은 신경망의 핵심 기능인 활성화 함수를 구현하는 데 필수적이지만, 하드웨어 오버헤드, 제작 과정의 복잡성, 높은 레이저 전력 요구 등의 문제를 동반합니다. 광전자 변환을 통한 비선형성 구현 방식도 있지만, 이는 에너지 효율성 저하와 지연 문제를 야기합니다.새로운 접근법
이 연구에서는 선형 파동 산란만을 사용하여 비선형 처리를 구현하는 혁신적인 방식을 제안합니다. 핵심 아이디어는 입력을 시스템의 물리적 매개변수에 인코딩하는 것입니다. 이 방식에서는 프로브 신호와 응답 사이의 관계는 선형이지만, 산란 행렬 자체가 시스템 매개변수의 비선형 함수가 됩니다. 이를 통해 물리적 비선형성 없이도 학습 가능한 비선형 함수를 표현할 수 있게 됩니다. 또한, 입력을 여러 번 복제하여 시스템에 입력함으로써 더 복잡한 비선형 함수도 근사할 수 있습니다.주요 장점
이 접근법의 가장 큰 장점은 물리적 비선형성을 구현할 필요가 없다는 점입니다. 이는 하드웨어 구현의 복잡성을 크게 줄이고, 에너지 효율성을 높일 수 있습니다. 또한, 학습에 필요한 그래디언트를 직접 물리적으로 측정할 수 있다는 점이 중요합니다. 이는 산란 행렬 요소들의 곱으로 표현되며, 실제 산란 실험을 통해 측정 가능합니다. 이러한 특성은 효율적인 물리적 역전파를 가능하게 하며, 학습 과정을 크게 간소화합니다. 더불어, 이 접근법은 광학, 마이크로파, 전기 회로 등 다양한 선형 시스템 플랫폼에 적용할 수 있어 범용성이 높습니다.실험 및 결과
연구팀은 제안된 방식의 성능을 검증하기 위해 두 가지 주요 실험을 수행했습니다. 첫째, 8×8 픽셀의 손글씨 숫자 인식 작업에서 97.1%의 높은 정확도를 달성했습니다. 이는 동일한 파라미터 수를 가진 표준 인공 신경망(ANN)의 성능과 비슷한 수준입니다. 특히, 선형 분류기의 92.3% 정확도를 크게 상회하는 결과로, 제안된 시스템의 비선형 처리 능력을 입증합니다. 둘째, 더 복잡한 Fashion-MNIST 데이터셋에 대해서도 실험을 진행했습니다. 이 데이터셋에서도 우수한 성능을 보여, 제안된 방식이 다양한 복잡도의 작업에 적용 가능함을 증명했습니다.구현 제안
연구팀은 제안된 방식의 실제 구현을 위해 레이스트랙 공진기를 이용한 집적 광학 구현 방식을 제안했습니다. 이 설계에서는 뉴런 모드를 레이스트랙 공진기로 표현하고, 이들을 조정 가능한 결합이나 추가 공진기를 통해 연결합니다. 특히, 다른 네트워크 층의 공진기들을 교차시키는 방식으로 높은 연결성을 달성하면서도 도파관 교차를 최소화할 수 있는 아키텍처를 제안했습니다. 이 설계는 기존의 광학 뉴로모픽 시스템에도 적용할 수 있어, 높은 연결성과 최소한의 도파관 교차를 통해 효율적인 구현을 가능케 합니다.결론 및 향후 과제
https://www.nature.com/articles/s41567-024-02534-9
이 연구는 물리적 비선형성 없이도 비선형 뉴로모픽 컴퓨팅을 구현할 수 있다는 것을 입증했습니다. 이는 뉴로모픽 컴퓨팅 분야에 새로운 패러다임을 제시하며, 기존 방식의 한계를 극복할 수 있는 가능성을 보여줍니다. 향후 연구 과제로는 다양한 아키텍처 탐색, 입력 복제 기법의 최적화, 다중 모드 사용을 통한 하드웨어 오버헤드 감소 등이 있습니다. 또한, 이 프레임워크를 광학 외의 다른 플랫폼, 예를 들어 아날로그 전자 회로 등에 적용하는 연구도 필요합니다. 이러한 추가 연구들은 다양한 플랫폼에서 물리적 역전파가 가능한 뉴로모픽 디바이스 개발의 새로운 가능성을 열어줄 것으로 기대됩니다.
위 논문처럼 최근 과학자들이 광학 시스템을 이용해 신경망을 구현하는 새로운 방법을 제안했습니다.
기계 학습과 인공지능(AI)은 컴퓨터 비전에서 텍스트 생성까지 다양한 분야에서 널리 사용되고 있습니다. 그러나 이러한 기술의 발전에는 점점 더 복잡하고 많은 매개변수를 가진 신경망이 필요합니다. 예를 들어, GPT-3는 1750억 개의 매개변수를 가지고 있으며, 이를 훈련시키기 위해서는 1,000 MWh 이상의 에너지가 필요합니다. 이는 작은 마을의 하루 전기 소비량에 해당합니다.
이러한 에너지 소비와 훈련 시간의 증가로 인해 더 효율적이고 지속 가능한 대안이 필요하게 되었습니다.
뉴로모픽 컴퓨팅의 등장
뉴로모픽 컴퓨팅은 이러한 문제를 해결하기 위한 새로운 접근 방식으로, 디지털 컴퓨터의 신경망을 물리적 신경망으로 대체하는 것을 목표로 합니다. 물리적 신경망은 에너지 효율적이고 빠른 방식으로 수학적 연산을 수행할 수 있습니다. 특히, 광학과 포토닉스는 에너지 소비를 최소화하면서 높은 속도로 병렬 계산을 수행할 수 있는 잠재력을 가지고 있습니다.
막스 플랑크 광과학 연구소의 혁신적인 접근법
막스 플랑크 광과학 연구소의 클라라 완주라와 플로리안 마르콰트는 ‘네이처 피직스’에 발표한 논문에서 두 가지 주요 과제를 해결할 새로운 방법을 제안했습니다. 이 두 가지 과제는 다음과 같습니다:
- 높은 레이저 전력이 필요함.
- 효율적인 일반 훈련 방법의 부족.
새로운 방법의 핵심 아이디어
- 입력 신호의 각인 방식 변경: 데이터 입력을 광장(光場)에 각인하는 대신, 빛의 전송을 변경함으로써 입력을 각인합니다.
- 간섭 없는 간단한 동작: 광장 자체가 파동이 서로 영향을 미치지 않고 간섭하는 방식으로 동작합니다. 따라서 복잡한 물리적 상호작용을 피하면서도 필요한 수학적 함수를 실현할 수 있습니다.
평가 및 훈련의 간단함
- 시스템을 통해 빛을 보내고 투과된 빛을 관찰하는 것만으로도 네트워크의 출력을 평가하고 훈련에 필요한 모든 관련 정보를 측정할 수 있습니다.
저자들은 시뮬레이션을 통해 그들의 접근 방식이 디지털 신경망과 동일한 정확도로 이미지 분류 작업을 수행할 수 있음을 입증했습니다. 앞으로는 실험 그룹들과 협력하여 이 방법의 구현을 탐구할 계획입니다. 이 접근법은 물리적으로 매우 다른 많은 시스템에 적용될 수 있으며, 이는 뉴로모픽 장치에 대한 새로운 가능성을 열어줍니다.
결론
막스 플랑크 광과학 연구소의 새로운 연구는 광학 기반 뉴로모픽 컴퓨팅 분야에 혁신적인 돌파구를 제시했습니다. 선형 파동 산란을 이용한 이 접근법은 물리적 비선형성 없이도 복잡한 신경망 기능을 구현할 수 있음을 보여주며, 이는 에너지 효율적이고 확장 가능한 AI 시스템 개발의 새로운 가능성을 열어줍니다.
향후 이 기술이 실제 하드웨어로 구현되고 다양한 응용 분야에 적용된다면, AI의 에너지 소비 문제를 크게 개선하고 더욱 지속 가능한 기술 발전을 이룰 수 있을 것입니다. 광학 뉴로모픽 컴퓨팅은 단순히 기존 기술의 대체가 아닌, AI와 컴퓨팅 기술의 새로운 패러다임을 제시할수 있는 분야라고 생각합니다.