Created by 솔루션사업팀
Baidu 연구원들은 양자 신경망에 Self-Attention 메커니즘을 도입하여 Quantum Self-Attention Neural Network (QSANN)을 제안함.
모델이 발전하면서 계산 작업의 크기가 매우 커졌습니다. 일부 프로세스는 기존 컴퓨터에서 처리할 수 없을 정도입니다.
이를 해결하기 위해 Baidu 연구원들이 양자 신경망을 이용하는 방법으로 단어 사이의 숨겨진 상관관계를 마이닝 할 수 있는 잠재적인 이점을 찾아냈습니다.
출처: https://arxiv.org/pdf/2205.05625.pdf
<Figure 3>고전적인 벡터 {Xs}의 시퀀스는 먼저 QSAL을 통해 특징 벡터 {Ys^({L})의 해당 시퀀스를 얻은 다음 평균 연산을 거쳐 마지막으로 이진 예측 작업을 위한 fully-connected layer를 통과합니다.
모델이 발전하면서, 일부 프로세스는 기존 컴퓨터에서 처리할 수 없을 정도로 계산 작업의 크기가 매우 커졌습니다. 이진 비트에 의존하는 기존 시스템과 달리 양자 시스템은 큐비트라고 하는 양자 입자에 의존합니다. 이 큐비트는 시간을 앞뒤로 이동할 수 있고, 동일 시점에 2곳에서 존재하거나, 심지어 순간이동 할 수도 있습니다. 이러한 양자 입자의 특성은 양자 시스템을 구축하는 데 활용되었습니다. 이러한 시스템은 특정 작업의 처리 시간을 크게 줄일 수 있습니다.
최적화, 암호학, 화학 및 양자 자연어 처리(QNLP)의 새로운 주제에서 복잡한 실제 문제를 해결할 수 있는 엄청난 잠재력으로 인해 양자 컴퓨팅은 점점 더 매력적인 연구 분야가 되었습니다. 이러한 QNLP 아이디어의 대부분은 최첨단이지만 특히 실질적인 실제 데이터 세트에 대해 시간이 많이 걸리는 사전 처리 활동인 구문 분석에 초점을 맞추기 때문에 확장성이 부족했습니다.
Baidu 양자 컴퓨팅 연구소와 시드니 공과 대학의 연구원 팀은 새로운 논문인 Quantum Self Attention Neural Networks for Text Classification에서 이러한 제한 사항을 해결했습니다. 그들은 대규모 실제 데이터 세트에서 QNLP 및 기존 방법을 능가하는 간단하고 효과적인 Quantum Self-Attention Neural Network (QSANN)를 제안합니다.
연구 논문은 크게 3가지 기여로 요약됩니다.