딥러닝 최신 용어정리 #7 스파이킹신경망 활성학습 그래프신경망 메모리네트워크 뉴럴튜링머신 BERT OpenAI 캡슐네트워크 다이내믹라우팅

■ 스파이킹 신경망 (Spiking Neural Network)

 

인공신경망보다 좀 더 생물학적인 신경망에 가까운 형태로서 지금의 인공신경망과 생물학적 신경망의 중간에 위치한다. 딥러닝보다 더 낮은 전력의 전용 뉴로모픽 칩을 통해 학습한다. 현재 스파이킹 신경망은 딥러닝과 유사하거나 조금 미흡한 정도의 성능으로 발전하고 있다.

​

​

■ 활성 학습 (Active Learning)

​

딥러닝은 양질의 데이터가 많으면 많을 수록 성능이 좋아진다. 이미지에서 객체를 인식하는 데이터의 경우 이미지에 객체를 라벨링하는 것이 결국 데이터 확보인데 이는 비용과 직결된다. 활성 학습은 라벨이 없는 데이터에 자동으로 라벨링을 하는 방법이다. 어느정도 학습된 신경망에서 일정 기준 이상의 예측확률 값에 대해 라벨을 자동으로 붙이는 것이다.

​

​

■ 그래프 신경망 (Graph Neural Network)

​

그래프에서 버텍스(노드)는 분류에 해당하는 라벨이 부여된 상태인데, 그래프 신경망은 라벨이 없는 버텍스를 분류하는 것을 목표로 한다.

일반적인 신경망이 입력값의 순서에 영향을 받는 반면, 그래프는 순서에 불변성을 갖기 때문에 최근 응용 분야가 확대되고 있다.

 

​

​

 

■ 메모리 네트워크 (Memory Network)

​

신경망에 정보를 저장하기 위한 방법이다. 메모리에 정보를 저장하기 위해서는 질의응답 데이터와 근거 문장의 데이터가 확보되어야 한다.

​

​

■ 뉴럴 튜링 머신 (Neural Turing Machine)

​

인공신경망을 활용하여 튜링머신을 구현한 것이다. 튜링머신은 메모리에서 읽고 쓰는 과정을 통해 알고리즘을 수행하는 방식으로 현대 컴퓨터 구조의 기본 모습이다. 여기에는 컨트롤러(CPU), 읽기 헤드, 쓰기 헤드, 메모리(RAM)의 네 가지 구성요소가 있는데, 뉴럴 튜링 머신은 컨트롤러를 순환신경망으로 구현한다.

​

​

■ BERT 모델 (Bidirectional Encoder Representations from Transformer)

​

자연어 처리 분야의 범용 모델로서 다양한 자연어 처리 임무를 동일한 구조의 학습된 모델로 해결할 수 있다는 것이다. 2018년 구글이 공개하여 자연어 처리 알고리즘의 변화를 일으켰다. 국내에서도 한국어 데이터를 반영한 korBERT가 소개되어 다양한 성과를 내고 있다.

​

​

■ 생성적 사전 학습 모델 (GPT, Generative Pre-Training)

​

OpenAI (https://ko.wikipedia.org/wiki/오픈AI)라는 회사에서 만든 범용 자연어 처리 모델이다. 더욱 발전된 GPT-2, GPT-3가 발표되었다.

 

​

728x90

​

■ 캡슐 네트워크 (Capsule Network)

​

합성곱신경망(CNN)의 데이터에서 객체를 보는 시각을 변경시키거나 객체 구성요소를 재배치하면 예측 성능이 취약해진다는 단점(사람의 눈, 코, 입을 얼굴에서 떼어 내서 마구 배치해도 사람으로 인식함)을 보완하는 접근 방식이다. Dynamic Routing 이라는 알고리즘이 사용된다.

​