Attention Mechanism

Attention Mechanism 이해하기

 현재, homogeneous graph의 node, edge에 topology, geometry 정보를 녹여내고자 한다. 단순한 vector concat.으로는 두 정보를 유의미하게 합칠 수 없는 것 같아 GAT에 나온 multi head attention 을 차용하고자 한다. Embedding space를 크게 topology, geometry 두 개로 나누어 학습을 진행하면 유의미한 결과를 얻을 수 있지 않을까 생각한다.
 
 
 
 

댓글

이 블로그의 인기 게시물

로봇의 작업영역(Workspace)

Frenet-Serret formulas (프레네-세레 공식)

yes24 [뷰어 서버의 기본정보가 존재하지 않습니다.] 오류 해결