랜덤하게 연결한 Neural Network의 이미지 인식 능력

요새 인공지능 관련 사람들에게 화제가 되고 있는 논문[1]이 자주 눈에 띄길래, 이게 뭔가 싶어서-_- 대충봤다. 아마 관련 업계 사람들은 대부분 보셨을 테지만, 본인같은 문외한은 처음 듣는 이야기라 대충 포스팅해봄-_- 이건 그냥 문외한이 의식의 흐름을 따라 쓴 거라서 개소리라고 흘려들으시길 바란다. ㅋㅋㅋ

일전에 위키피디아 연결성에 대한 글[2]을 쓰면서 Watts–Strogatz model에 대한 네이쳐 논문[3]을 대충 본 적이 있는데, Xie 선생의 논문[1]에도 레퍼런스에 언급이 있다. 여하간 이건 완전 생판 랜덤은 아니고 밀그램 선생의 좁은 세상 실험에 영감을 받은 거라서 completely regular graph랑 랜덤 그래프랑 두 종류 사이에 어중간한 위치에 있는 듯하다.

여하간 이미지 인식을 위한 Neural Network 모델로 ResNets[4]이나 DenseNets[5] 같은게 유명한 모양인데, 뭔 말인지 하나도 모르겠지만 여하간 현존하는 가장 이미지 인식력이 좋은 모델 중 하나인 듯 하다.

근데 Watts–Strogatz model로 생성한 그래프로 이미지 인식을 하면 정확도가 이런 것들[4,5] 보다 쪼매 더 올라 가는 것 같다. 기존이 77%정도라면 이건 79%정도? 차이 자체는 적긴 한데, 랜덤하게 만든게 crafted된 것 보다 성능이 좋으면 좀 의미가 큰 거 아닌가?

random collection이 craft collection을 이긴다는 이야기를 들으니, 원숭이 포트폴리오(원숭이가 고른 주식 목록)가 시중에 존재하는 대부분의 가중 인덱스 펀드를 이긴다-_-는 연구[6,7]가 생각난다. ㅋㅋㅋㅋ 주식을 열심히 연구해서 골라봤자 큰 파도의 흐름에는 못당한다는 점에서 버튼 멜킬 선생의 주장[8]에 어느 정도 일리가 있다. 역으로 생각하면, 기존 인공지능 모델을 짜잘하게 개선하는 것 보다 기똥찬 모델 하나를 생각해 내는게 더 큰 성과를 얻을 수 있을 것 같기도 하다.

개인적으로 궁금한 부분은 Watts–Strogatz model로 생성한 그래프는 backpropagation처럼 노드의 연결 조정을 해서 트레이닝을 해야 하는데, 어떤 방법으로 트레이닝을 하는지 잘 모르겠다. 뭐 사실 전체 다 모르겠다-_-

여하간 예전에 Joseph LeDoux 선생의 책[9]을 읽을 때 보니까, 사람의 뉴런이 태어난 이후로 연결 되었다 끊어졌다 하면서 학습을 하는 듯 하던데, 뇌의 뉴런 연결 상태가 딱히 결정론적으로 작용하지 않고 랜덤연결로도 대충 지성이 잘 작동할 수 있다는 근거의 하나가 될 수도 있지 않을까-_- 하는 헛 망상을 좀 해본다. ㅋㅋ 이게 진짜라면 랜덤 연결을 보면서 뇌의 이 부분이 왜 연결됐고, 어떻게 작동하고 이런 걸 따지는게 의미 없는 건가-_-??

.


2019.4.8

재생시간 39분 3초.

.


[1] Saining Xie, Alexander Kirillov, Ross Girshick, Kaiming He, “Exploring Randomly Wired Neural Networks for Image Recognition”, arXiv:1904.01569 [cs.CV]
[2] 내 백과사전 좁은 세상과 위키피디아 링크의 연결성 2018년 2월 28일
[3] Duncan J. Watts & Steven H. Strogatz, “Collective dynamics of ‘small-world’ networks”, Nature, volume 393, pages 440–442 (04 June 1998) doi:10.1038/30918
[4] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, “Deep Residual Learning for Image Recognition”, arXiv:1512.03385 [cs.CV]
[5] Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger, “Densely Connected Convolutional Networks”, arXiv:1608.06993 [cs.CV]
[6] Cass Business School, Monkeys vs Fund managers – An evaluation of alternative equity indices Date published: Wednesday, 3 April, 2013
[7] Barron’s Monkeys Are Better Stockpickers Than You’d Think June 19, 2014
[8] 내 백과사전 [서평] 시장 변화를 이기는 투자 2017년 9월 30일
[9] 시냅스와 자아 – 신경세포의 연결 방식이 어떻게 자아를 결정하는가 조지프 르두 (지은이),강봉균 (옮긴이) 동녘사이언스 2005-10-28 원제 : Synaptic Self (2002년)

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중

This site uses Akismet to reduce spam. Learn how your comment data is processed.