신경망 이론과 deep learning

Neural Networks, Manifolds, and Topology by colah

colah’s blog에서 패턴 인식기계 학습에 관한 위 글을 읽어봤는데, 한 가지 이해가 안 되는 부분이 있다면, 왜 데이터를 선형적으로만 자르는지에 대한 부분이다. 그래서 도서관에서 패턴 인식론에 관한 책을 좀 찾아봤다. 근데 와… 인공지능의 이쪽 분야도 엄청 배울게 많다는 것만 알았다-_-

여하간 확실하지는 않지만 퍼셉트론이라는 함수 자체가 vector value를 domain으로 다루는 real-valued function이기 때문이라 그런 것 같다. 근데 1960년대에 Marvin MinskySeymour Papert가 퍼셉트론이 xor연산을 못한다는 것을 증명해서 약간 소동이 있었는 듯. ㅋ 근데 왜 아직 각광을 받는지는 모르겠다.

여하간 토론토 출신의 유명한 과학 저술가 Michael Nielsen씨가 새로운 사이트를 만든 모양인데, (이 아저씨는 수학에 관심이 있다면 이미 알고 있을 polymath 사이트를 만든 사람이다. 일전에 소개한 적 있다) 사이트 제목이 Neural Networks and Deep Learning이다.

http://neuralnetworksanddeeplearning.com/

아직 미완성이라 챕터가 두 개 밖에 없지만, 내용은 꽤 읽을만 하다. 도서관에서 신경망과 패턴인식에 대한 책을 조금 읽고 나니 이해가 약간 되는 편인듯?

아 근데 이 글은 본 블로그에 넣을 카테고리가 없네… 애매하다… -_-

놀라운 휴머노이드 ASIMO

해커뉴스에서 혼다가 개발한 로봇에 대한 와이어드 기사가 나오길래 봤는데, 본인이 휴머노이드 로보틱스 쪽에 문외한이라 그런지 몰라도, 와 대단하다. ASIMO라는 이름의 로봇이다.

와이어드 Watch the Astounding Dexterity of Honda’s Dancing Humanoid Robot 04.19.14 | 6:30 AM

위 기사에 영상이 있는데, 공을 발로 차는 로봇의 움직임이 자연스럽다. 본인이 알기로는 다리 두 개로 서 있는 것 자체가 불안정해서 2족보행을 구현하기 꽤 어렵다고 들었다.

ieee spectrum에서도 기사로 소개하고 있다.

ieee spectrum Video Friday: youBots and Drones, Dash in a Box, and a New ASIMO? 18 Apr 2014 | 14:47 GMT

Live! with Kelly and Michael이라는 쇼 프로그램이 있나본데, 여기에도 출연한 듯. 기사에서 유튜브 영상을 링크하고 있다.

계속 읽기

Maths Routine

일전에 스탠드업 코미디를 하는 경제학자를 소개하면서, 수학 스탠드업 코미디는 없나고 한 적이 있는데, reddit에 올라온 이야기를 보니 진짜로 있다-_-

Dave Gorman이라는 코미디언이 수학을 주제로 스탠드업 코미디를 한 적이 있는 듯.

아 물론 일전에 소개한 경제학자 Yoram Bauman은 경제학만을 주로 하는 듯 하지만, Dave Gorman은 늘 수학을 주제로 이야기를 하는 것은 아닌 듯 하다. 근데 위키피디아를 보니 수학과 출신인 듯. (졸업은 못했다고 돼 있는데 학부인지 대학원인지는 모호함)

실제로 영상을 보니 말이 너무 빨라서 어디가 웃긴지는 잘 모르겠다. 켁-_- 유튜브의 자동 자막으로 대충 내용은 이해하겠지만…

계속 읽기

커널 만들기

해커뉴스에서 요런 재밌는 글이 올라와 있었다.

Kernel 101 – Let’s write a Kernel by Arjun Sreedharan

다 집어치우고 딱 커널만 만드는 과정을 소개하는 글인데, 커널만 딸랑 만드는 것은 의외로 소스코드가 무척 짧은 것에 놀랐다. 그래서 본인도 시도해봤는데 라이브러리에 무슨무슨 파일이 부족하다고 에러뜨고 검색 겨우해서 그걸 해결하려니 또 다른 에러가 뜨고 그래서 시간을 너무 잡아먹길래 포기… -_-

본인이 프로그래머가 아니다보니 본래 부실한 라이브러리를 가지고 있긴 했지만, 그래도 원체 지식이 없으니 따라하기도 힘들구만. 켁. 나도 내 커널 한 번 만들어보고 싶어라. ㅎㅎ

EBS 수학돌 세미

EBS에서 공부 안 하는 중딩들을 위해 수학 캐릭터 세미를 만들었다는데, 이게 본래의 취지와는 달리-_- 들에게 비상한 관심을 받고 있는 듯. ㅋㅋ
semi4
자세한 것은 EBS 공식 블로그와 엔하위키를 참조하시라. 아 웃겨. ㅋㅋㅋ 이걸 보니 이게 생각난다.
i3327911852
일전에 3d 어드벤처 수학게임 이야기도 했지만, 애들 수학 공부 한번 시켜볼려고 하는 사회적 노력들이 좀 눈물 겹다고나 할까. ㅎㅎㅎ

어린 애들은 기본적으로 일정량 이상의 호기심을 가지고 있어서, 수학에 그리 선입견이 없는 애들은 말빨로 잘 설명만 해주면 꽤 흥미있어 하는데, 애들에게 수학 자체가 아닌 수학 외적인 요소로 흥미를 이끌려고 하니 조금 아쉽기도 하다.

바베큐 고기를 흑맥주에 절여두면 좋다

검색해보니 A marriage made in heaven은 ‘환상의 조합’을 의미하는 상용어구인 듯 하다. 이코노미스트지에 이런 기사가 올라와 있다.

이코노미스트 A marriage made in heaven Apr 5th 2014

그릴에 고기를 구우면 맛이 있지만 애석하게도 발암물질인 polycyclic aromatic hydrocarbons이 생성된다. 고기를 양념에 절여 놓는 것을 Marination이라 하는 모양인데, Journal of Agricultural and Food Chemistry에 올라온 Ferreira 등의 연구에 따르면[1], 맥주에 절여놓은 고기를 구울 때 PAH의 양이 감소한다고 한다. 애석하게도 논문은 유료라서 본인은 abstract만 봤다.

이코노미스트지에 따르면 그냥 고기를 구우면 PAH가 평균 21나노그램인데, 고기를 맥주에 절여 놓으면 18나노그램 정도로 감소하고, 흑맥주에 절여놓으면 10나노그램으로 절반정도 감소하는 듯.

근데 나는 절이지 말고 걍 마셨으면 좋겠는데. ㅋㅋ 근데 아까운 맥주를 진짜로 이렇게 먹는 사람이 있긴 있나? ㅋㅋ

 


[1] Olga Viegas, at al. “Effect of Beer Marinades on Formation of Polycyclic Aromatic Hydrocarbons in Charcoal-Grilled Pork“, J. Agric. Food Chem., 2014, 62 (12), pp 2638–2643 DOI: 10.1021/jf404966w

Mathbreakers : 수학 교육용 3D 어드벤쳐 게임

초등학교 산수를 3D 어드벤처 게임을 통해 학습을 시키는 게임이 새로 등장한 모양이다. 이름하여 Mathbreakers이다. The Aperiodical 블로그에 리뷰가 있으니 참조하자. ㅎㅎ

Review(ish): Mathbreakers in The Aperiodical

Mathbreakers 공식 웹사이트
Mathbreakers 블로그

윈도우즈 용과 맥 용이 있고 가격은 15달러라고 한다. 웹사이트에 무료 트라이얼이 있다. 숫자가 표시된 구체를 합치면 덧셈이 되고 칼로 치면 나눗셈이 되는 듯. 분수의 덧셈 뺄셈을 할 수 있는 것 같다. 사실 본인이 직접 해 본 것은 아니다. 근데 영상을 보니 뭔가 재밌겠다-_- 나도 해보고 싶어 지는군 ㅋㅋㅋ

특이하게도 선생님 계정으로 로그인하면 학생들의 성취도를 확인할 수 있는 모양이다. 게임에 선생님이 들어가면 게임이 아닌게 아닌가? ㅋ

아래 소개 영상을 보면 이해가 쉬울 듯.

계속 읽기

DES의 탄생

최병문, 이영환 저, “암호의 세계“, 경문사, 2007

p77-78, 97-98

NSA와 다소 경쟁관계였던 미국 상무성의 국립 표준국(NBS, National Bureu of Standards, 후에 NIST로 조직 개편)는 1973년 5월 자국 내의 금융 및 상거래에 편리하게 사용할 수 있는 암호 알고리즘을 공모하였다. 공모조건은 대략 다음과 같았다.

  • 알고리즘의 안전도는 매우 높아야 한다.
  • 알고리즘은 아주 구체적이어야 하고 누구나 이해할 수 있어야 한다.
  • 알고리즘의 안전성은 키의 안전성에 의존해야 하고, 알고리즘 자체를 비밀로 하는 것에 의존해서는 안 된다.
  • 어떤 계층의 사람들도 모두 사용할 수 있어야 한다.
  • 다양한 응용프로그램에 적용할 수 있어야 한다.
  • 알고리즘은 전자장치(컴퓨터)에서 경제적으로 작동되어야 한다.
  • 효율성이 높아야 한다.

그러나 공모 후 1년이 지나도록 응모자가 없자 NBS는 1974년 8월, 2차 공모를 발표하였다. 마침내 사무용 기기 전문회사인 IBM이, 독자적으로 연구해오던 루시퍼(Lucifer)라고 하는 암호 알고리즘을 적절히 개선하여 응모하였다. 당시 이 알고리즘의 개발에 참여하였던 사람들은 터치만(W. Tuchman), 애들러(Roy Adler), 코퍼스미스(D. Coppersmith), 페이스털(H. Feistel), 그로스먼(E. Grossman), 코헨(A. Konheim), 노츠(Bill. Notz), 터치먼(Bryant Tuchamn), 마이어(C. Meyer) 등이었다. 이들이 제시한 암호알고리즘은 매우 훌륭한 것이었으나, NBS와 NSA사이의 정치적 갈등, IBM측이 소유하고 있는 특허권, 알고리즘의 안전성에 대한 평가 등의 문제로 많은 우여곡절을 겪은 끝에 1977년 미국 표준 암호알고리즘(Data Encryption Standard)으로 선정되었다. 1981년 우리나라의 표준연구소와 같은 역할을 담당한 ANSI(미국 국립 표준국)에서도 DES를 인정하였고, 그 후 1983년, 1994년에 공개적인 검증을 거쳐 재인증함으로서 안전하다는 신뢰를 얻게 되었다. DES는 비슷한 시기에 발표된 RSA와 함께 현대 암호를 혁신적으로 발전시키는 한편, 암호학을 수학적, 논리적으로 연구하고 토론하는 큰 계기를 제공하였다.

(중략)

DES에 대한 사람들의 의심은 상당히 오랜 역사를 가지고 있다. 발표 초기부터 비교적 짧은 키의 길이, 16이라는 라운드 횟수, S-box 설계의 의구심 등으로 많은 억측을 불러일으켰다. 특히 S-box 부분은, 어떤 이유로 그렇게 설계했는지 IBM측에서 전혀 설명해주지 않았기 때문에 상당한 미스터리로 남아있다. 사용자들의 비난 때문에 IBM측은 마지 못해 17명의 연구원들이 수년간 암호공격을 시도하면서 연구한 결과 그렇게 설계했고 안전성을 믿어도 좋다고 설명했지만, 사람들은 혹시 NSA에서 트랩도어를 설치하여 사용자 모르게 암호문을 열어볼 가능성이 있지 않을까 하는 의심이 사라지지 않았다. 급기야 1978년 미국 상원 특별 정보 위원회에서 이 문제를 조사하여, NSA가 DES의 개발에 부적절한 개입을 하지 않았다고 공식 발표하였다.

“IBM을 조사한 결과, 키의 길이는 짧아도 충분히 안전하며, S-box의 개발에 간접적으로도 영향을 주지 않았으며, 어떤 수학적 결함도 발견되지 않았다는 것을 확인하였다.”

DES 암호 개발을 주도하였던 IBM 연구원 터치먼과 마이어도 NSA가 알고리즘을 변형하지 않았다고 증언하였다. 후에 터치먼은 어떤 글에서 “우리는 DES알고리즘을 철저하게 IBM 안에서 IBM제품들만 가지고 연구하였다. NSA는 단 한치도 개입할 수가 없었다.”고 발혔다. 그러나 또 다른 연구원 코퍼스미스는 “NSA는 IBM측에 기술적 조언을 해주었다”고 글을 썼으며, 콘하임(Konheim)도 “우리는 S-box를 워싱턴으로 보냈다. 그런데 되돌아온 것은 완전히 다른 것이었다. 우리는 이것을 다시 테스트한 결과 문제가 없다고 판단했다”고 하였다. 사람들은 이 점이 바로 NSA가 트랩도어를 설치했다는 분명한 증거라고 지적하기도 하였다.

한번은 DES가 암호학적으로 약점이 있지 않은가라는 어떤 질문에 NSA는 다음과 같이 답변하였다.

“DES에 관하여 우리는, 지난 1978년 상원 정보특별 위원회의 ‘DES 개발과정에 NSA가 개입하였는가’에 대한 조사 결과가 당신의 질문에 대답을 대신한다고 믿는다. 그 보고서에 의하면 NSA는 알고리즘 설계에 어떤 방식으로든 간섭하지 않았고 DES의 안전성은 적어도 5~10년간 유효할 것이라는 것을 밝히고 있다. 단언하건데 NSA는 DES의 어떠한 약점도 파악하고 있지 못하고 파악할 의사도 없다.”

그렇다면 왜 S-box를 수정했는가? 아마도 오히려 IBM측에서 트랩도어를 설치하지 못하도록 하려는 의도였을 것으로 추측한다. 국가의 공식기관인 NSA 입장에서는 한 사기업의 제품을 국가의 중요한 공식 암호알고리즘으로 채택하기에 무척 조심스러웠을 것이다. 만약 DES에 어떤 형태로든 국가의 안전을 위협하거나 개인의 정보를 침해할 우려가 있는 제품을 묵인하거나 모르고 지나친다면 큰 문제가 아닐 수 없다.

이 글은 물론 스노든 사태 이전에 쓴 글이지만, 스노든 사태가 일어난 후에 보니 새로운 느낌으로 다가온다. 예전부터 NSA가 매우 미심쩍은 행동을 해 왔구만.

Untrusted – 사용자 자바스크립트 게임

구글 플러스에서 타오 선생이 이 게임을 소개하길래, 그걸 보고 본인도 소개한다. ㅋㅋ

뭐 대단한 건 아니고 웹 브라우저로 간단하게 할 수 있는 게임이다. 주소는 아래와 같다.

http://alexnisnevich.github.io/untrusted/ (배경 음악 자동 재생됨)

골뱅이 마크가 플레이어의 캐릭터이다. 최초 방향키를 이용해서 컴퓨터를 획득하면 자신이 존재하는 맵을 형성하는 스크립트 소스코드를 보여준다. 검은색으로 된 영역은 플레이어가 수정가능하다. 이 부분을 수정해서 맵을 다시 실행하여 사각형 출구로 탈출하는 게임. ㅋㅋ 엄청 geek스럽다.

아무래도 코딩이 업인 사람들은 즐기지 못할 게임이 될 듯하지만, 재미로 코딩을 하는 사람들은 그럭저럭 즐기며 레벨을 돌파할 수 있을 듯. 본인은 이제 레벨 4에 도달해서 포스팅하는 중이다.

타오 선생은 자기 아들이랑 같이 이걸 한다고 한다. 과연 천재는 아들도 천재로 키울 수 있을 지 궁금해지는구만. ㅎㅎ