Gom3rye

재귀 신경망 Attention은 번역하고자 하는 단어와 연관된 중요한 단어들에 대해 주목(attend) 한다 RNN은 길이가 가변적인 sequence를 처리한다. RNN의 Gradient Vanishing Problem을 해결하고자 LSTM이 등장하였다. LSTM을 이용한 seq2seq 모델의 information bottleneck을 해결하고자 Attention이 등장하였다. LSTM은 총 3개의 gate로 이루어져 있다. 자연어 처리 Modified n-gram precision은 문장의 길이가 길수록 낮아지는 경향이 있다. Language model에서 input one-hot vector의 크기는 vocabulary 개수와 같다. RNN 기반의 seq2seq 모델에서 beam search를 사용하..

인공지능의 강/약 분류 강인공지능 - 온전히 사람처럼 행동/생각하는 로봇 약인공지능 - 자율 주행 - 온도 조절기 - 음성 비서 - 얼굴 인식 Rule-based system은 불확실성에 취약하다. 퍼셉트론의 학습은 STDP로 이루어질 수 있다. MLP의 학습 시 활성의 순전파가 이루어진다. 심층신경망을 학습하는 데에 필요한 것 - 순전파에서 계산된 활성 값 - 활성 함수의 미분 값 - 지난 학습 단계에서 계산된 weight - learning rate (필요하지 않은 것은 순전파에서 계산된 손실 값) 합성곱신경망 합성곱신경망에서 weight는 공유된다. 합성곱신경망에서 풀링은 연산량을 줄이기 위해 사용된다. Zero padding은 가장자리에서 정보 손실을 줄여준다. CNN은 영상 입력에 대해 효과적으..

Forward Propagation in DNN Generalized form : y = actv func(weight * 전 단계의 y + bias) Backpropagation in DNN - weight update를 위한 dw를 구한다. - dw를 구하기 위해서는 dz와 dyL-1(input) - dz를 구하기 위해서는 흘러 들어온 error(input gradient) * actv func의 미분값 - input gradient를 구하기 위해서는 현재 layer의 W * dz - dw = error(1) * input(xi) = error(2) * f' * weight * input(xi) - L번째의 dy = weight * 그전 Layer의 dz 위의 식으로 계산한 dW와 db를 가지고 we..

What is Artificial Intelligence? "AI is intelligence demonstrated by machines" -Wikipedia Turing Test - 기계가 사람처럼 생각할 수 있는지를 테스트하는 것 - 사람같은 특징을 보여야 한다. Ex) 추론, 유머, 지식 등.. - 관점 : Acting humanly Chinese Room Argument - Turing Test의 관점을 부정 - Thinking humanly에 대한 시사점 제공 -> Acting humanly vs Thinking humanly? Intelligent agents - 목표를 달성하기 위해 합리적으로 사고, 행동하는 것 - 이 관점에 의해서는 온도계도 인공지능이 될 수 있다. - AI is Eve..