Linear Data Structure 05. Array 032. 두 수의 합 덧셈하여 타겟을 만들 수 있는 배열의 두 숫자 인덱스를 리턴. nums = [2, 7, 11, 15] target = 9 # [0, 1] def two_sum(nums, target): nums_map = {} for i, num in enum...

Python 01. Python 001. 1부터 10까지의 합 # 예시 1 sum = 0 for i in range(1, 10+1): sum += i # 예시 2 sum = sum(i for i in range(1, 10+1)) # 예시 3 sum = sum(range(1, 10+1)) 002. 제네릭 프로그래밍 ...

모델 성능 측정 지표 True Positive: 모델은 A일 것이라 예측하였고 실제로 그런 경우 True Negative: 모델은 A가 아닐 것이라 예측하였고 실제로 그런 경우 False Positive: 모델은 A일 것이라 예측하였고 실제로는 아닌 경우 False Negative: 모델은 A가 아닐 것이라 예측하였고 실제로는...

ELECTRA Replaced Token Detection, 즉 generator에서 나온 token을 보고 discriminator에서 “real” token인지 “fake” token인지 판별하는 방법으로 학습. 이 방법은 모든 input token에 대해 학습할 수 있다는 장점을 가지며, BERT 등과 비교했을 때 더 좋은 성능...

Xception은 성능 향상을 위해 극단적인 방법을 사용한 구조. Inception module을 depthwise separable convolution으로 대체하는 것을 제안. 일반적인 Convolutional layer는 3차원의 filter(dimensions of width, height, channel)를 사용...

매우 간단한 구조의 CNN을 활용해서 문장 분류에서 상당한 효율. 이 논문에서는 한개의 layer를 사용하는 CNN에 대해서 소개. 그리고 CNN에 사용할 단어 벡터는 1,000억개의 단어를 사전학습한 벡터. 여기서는 이 벡터를 수정하거나 하지 않고 Network의 parameter만 학습. Model 01. i...

Deep Learning 0131. 딥러닝: 층을 깊게 한 신경망. 0132. 데이터 확장data augmentation: 정확도 개선에 아주 효과적. 입력 이미지(훈련 이미지)를 알고리즘을 동원해 ‘인위적’으로 확장. 입력 이미지에 미세한 변화를 주어 이미지의 개수를 늘림. 이미지 일부를 잘라내는 crop, 좌우를 뒤집는 fl...

CNN 0116. 전체 구조 위의 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있었고 이를 완전연결 fully-connected라고 하며, 완전히 연결된 계층을 Affine계층이라 함. 지금까지의 ‘Affine-ReLU’연결이 아래 그림의 ‘Conv-ReLU-(Pooling)’으로 바뀜. (풀링 계층은 생략하기도 함.) 출...

Learning-related skills 0096. 최적화(optimization): 신경망 학습의 목적은 손실 함수의 값을 가능한 낮추는 매개변수를 찾는 것(매개변수의 최적값을 찾는 문제), 이러한 문제를 푸는 것. 광대하고 복잡한 지형을 지도없이, 눈을 가린 채로 ‘깊은 곳’을 찾아야 함. 이 어려운 상황에서 중요한 단서가 되는 것이...

Backpropagation 0084. 수치 미분은 단순하고 구현하기 쉽지만 계산 시간이 오래 걸림-> 가중치 매개변수의 기울기를 효율적으로 계산하는 ‘오차역전파법(backpropagation)’ 0085. 연쇄법칙: 합성 함수의 미분에 대한 성질. 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있음...