공영재의 개발일지

신경망의 값을 양자화하는 것과 연산을 양자화 하는 것의 차이? 양자화 두 기법 - 1. 실수만 모으기 (S) 2. 비트시프팅 (S shifting & downscaling)1. 100% 정수연산 양자화의 필요성온디바이스 AI의 필요성 - 네트워크(클라우드)가 끊겨도 돌아가야하는 현장 (의료, 제조 등) 에서 필수적.이러한 온디바이스 AI를 위해서 - 경량화가 필요.그러한 경량화를 위해 -> 100% 정수연산 양자화 필요. AI 가속기는 신경망 연산에 특화, 정수 연산만 지원하거나 정수 연산에서 효율적으로 동작.(Coral Edge TPU, ARM NPU 시리즈) - 1. 일반적 양자화 : r이라는 실수 값을 q라는 정수로 표현하고 싶다-> 무한한 실수를 모두 나타내는 것은 불가능하니 유한한 관심 범위(r..

CNNConvolution layer : 입력 이미지를 필터와 연산하여 feature map을 뽑아낸다. 필터의 수만큼 채널의 깊이가 늘어난다. 여러 이미지의 경우 아래와 같이 batch가 증가하며, convolution layer에 bias도 더해진다. 단순히 레이어를 쌓는 것은 선형곱이므로 하나의 곱과 다를 게 없다. 비선형 블록을 추가해주는 것(=ReLU)이 모델링 파워 향상의 핵심. CNN 모델 구조 - 수용 영역 (Receptive Field)CNN은 이미지 작은 부분인 지역 정보를 추출하는데 유리. 하지만 이미지 전체의 의미 파악도 필요함.따라서 "지역 정보 + 이미지 전체 맥락"을 이해하기 위한 설계가 필요 - CNN이 한번에 볼 수 있는 영역 크기인 수용영역.filter size가 3일 때..

원-핫 인코딩: 벡터 공간 관점에서, 한 원소만 1이고 나머지는 0인 벡터.단어를 원-핫 표현으로 바꾸는 과정을 원-핫 인코딩이라 함. 원-핫 인코딩과 같은 전통적 텍스트 방식의 한계차원의 저주 curse of dimensionality - 차원이 커질수록 데이터가 sparse의미적 정보 부족 - 비슷한 단어라도 유사한 벡터로 표현되지 않는다. 은행과 금융은 원 핫 인코딩에서 무관한 벡터임. 워드 임베딩: 단어들 사이의 의미적 관계를 포착할수있는 연속적/분산적 벡터로 표현.워드 임베딩에선 은행과 금융의 벡터가 공간상 가깝게 위치하며, 의미적 유사성을 반영할 수 있음.대표적인 워드 임베딩 기법 - Word2Vec (google, 2013)각 단어와 그 주변 단어들 간의 관계를 예측. 두 가지 알고리즘이 ..