여러 분 혹시 예전에 ChatGPT한테 오늘 뉴스를 물어본 적 있으신가요?물어보면 대부분 "해당 정보를 알 수 없습니다"라는 답을 받게 됩니다.그런데 최근 AI 서비스는 최신 뉴스도 알고, 우리 회사 내부 자료도 척척 참고합니다.같은 AI인데 왜 이런 차이가 날까요?AI가 더 똑똑해서가 아닙니다. 답하기 전에 먼저 자료를 찾아보게 만들었기 때문입니다. 이게 바로 RAG입니다.1. AI는 왜 최신 정보를 모를까ChatGPT, Claude 같은 AI는 특정 시점까지의 데이터를 한꺼번에 학습합니다. 따라서, 그 이후에 생긴 일은 당연히 모릅니다. 이는 2023년까지 책으로 공부한 사람에게 2025년 나온 새로운 소식을 물어보는 것과 같습니다.이건 단순히 업데이트가 안 된 게 아니라 AI 구조 자체의 한계입니..
GELU는 입력을 양수일 확률만큼 부드럽게 통과시키는 활성화 함수로, 매끄러운 비선형성과 죽은 뉴런 완화라는 장점이 있지만 ReLU보다 계산이 복잡한 단점이 있습니다. 1. GELU 함수의 정의 GELU(Gaussian Error Linear Unit) 함수는 입력값 x를 확률적으로 통과시키는 활성화 함수입니다.ReLU는 0보다 작으면 아예 끊어버리지만, GELU는 작은 음수도 조금은 통과시켜서 부드러운 출력 곡선을 만듭니다. 수학적으로 정의하면 다음과 같습니다.더보기 Φ(x)는 표준정규분포의 누적분포함수(CDF) 입니다.즉, 평균 0·분산 1인 정규분포에서 임의로 뽑은 값이 x 이하일 확률입니다.따라서 x Φ(x)는 입력 x를 확률 Φ(x) 만큼 통과시킨 값으로 볼 수 있습니다. 여기서, Φ(x)는 ..
tanh 함수는 -1~1 범위의 비선형 함수로, 평균이 0에 가까워 학습이 안정적이지만, 경사 소실 문제와 ReLU 대비 계산 비용이 높은 한계가 있습니다. 1. tanh 함수의 정의 하이퍼볼릭 탄젠트 함수는 입력값을 -1과 1 사이의 값으로 압축하는 S자 형태의 비선형 함수입니다.수학적으로 정의하면 다음과 같습니다.여기서, 입력이 클수록 출력은 1에 가까워지며, 입력이 작을수록 출력은 -1에 가까워집니다.즉, x가 매우 큰 양수면 e^x기 압도적으로 커져서 (x → +∞), f(x) = 1반대로 x가 매우 큰 음수면 e^-x가 압도적으로 커져서 (x → -∞), f(x) = -1 이 됩니다.2. 주요 특징1) 비선형성tanh 함수는 비선형 함수를 제공하므로, 신경망이 복잡한 패턴을 학습할 수 있게 해..
