AI가 쓴 글은 읽기에는 편합니다.하지만 무엇을 말하려는 글이었는지는 잘 남지 않습니다.가장 정답에 가까운 표현을 고르다 보니, 무난해지는 대신 개성과 중심이 흐려집니다.AI 글을 읽다보면 느껴지는 불편함 AI가 쓴 글을 읽다보면 느껴지는게 있습니다. 문장은 깔끔하고, 맞춤법도 틀리지 않고, 논리도 뛰어납니다. 최근에는 정보의 정확성 또한 높아져서 왠만한 사람이 쓴 글보다 뛰어나고 맞는말만 모아놓은 잘 쓴 글이라는 생각이 들기까지 합니다. 그런데 자세히 생각해보면 뭔가가 부족하다고 생각되는 경우가 많습니다. 읽고나면 문장이 잘 기억에 남지 않고 이 글이 무엇을 말했는지 묻는 순간 답이 바로 나오지 않고 어려워하는 경우가 많습니다. 이러한 현상은 특정 글에만 나타나는 현상이 아닙니다. 블로그 글이든 보..
GPU의 비싼 가격과 막대한 전력 소모가 AI 산업의 발목을 잡으면서, 구글이 만든 고효율 딥러닝 전용 반도체인 TPU가 다시금 주목받고 있습니다.딥러닝 연산에만 집중해 비용 대비 압도적인 성능을 보여주는데, 이는 이제 AI 산업이 성능을 넘어 비용 효율에 중점을 두고 있음을 보여줍니다.특히 TPU 한 대당 6~8개의 HBM이 탑재되는데 이를 대부분 공급하는 삼성전자와 SK하이닉스에게도 새로운 성장의 기회가 되고 있습니다.최근 다시 언급되고 있는 TPU AI가 발전하면서 가장 주목을 받은 것은 한 번에 여러 개의 연산 작업을 처리할 수 있는 GPU입니다. 따라서 GPU를 주로 제작하는 Nvidia의 가치도 급상승했구요. 하지만 최근 들어 GPU 못지 않게 자주 언급되는 이름이 있으니 바로 TPU 입니다..
모든 걸 다 보면 답은 나오지만, 현실은 그렇지 않다.1. 완전 탐색이란 무엇인가?완전 탐색은 쉽게 말해 문제를 풀기 위해 가능한 모든 경우를 하나도 빠짐없이 확인하는 방법입니다.이는 아주 단순한 생각에서 출발합니다.답인지 아닌지 모든 경우의 수를 하나하나 전부 다 확인해 보면 당연히 답은 나온다.라는 것이죠.비밀번호 4자리를 잊어버렸을때 찾는 가장 확실한 방법은 0000부터 9999까지 누르는 것을 생각해 보면 쉽게 알 수 있습니다. 그래서 완전 탐색은 가장 직관적이고, 가장 이해하기 쉬우며 논리적으로도 가장 깔끔한 방법입니다.2. 완전 탐색은 왜 기준이 되는가?완전 탐색은 좀 더 효율적인 것을 찾고 있는 일반적인 사람들에게 무식한 방법처럼 보입니다.하지만 의외로 알고리즘 세계에서는 이 방법이 기준이..
GELU는 입력을 양수일 확률만큼 부드럽게 통과시키는 활성화 함수로, 매끄러운 비선형성과 죽은 뉴런 완화라는 장점이 있지만 ReLU보다 계산이 복잡한 단점이 있습니다. 1. GELU 함수의 정의 GELU(Gaussian Error Linear Unit) 함수는 입력값 x를 확률적으로 통과시키는 활성화 함수입니다.ReLU는 0보다 작으면 아예 끊어버리지만, GELU는 작은 음수도 조금은 통과시켜서 부드러운 출력 곡선을 만듭니다. 수학적으로 정의하면 다음과 같습니다.더보기 Φ(x)는 표준정규분포의 누적분포함수(CDF) 입니다.즉, 평균 0·분산 1인 정규분포에서 임의로 뽑은 값이 x 이하일 확률입니다.따라서 x Φ(x)는 입력 x를 확률 Φ(x) 만큼 통과시킨 값으로 볼 수 있습니다. 여기서, Φ(x)는 ..
tanh 함수는 -1~1 범위의 비선형 함수로, 평균이 0에 가까워 학습이 안정적이지만, 경사 소실 문제와 ReLU 대비 계산 비용이 높은 한계가 있습니다. 1. tanh 함수의 정의 하이퍼볼릭 탄젠트 함수는 입력값을 -1과 1 사이의 값으로 압축하는 S자 형태의 비선형 함수입니다.수학적으로 정의하면 다음과 같습니다.여기서, 입력이 클수록 출력은 1에 가까워지며, 입력이 작을수록 출력은 -1에 가까워집니다.즉, x가 매우 큰 양수면 e^x기 압도적으로 커져서 (x → +∞), f(x) = 1반대로 x가 매우 큰 음수면 e^-x가 압도적으로 커져서 (x → -∞), f(x) = -1 이 됩니다.2. 주요 특징1) 비선형성tanh 함수는 비선형 함수를 제공하므로, 신경망이 복잡한 패턴을 학습할 수 있게 해..
One-Hot 인코딩은 컴퓨터가 이해할 수 있도록 범주형 데이터를 이진 벡터로 변환하는 방법입니다. 이 기법은 각 범주에 해당하는 위치만 1로 표시하고, 나머지는 0으로 만듭니다. 1. One-Hot Encoding의 정의 One-Hot Encoding은 주어진 범주 중 하나를 컴퓨터가 이해할 수 있는 0과 1로 이루어진 벡터로 변환하는 방법입니다. 변환된 벡터에서 해당하는 범주만 1로 표시되고, 나머지는 모두 0이 됩니다.예시로,과일"이라는 범주에 사과, 포도, 수박이라는 범주의 값이 있다고 해봅시다.사과 → [1, 0, 0]포도 → [0, 1, 0]수박 → [0, 0, 1]이렇게 변환하면, 컴퓨터는 이진 벡터로 변환된 데이터를 처리할 수 있습니다.2. 주요 특징1) 범주별 독립적 표현 각 범주는 해..
Gradient Boosting Machine (GBM)은 앙상블 학습(Ensemble Learning) 기법의 하나로, 여러 개의 약한 학습기(weak learner)를 결합하여 예측 성능을 향상시키는 방법입니다. 주로 결정 트리(Decision Tree)를 사용하며, 각 트리가 순차적으로 학습됩니다. 1. GBM의 정의 GBM의 핵심 아이디어는 이전 모델의 오차(residual)를 줄이는 방향으로 새로운 모델을 학습시키는 것입니다. 이 과정에서 Gradient Descent(경사 하강법)을 사용하여, GBM은 각 반복에서 손실 함수의 기울기(gradient)를 계산하고, 다음 트리는 이 기울기를 줄이는 방향으로 학습합니다.수학적으로 정의하면 다음과 같습니다.여기서,이 과정은 지정된 반복 횟수나 오차..
ReLU(Rectified Linear Unit) 함수는 입력값이 양수면 그대로 출력하고, 음수면 0으로 출력하는 활성화 함수입니다. 계산이 간단하고, 딥러닝 모델에서 비선형성을 추가하여 학습을 돕습니다. 1. ReLU 함수의 정의입력 값 x가 양수이면 그대로 출력되고, 음수이거나 0이면 0으로 출력됩니다.수학적으로 정의하면 다음과 같습니다.여기서,입력이 양수일 때: f(x) = x입력이 음수일 때: f(x) = 0 입니다.2. 주요 특징1) 비선형성입력이 양수일 때는 선형 동작하지만, 입력이 음수일 때는 0으로 출력되므로 전체적으로는 비선형적 동작을 합니다. 따라서, 신경망이 복잡한 패턴을 학습할 수 있습니다. 2) 간단한 계산수학적으로 단순해서 계산 비용이 매우 적습니다. 따라서, 큰 규모의 네트..
시그모이드 함수(sigmoid function)는 활성화 함수 중 하나로, 이진 분류 문제에 주로 사용됩니다. 이 함수는 입력 값을 0과 1 사이의 값으로 변환하며, 신경망에 비선형성을 제공해 복잡한 패턴을 학습할 수 있게 합니다. 1. sigmoid 함수의 정의입력값에 음의 지수 함수를 적용하여 변환한 뒤, 그 값을 0과 1 사이의 값으로 압축합니다. 입력값이 양수일수록 1에 가까워지고, 음수일수록 0에 가까워지며, 출력값은 항상 0과 1 사이를 유지합니다. 수학적으로 정의하면 다음과 같습니다.여기서,σ(x): 시그모이드 함수의 출력값.x: 입력값.e: 자연상수, 약 2.718로 알려진 오일러 수입니다. 2. 주요 특징1) 확률 계산에 유용 출력 값이 항상 0과 1 사이에 있습니다. 이 특성 덕분..
GELU(Gaussian Error Linear Unit)함수는 입력 값을 정규 분포의 확률로 변환하여 활성화하는 방식입니다. 입력이 클수록 더 많이, 작을수록 덜 활성화되며, 이를 통해 부드럽고 확률적인 활성화가 이루어집니다. 최신 신경망 모델에서 자주 사용되며, 학습의 안정성과 성능 향상에 기여합니다.GELU (Gaussian Error Linear Unit) 함수는 신경망에서 활성화 함수로 사용되는 함수 중 하나입니다.ReLU (Rectified Linear Unit)와 유사하게 비선형성을 제공하지만, 보다 매끄럽고 자연스러운 방식으로 동작합니다. 특히, Transformer와 같은 최신 신경망 구조에서 ReLU 대신 종종 사용되며, BERT 모델에서도 활성화 함수로 사용됩니다.1. GELU 함수의..
수업이나 기타 등등의 이유로 화면을 캡쳐하거나 녹화하는 경우가 있습니다.물론 윈도우 print screen키를 써서 캡쳐를 하거나 윈도우 + alt + r키를 사용하여 녹화를 할 수도 있지만,좀 더 편하게 사용하고 싶은 경우가 많죠.이 때, 유용하게 사용할 수 있는 프로그램이 oCAM입니다.oCAM은 장점이 아래처럼 많기 때문에 유용하게 사용할 수 있습니다.OCAM의 장점1. GIF(움짤)녹화 기능 및 전문 게임녹화 기능이 내장2. 다양한 포맷으로 제한 없는 길이의 녹화가 가능3. 사용이 간단함4. 프로그램이 가벼움5. 비영리 개인 무료특히 비영리 개인 무료인 것이 맘에 들죠.oCAM은 아래 링크에서 다운받으면 됩니다.OH!SOFT - 오캠 다운로드 (ohsoft.net) OH!SOFT - 오캠 다운로드..
수업이나 강연을 하다 보면 학생 또는 청자들의 반응을 살펴야 할 상황이 많이 발생합니다.궁금하기도 하구요~이때 유용한 사이트가 오늘 소개해 드릴 멘티미터입니다.주소는 아래와 같습니다.Interactive presentation software - Mentimeter Interactive presentation softwareInteract with your audience using real-time voting. No installations or downloads required - and it's free!www.mentimeter.com유료기능이 있는 사이트지만 간단하게 무료 기능만으로도 충분히 사용가능하기 때문에, 여러 상황에서 유용하게 사용할 수 있습니다.접속하면 아래와 같은 화면이 뜹니다.영..
최근 딥페이크 관련 이슈가 많이 나오고 있습니다.딥페이크의 여러 문제들을 알고 확인해 보는 인공지능 윤리교육이 많이 이루어지고 있습니다. 그런데, 딥페이크를 체험해 볼 수 있는 사이트들은 보통 비용이 많이 나가거나, 조금이라도 전문적인 지식이 있어야 한다던가, 고사양의 컴퓨터가 필요하다던가 하는 경우가 대부분입니다. 이때 간단하게 딥페이크를 체험해 볼 수 있는 사이트가 바로 오늘 소개하는 TokkingHeads입니다.이 사이트에 가장 큰 장점은 로그인이 필요 없고, 웹기반에서 작동하기 때문에, 핸드폰이나 태블릿으로도 사용이 가능하다는 점입니다.물론 웹기반이기 때문에 자잘한 오류들이 일부 있지만, 현재 학교에서 태블릿 위주로 보급되어 있기 때문에 간단히 사용하기에는 매우 좋은 사이트입니다.주의: 사용하다보..
수학 공부를 하거나, 컴퓨터 쪽 공부를 하다보면 그래프를 그려야할 일이 가끔 생깁니다.보통은 손으로 그린다음 스캔해서 하는데 그러면 많이 귀찮죠...그래서 오늘 알려드리는 사이트는 그래프를 직접 그려주는 사이트입니다.,무료이고 웹기반이라 설치없이 편하게 할 수 있습니다.Desmos 라는 사이트입니다.웹도 되고 핸드폰에서는 안드로이드, ios 전부 다운받아 사용할 수 있습니다.여기서는 웹으로 설명하겠습니다~검색창에 desmos 라고 치시면 됩니다.또는https://www.desmos.com/ Desmos | 함께 공부해요! www.desmos.com라고 치시거나 위 링크를 클릭하셔서 들어가시면 됩니다.오른쪽 위에 로그인 버튼이 있지만 로그인을 하지 않아도 사용하실 수 있습니다.로그인 유무의 차이는 그래프 ..