논문을 읽다보면 제안하는 모델의 심플함을 주장하면서 모델의 연산량을 보여주는 경우가 많은데, 오늘은 이 연산량 측정에 사용되는 지표인 FLOPs 와 MAC에 대해 알아보고, FLOPs와 거의 같은 이름을 가지고 있는 FLOPS에 대해서도 알아보도록 하겠습니다. FLOPs (FLoating point OPerations) FLOPs는 FLoating point OPerations 즉 부동소수점 연산의 약자로, 사칙연산, log, 지수 연산 등을 각각 1회 연산으로 계산하는 방법입니다. 예를 들어 $ax+b$ 의 FLOPs를 측정한다고 하면 $a \times x$ 와 $+ b$ 두 번의 사칙연산이 포함되므로 FLOPs는 2가 됩니다. MAC (Multiply-ACcumulate) MAC은 Multiply-A..
들어가며 지난 4월 Meta에서 Segment Anything(SAM)이라는 논문이 나왔습니다. CLIP처럼 확장성이 좋은 것 같아 곧 SAM을 활용한 논문이 우후죽순 나올 것 같아 읽어봐야지 읽어봐야지 하다가 이제서야 정리해봅니다 :) ⛳️ Image Segmentation 분야의 foundation model 최근 자연어 처리(NLP)분야에서는 매우 큰 데이터 셋으로 학습한 대용량 언어 모델 (Large Language Model)의 일반화 (generalization)성능이 우수하여 프롬프트 튜닝을 통해 zero-shot, few-shot downstrem task에서도 좋은 성능을 보여주고 있다고 합니다. 이러한 LLM은 다른 하위 태스크 수행의 기반이 되는 foundation 모델이라고도 부르..
torch.nn.DataParallel(DP) 과 torch.nn.DataDistributedParallel(DDP)의 차이점을 살펴보던 중 GIL 관련 이야기가 나와서 작성해봅니다. 😄 Python에서는 multi-processing을 써라? 아래 글은 pytorch 공식 문서에서 발췌한 글입니다. It is recommended to use DistributedDataParallel, instead of DataParallel to do multi-GPU training, even if there is only a single node. The difference between DistributedDataParallel and DataParallel is: DistributedDataParallel ..
1. 베이즈 확률론이란? 베이즈 확률론이란 고전적인 빈도 주의 확률론과 달리 확률을 믿음의 정도로 해석하는 확률론입니다. 예를 들어 동전의 앞면이 나올 확률이 0.5라고 할 때 빈도주의 확률론은 동전을 1000번 던졌을 때 앞면이 나오는 경우가 500번이 될 것이라고 해석하고, 베이즈 확률론은 동전을 한 번 던졌을 때 앞면이 나왔다는 주장의 신뢰도가 50%라고 해석합니다. 2. 베이즈 정리란? 베이즈 정리란 사전확률(prior)과, 사후 확률(poesterior)의 관계를 나타내는 정리로, 이를 활용하면 데이터가 주어지기 전의 사전확률이 데이터가 주어짐에 따라 어떻게 변하는지 계산할 수 있습니다 이를 베이즈 확률론의 관점에서 해석하자면 어떤 가설을 상정했을 때, 관찰한 데이터를 기반으로 가설에 대한 신뢰..
🧐 파이썬에서 나오는 난수는 어떻게 고른 수 일까요? Python 에서는 아래와 같은 코드로 여러 난수를 생성할 수 있습니다. 이 때 난수는 어떤 방식으로 생성되는 것일까요? 결론부터 말하자면 파이썬은 메르센 트위스터 (Mersenne Twister)를 사용해 난수를 생성합니다! 🤨 그렇다면 메르센 트위스터란 무엇일까요? 컴퓨터는 사람과 달리 진짜 난수를 생성할 수 없습니다. 하지만, 개발을 하다보면 랜덤한 수가 필요할 때가 있습니다. 각종 개발 언어는 이런 상황에 개발자에게 난수를 제공하기 위해 랜덤해 보이지만 사실은 규칙이 있는 의사 난수 생성기 (pseudorandom number generator)를 사용합니다. Python, C++, 더 나아가 엑셀, MATLAB등에서 사용하는 의사 난수 생성기..
들어가며 지난 4월 Meta에서 Segment Anything(SAM)이라는 논문이 나왔습니다. CLIP처럼 확장성이 좋은 것 같아 곧 SAM을 활용한 논문이 우후죽순 나올 것 같아 읽어봐야지 읽어봐야지 하다가 이제서야 정리해봅니다 :) ⛳️ Image Segmentation 분야의 foundation model 최근 자연어 처리(NLP)분야에서는 매우 큰 데이터 셋으로 학습한 대용량 언어 모델 (Large Language Model)의 일반화 (generalization)성능이 우수하여 프롬프트 튜닝을 통해 zero-shot, few-shot downstrem task에서도 좋은 성능을 보여주고 있다고 합니다. 이러한 LLM은 다른 하위 태스크 수행의 기반이 되는 foundation 모델이라고도 부르..
🧐 파이썬에서 나오는 난수는 어떻게 고른 수 일까요? Python 에서는 아래와 같은 코드로 여러 난수를 생성할 수 있습니다. 이 때 난수는 어떤 방식으로 생성되는 것일까요? 결론부터 말하자면 파이썬은 메르센 트위스터 (Mersenne Twister)를 사용해 난수를 생성합니다! 🤨 그렇다면 메르센 트위스터란 무엇일까요? 컴퓨터는 사람과 달리 진짜 난수를 생성할 수 없습니다. 하지만, 개발을 하다보면 랜덤한 수가 필요할 때가 있습니다. 각종 개발 언어는 이런 상황에 개발자에게 난수를 제공하기 위해 랜덤해 보이지만 사실은 규칙이 있는 의사 난수 생성기 (pseudorandom number generator)를 사용합니다. Python, C++, 더 나아가 엑셀, MATLAB등에서 사용하는 의사 난수 생성기..
논문을 읽다보면 제안하는 모델의 심플함을 주장하면서 모델의 연산량을 보여주는 경우가 많은데, 오늘은 이 연산량 측정에 사용되는 지표인 FLOPs 와 MAC에 대해 알아보고, FLOPs와 거의 같은 이름을 가지고 있는 FLOPS에 대해서도 알아보도록 하겠습니다. FLOPs (FLoating point OPerations) FLOPs는 FLoating point OPerations 즉 부동소수점 연산의 약자로, 사칙연산, log, 지수 연산 등을 각각 1회 연산으로 계산하는 방법입니다. 예를 들어 $ax+b$ 의 FLOPs를 측정한다고 하면 $a \times x$ 와 $+ b$ 두 번의 사칙연산이 포함되므로 FLOPs는 2가 됩니다. MAC (Multiply-ACcumulate) MAC은 Multiply-A..
