MEDC

[2일차] 문장을 작은 단위로 쪼개기

moviewine — Mon, 11 Sep 2023 09:31:38 +0900

< 문장을 작은 단위로 쪼개기 >
2-1. 토큰화(Tokenization)란?
2-2. 바이트 페어 인코딩이란?
2-3. 어휘 집합 구축
2-4. 토큰화하기

==========

2-1. 토큰화(Tokenization)란?

# 토큰화
- 문장을 토큰 시퀀스로 나누는 과정
- 문자, 단어, 서브워드 등 세 가지 방법이 있음.
- 문자 단위 토큰화는 어휘 집합의 크기가 매우 커질 수 있는 단점이 있고,
단어 단위 토큰화는 각 문자 토큰이 의미 있는 단위가 되기 어려운 단점이 있음.
- 대표적인 서브워드 단위 토큰화는 바이트 페어 인코딩이 있음.

2-2. 바이트 페어 인코딩

# GPT는 BPE방식을 쓰고, BERT는 BPE와 유사 방식인 워드피스(wordpiece)를 토크나이저로 사용함.
# 바이트 페어 인코딩(Byte Pair Encoding; BPE)
- 원래 정보 압축하는 알고리즘으로 제안되었었음.
- 바이트 페어 인코딩(BPE)은 사전 크기 증가를 억제하면서 동시에 정보를 효율적으로 압축할 수 있는 알고리즘.
=> 프리토크나이즈(pre-tokenize) 후 바이그램(bigram)씩 묶어 빈도수를 합쳐줌
(”BPE 어휘 집합은 고빈도 바이그램 쌍을 병합하는 방식으로 구축“)
# 워드피스(Wordpiece)
- 워드피스는 우도를 가장 높이는 글자 쌍을 병합함.

3-3. 어휘 집합 구축

# BPE기반 토크나이저 만들기(for GPT)

# 워드피스기반 토크나이저 만들기(for BERT)

3-4. 토큰화하기

# GPT 입력값 만들기

# BERT 입력값 만들기

[1일차] 처음 만나는 자연어처리

moviewine — Fri, 8 Sep 2023 09:17:46 +0900

[ 1일차(처음 만나는 자연어처리) 목록 ]
1-1. 딥러닝 기반 자연어 처리 모델
1-2. 트랜스퍼 러닝
1-3. 학습 파이프라인
1-4. 개발 환경 설정

==========

1-1. 딥러닝 기반 자연어 처리 모델(p.12 ~ 16)

1) 이론

# 기계의 자연어 처리: 입력 > 모델(함수) > 출력(확률)
  - 예시:
    [ 입력(자연어) > 출력(확률) > 후처리 ]
    재미없는 편인 영화에요 > [0.0, 0.3, 0.7]: 긍정, 중립, 부정 > 부정(negative)
  - 딥러닝도 모델! (Hidden layer를 사용하는 모델)
  - 모델을 만드려면 데이터가 필요하며, 이 데이터는 라벨링(labeling)으로 확보 => training (labeling된 데이터의 패턴을 모델이 익히게 함)
  - 자연어 처리 관련해 BERT(Bidirectional Encoder Representations from Transformer), GPT(Generative Pre-trained Transformer)가 주목

1-2. 트랜스퍼 러닝

1) 이론

# 트랜스퍼러닝(Transfer learning): 특정 task를 작업한 학습모델을 다른 task에 재사용하는 기법 (knowledge transfer)

  - 모델 학습 속도가 빨라지고 + 새로운 테스크(downstream task)를 더 잘 맞춤.
  - 재사용한 모델에 데이터만 새로 추가
   데이터1 > “모델” > 테스크1(upstream task) ==> 프리트레인(pretrain)
   데이터2 > “모델” > 테스크2(downstream task)

  - Pretrain에서 자연어의 풍부한 문맥(context)을 모델에 내재화 하고 downstream task에서 활용해 성능을 끌어올림.
    => 언어 모델(Language Model)
    => GPT의 pretrain 중 하나는 “단어 맞추기”
    => BERT의 pretrain 중 하나는 “빈칸 채우기“ => 마스크 언어 모델(Masked Language Model)

  - Pretrain에서 사람의 수작업 없이 다량의 학습데이터 내에서 정답을 만들고 + 모델을 학습하는 방법
     => 자기지도학습(self-supervised learning)
   (아래는 자기지도학습과 준지도학습, 비지도학습의 차이를 비교한 것. 출처: Bard) => label이 지정되었는 지 유무에 따라 준지도학습과 구분됨.

# 파인 튜닝(Fine-tuning)

  - 자연어처리의 궁극적 목표는 downstream task (예: classification)
    => Downstream task는 파인 튜닝(Fine-tuning)을 통해 학습
    => Fine-tuning: Pretrain을 마친 모델을 downstream task에 맞게 UPDATE !

  - 문서 분류: 문서나 문장을 입력받아 어떤 범주에 속하는 지 확률값 반환
    .여기서 각각 문장의 시작과 끝에 CLS, SEP라는 특수한 토큰(token)을 붙는데, 토큰 및 토큰화(tokenizeation)에 대한 이해가 필요.

  - 자연어 추론: 문장 2개를 입력받아 두 문장 사이 관계가 참(entailment) or 거짓(contradiction) or 중립(neutral) 인지 확률값 반환

  - 개체명 인식: 문서나 문장을 입력받아 단어 별로 기관명, 인명, 지명 등 어떤 개체의 범주에 속하는 지 확률값 반환

  - 질의 응답: 질문과 지문을 입력받아 각 단어가 정답의 시작일 확률값과 끝일 확률값을 반환

  - 문장 생성: 문장을 입력받아 어휘 전체에 대한 확률값 반환

# 파인튜닝 외 학습방법

  1) 프롬프트 튜닝(prompt tuning): 다운태스크 데이터 전체 사용. 모델 일부 업데이트.
  2) 인컨텍스트 러닝(in-context learning): 다운태스크 데이터 일부만 사용. 모델 업데이트 하지 않음.
  3) 제로샷 러닝(zero-shot learning): 다운태스크 데이터 사용 안함. 모델이 바로 다운태스크 수행.
  4) 원샷 러닝(one-shot learning): 다운태스크 데이터 1개만 사용. 이후 모델이 다운태스크에 수행 될지 여부 결정.
  5) 퓨샷 러닝(few-shot learning) : 다운태스크 데이터 몇 개만 사용. 이후 모델이 다운태스크에 수행 될지 여부 결정.

1-3. 학습 파이프라인

  1) 오픈소스 파이썬 패키지(ratsnlp: github.cm/ratsgo/tartsnlp)
   - 설정값: Pretrain model, Dataset, 저장소, Hyper-parameter

  2) 설정값 선언
  3) 데이터 다운로드
  4) 모델 준비 => 이 단계에서 kcbert-base 모델이 hugging face로부터 내려받아지지 않아 오류가 발생했습니다(추후 다시 시도 예정).
  5) 토크나이저 준비
  6) 데이터 로더 준비
  7) 태스크 정의
  8) 모델 학습

(스크랩) AI 특허분류

moviewine — Thu, 7 Sep 2023 11:01:22 +0900

https://m.mt.co.kr/renew/view_amp.html?no=2021112406263133425

100일 걸리는 특허분류, 'AI 변리사 비서'가 수일내 끝낸다 - 머니투데이

워트인텔리전스, 세계 첫 AI 특허언어모델 '펫버트'(PAT-BERT) 개발…국내외 2100만건 특허데이터 학습특허검색엔진 "키워트"를 운영 중인 워트인텔리전스가 AI(인공지능) 특허언어모델 "펫버트"(PAT-B

news.mt.co.kr

[고급-교육] LLM Papers & Github Lists

moviewine — Thu, 7 Sep 2023 09:54:14 +0900

# Basic Sources
https://github.com/mlabonne/llm-course

# Foundation Model

https://github.com/Beomi/KoAlpaca

GitHub - Beomi/KoAlpaca: KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델

KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델. Contribute to Beomi/KoAlpaca development by creating an account on GitHub.

github.com

# PEFT(Parameter Efficient Fine-Tuning)

https://github.com/tloen/alpaca-lora

GitHub - tloen/alpaca-lora: Instruct-tune LLaMA on consumer hardware

Instruct-tune LLaMA on consumer hardware. Contribute to tloen/alpaca-lora development by creating an account on GitHub.

github.com

# Evaluation Metrics

https://github.com/nlpai-lab/KULLM

GitHub - nlpai-lab/KULLM: ☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM

☁️ 구름(KULLM): 고려대학교에서 개발한, 한국어에 특화된 LLM. Contribute to nlpai-lab/KULLM development by creating an account on GitHub.

github.com

일반 상대성 이론

moviewine — Thu, 7 Sep 2023 09:10:17 +0900

# 출처: BARD

일반 상대성 이론은 알베르트 아인슈타인이 1915년에 발표한 중력의 상대론적 이론입니다. 뉴턴의 중력 법칙을 일반화한 이론으로, 중력을 시공간의 곡률로 설명합니다.

일반 상대성 이론의 기본 개념은 다음과 같습니다.

* **등가 원리**

등가 원리란, 주어진 중력장에서 모든 입자는 질량, 부피, 전하 등 그 성질에 상관없이 똑같이 떨어진다는 원리입니다. 이 원리에 따르면, 중력은 물체에 가하는 힘이 아니라, 시공간의 곡률에 의해 생기는 현상입니다.

* **시공간의 곡률**

시공간은 시간과 공간의 통합된 개념으로, 일반 상대성 이론에서 중력의 매개체 역할을 합니다. 중력이 강할수록 시공간은 휘어지고, 약할수록 휘어짐이 적습니다.

* **중력파**

중력파는 중력의 전파를 나타내는 파동입니다. 일반 상대성 이론에 따르면, 중력은 시공간의 곡률로 나타나며, 이 곡률은 시공간의 곡률을 변화시키는 사건에 의해 전파됩니다.

일반 상대성 이론은 많은 관측 결과와 실험 결과와 일치함으로써 그 타당성을 인정받고 있습니다. 예를 들어, 일반 상대성 이론은 수성의 근일점 이동, 태양에 의한 별빛의 굴절, 중력렌즈 현상 등을 예측했으며, 이러한 예측은 모두 관측 결과와 일치했습니다. 또한, 중력파의 존재는 2015년에 LIGO 실험을 통해 직접 관측되었는데, 이 관측 결과 역시 일반 상대성 이론과 일치했습니다.

일반 상대성 이론은 현대 물리학의 두 기둥 중 하나로, 천체물리학과 우주론 분야에서 중요한 역할을 하고 있습니다. 또한, 일반 상대성 이론은 암흑물질과 암흑에너지의 존재를 설명하는 데에도 중요한 역할을 할 것으로 기대되고 있습니다.

일반 상대성 이론의 주요 업적은 다음과 같습니다.

* 뉴턴의 중력 법칙을 일반화하여 중력의 근본적인 특성을 이해하는 데 기여했습니다.
* 중력파의 존재를 예측하여, 2015년에 LIGO 실험을 통해 직접 관측되었습니다.
* 블랙홀과 중성자별의 존재를 예측했습니다.
* 우주론의 발전에 기여했습니다.

일반 상대성 이론은 아직까지 완전한 이론은 아닙니다. 양자역학과 일반 상대성 이론을 통합하는 양자 중력이론을 완성하기 위한 노력이 계속되고 있습니다.

==========

일반 상대성 이론은 알베르트 아인슈타인이 1915년에 발표한, 중력을 상대론적으로 다루는 물리학 이론입니다. 특수 상대성 이론과 함께 현대 물리학의 두 기둥을 형성하고 있습니다.

일반 상대성 이론은 등가 원리를 통해 중력이 시공간의 곡률에 의한 것이라는 결론을 이끌어냅니다. 등가 원리에 따르면, 주어진 중력장에서 모든 입자는 질량, 부피, 전하 등 그 성질에 상관없이 똑같이 떨어집니다. 이는 가속도가 중력과 구별할 수 없는 것이라는 것을 의미합니다.

일반 상대성 이론은 시공간의 곡률을 기술하기 위해 리만 기하학을 사용합니다. 리만 기하학에서는 시공간이 4차원이며, 곡률은 시공간의 휘어짐을 나타냅니다. 중력이 강한 곳에서는 시공간이 더 많이 휘어지고, 중력이 약한 곳에서는 시공간이 덜 휘어집니다.

일반 상대성 이론은 다양한 천문 관측 결과와 일치하는 것으로 밝혀졌습니다. 예를 들어, 수성의 근일점 이동, 태양에 의한 별빛의 굴절, 중력파의 존재, 블랙홀의 존재 등이 일반 상대성 이론으로 설명됩니다.

일반 상대성 이론은 우주론에도 중요한 역할을 합니다. 일반 상대성 이론에 따르면, 우주는 팽창하고 있으며, 팽창 속도는 점점 빨라지고 있습니다. 또한, 우주에는 암흑 물질과 암흑 에너지가 존재한다고 예측합니다.

일반 상대성 이론은 아직까지도 완벽한 이론은 아닙니다. 특히, 양자역학과 일반 상대성 이론을 통합하는 것은 물리학계의 오랜 과제입니다.

일반 상대성 이론의 주요 내용은 다음과 같습니다.

중력은 시공간의 곡률에 의한 것입니다.
중력이 강한 곳에서는 시공간이 더 많이 휘어집니다.
시공간은 4차원이며, 곡률은 시공간의 휘어짐을 나타냅니다.
일반 상대성 이론은 다양한 천문 관측 결과와 일치합니다.
일반 상대성 이론은 우주론에도 중요한 역할을 합니다.
일반 상대성 이론은 물리학의 가장 중요한 이론 중 하나이며, 우주에 대한 우리의 이해를 크게 발전시켰습니다.

[기본-교육] ChatGPT 구분

moviewine — Sat, 2 Sep 2023 01:08:26 +0900

# 출처: https://naver.me/xWBcWoNB

[AI혁명](60)"A+리포트, AI가 썼군요"…챗GPT 잡는 '킬러' 나온다

챗GPT 붐 이후 대학가 첫 개강을 맞은 지난 3월. 인공지능(AI) 기술 기업 무하유 고객센터 전화에 불이 났다. 아무래도 챗GPT가 대필한 과제를 제출한 것 같은데 문제 삼을 근거가 없어 골치라는 전

n.news.naver.com

[고급-모델] LLaMA & LLaMA2 소개

moviewine — Fri, 1 Sep 2023 20:45:52 +0900

1. LLaMA code review
# 출처:
https://youtube.com/watch?v=jvYpv0VJBOA

- YouTube

www.youtube.com

Github
https://github.com/facebooksearch/llama

2. LLaMA2 code review

# 출처:
https://youtu.be/zN30JodATrU?si=bPgzd-KKhxQJfgjA
Github

# LLAMA Recipe 로 llama2를 돌리는 IDE 가이드 참조

# 저자의 한국어 fine-tuning model 참조

[기본-교육] token과 chunk

moviewine — Fri, 1 Sep 2023 16:26:53 +0900

"chunk"와 "token"은 자연어 처리(Natural Language Processing, NLP) 분야에서 중요한 개념입니다.

- 토큰(Token):

토큰은 문장 또는 텍스트를 작은 단위로 나눈 것을 말합니다. 이러한 단위는 보통 단어, 구두점, 숫자 등과 같은 텍스트의 기본 구성 요소를 나타냅니다.
예를 들어, "Hello, world!"라는 문장은 다음과 같은 토큰으로 나눌 수 있습니다: "Hello", ",", "world", "!".
토큰화는 텍스트를 이해 가능한 작은 조각으로 나누는 중요한 NLP 전처리 단계 중 하나입니다.

- 청크(Chunk):

청크는 토큰의 그룹이며, 이 그룹은 문장에서 의미 있는 단위를 나타내는 경우가 많습니다.
예를 들어, "New York City"라는 텍스트는 일반적으로 하나의 개체명(Entity)으로 인식되며, 이는 "New", "York", "City"라는 개별 토큰들의 청크입니다.
청크는 정보 추출, 문장 구조 분석 등과 같은 NLP 작업에서 중요하게 활용됩니다.

요약하면, 토큰은 텍스트를 작은 단위로 나눈 것이며, 청크는 이러한 토큰들의 그룹으로, 문장에서 의미 있는 정보를 나타낼 때 사용됩니다. 청크는 문맥을 고려하여 텍스트의 의미를 더 잘 이해하기 위해 유용하게 활용됩니다.

[고급-교육] LangChain (MS MVP AI 김태영)

moviewine — Fri, 1 Sep 2023 14:26:11 +0900

# 출처: 챗GPT에 날개를 달아줄 랭체인(LangChain)
https://youtu.be/JBcWvMeOAes?list=PLGnaBtRshJSRpBodFlJnIlQhvY6DMKhUD

- 참고문서: https://docs.langchain.com/docs/

️ LangChain | ️ LangChain

LangChain is a framework for developing applications powered by language models.

docs.langchain.com

# ChatGPT와 함께 빠르게 발전하는 기술 LangChain
- ChatGPT는 거짓말도 하지만, LangChain은 사실 정보를 기반으로 답을 해주므로 더 사실에 근접할 것

# LangChain: 언어 모델을 기반으로 한 어플리케이션을 개발하기 위한 프레임워크. 확장성이 뛰어나다.
- 데이터 인식: 언어 모델을 다른 데이터 소스에 연결
- 능동적 상호작용: 언어 모델이 환경과 상호작용할 수 있도록 함.
- LangChain의 컴포넌트: 스키마, 모델, 프롬프트, 인덱스, 메모리, 체인, 에이전트

1) 스키마
: 텍스트, 채팅 메시지, examples, 문서 타입
2) 모델
: 대규모언어모델, 채팅모델, 텍스트 임베딩 모델

[기본-교육] Diffusion Model(Stable Diffusion Model)

moviewine — Tue, 29 Aug 2023 18:35:55 +0900

#출처: OpenAI ChatGPT 3.5

1. Diffusion Model

확산 모델(Diffusion Model)은 인공지능(AI) 및 컴퓨터 과학 분야에서 사용되는 모델 중 하나로, 정보나 현상의 확산을 모델링하는 데 사용됩니다. 이 모델은 주로 정보의 전파, 현상의 확산, 혹은 제품의 입지선정과 같은 다양한 분야에서 활용됩니다.

확산 모델은 일반적으로 다음과 같은 요소를 고려합니다:

- 시작 지점(Seed Point): 확산이 시작되는 초기 지점이나 시점을 나타냅니다. 이것은 정보의 시작 또는 현상의 원점을 나타냅니다.
- 확산 속도 및 방향: 정보나 현상이 어떻게 퍼져나가는지, 그리고 얼마나 빠르게 확산되는지를 모델링합니다. 이것은 일반적으로 수학적인 함수나 확률 모델을 사용하여 표현됩니다.
- 장애물 또는 영향 요소: 확산 과정에서 어떤 장애물이나 영향 요소가 작용할 수 있습니다. 이것은 현실 세계의 제약사항을 반영하는 데 사용됩니다.
- 도착 지점(End Point): 확산 과정이 어떻게 종료되는지를 나타냅니다. 종종 목표 지점이나 최종 상태를 의미합니다.

확산 모델은 주로 시뮬레이션 및 예측을 위해 사용되며, 예를 들어 정보가 어떻게 소셜 네트워크에서 전파되는지, 전염병이 어떻게 퍼지는지, 또는 제품의 시장 진출이 어떻게 진행되는지를 이해하는 데 활용될 수 있습니다. 이 모델은 실제 상황에서의 의사 결정과 전략 수립에 도움을 줄 수 있습니다.

2. 확산 모델(Diffusion Model) 활용 사례

- 소셜 네트워크 분석: 확산 모델은 소셜 네트워크에서 정보, 아이디어 또는 특정 행동이 어떻게 전파되는지 이해하는 데 사용됩니다. 예를 들어, 트위터에서 특정 키워드가 어떻게 확산되는지 모델링하여 트렌드 분석 및 영향력 분석에 활용될 수 있습니다.
- 전염병 모델링: 전염병 확산을 예측하고 관리하기 위해 확산 모델이 사용됩니다. 이를 통해 전염병의 확산 경로와 어떻게 제어해야 하는지에 대한 전략을 개발하는 데 도움을 줄 수 있습니다.
- 제품 마케팅 및 입지선정: 확산 모델은 제품이 어떻게 시장에서 확산되는지 예측하는 데 사용될 수 있습니다. 이를 통해 적절한 마케팅 전략을 수립하고 제품의 입지를 결정하는 데 도움이 됩니다.
- 정책 및 의사 결정 지원: 확산 모델은 정책 결정에 활용될 수 있으며, 예를 들어 정부가 새로운 규제 정책을 도입할 때 그 영향을 예측하고 평가하는 데 사용될 수 있습니다.
- 물리학 및 과학 연구: 확산 모델은 물리학 및 과학 연구에서 다양한 분야에 적용됩니다. 화학 반응, 열 전도, 유체 역학 등의 과학적 현상의 확산을 모델링하는 데 사용됩니다.
- 금융 및 경제학: 금융 시장에서 자산 가격의 변동이 어떻게 확산되는지 이해하는 데 확산 모델이 적용될 수 있습니다. 또한 경제 모델링에서도 확산 모델은 미래 경제 동향을 예측하는 데 활용됩니다.

이러한 활용 사례들은 확산 모델이 정보 및 현상의 전파를 이해하고 예측하는 데 어떻게 다양하게 활용될 수 있는지를 보여줍니다. 이 모델은 의사 결정과 전략 수립에 중요한 도구로 활용되며, 데이터 기반 접근법을 통해 현실 세계의 복잡한 상황을 모델링하는 데 도움이 됩니다.

3. Stable Diffusion Model

"Stable Diffusion Model"은 확산 모델(Diffusion Model)의 변형 중 하나입니다. 이 모델은 생성 모델링과 이미지 생성에 사용되는 딥러닝 모델의 일종으로, 고화질 이미지를 생성하거나 이미지의 품질을 향상시키는 데 사용됩니다.

Stable Diffusion Model의 핵심 아이디어는 이미지 생성 과정을 안정화하는 것입니다. 이미지를 점진적으로 개선해나가는 방식으로 작동하며, 다음과 같은 특징을 가집니다:

- Diffusion Process: Stable Diffusion Model은 이미지를 생성하는 과정을 확산(Diffusion) 프로세스로 모델링합니다. 이 과정에서 이미지는 초기 잡음으로 시작하여 점차적으로 개선되며 높은 품질의 이미지로 수렴합니다.
- Noise Level: 확산 프로세스 동안 이미지에 노이즈가 추가되며, 이 노이즈 레벨은 이미지 품질을 조절하는 중요한 하이퍼파라미터입니다.
- Invertible Networks: 이미지 개선을 위해 안정적인(invertible) 신경망 아키텍처를 사용합니다. 이것은 생성된 이미지를 원본 이미지로 역변환할 수 있는 능력을 의미합니다.
- 모델 학습: Stable Diffusion Model은 대규모 데이터셋에서 학습되며, 훈련 중에 이미지 생성 과정을 안정화하는 방법을 학습합니다.

Stable Diffusion Model은 고품질 이미지 생성과 이미지 편집 작업에 활용됩니다. 예를 들어, 고해상도 이미지를 생성하거나 이미지의 스타일을 변경하는 데 사용될 수 있습니다. 이 모델은 딥러닝과 이미지 처리 분야에서의 연구와 응용에서 주목받고 있으며, 이미지 생성 및 편집에 새로운 가능성을 제공합니다.

4. DDPM(Denoising Diffusion Probabilistic Models)

DDPM은 "Denoising Diffusion Probabilistic Models"의 약어로, 생성 모델링 분야에서 사용되는 딥러닝 모델 중 하나입니다. 이 모델은 고화질 이미지 생성 및 이미지 복원 작업에 활용됩니다.

DDPM의 주요 아이디어는 이미지 생성 및 복원 문제를 노이즈 제거 및 확산(Diffusion) 프로세스와 관련된 확률 모델로 접근하는 것입니다. DDPM은 다음과 같은 특징을 가집니다:

- Diffusion Process: DDPM은 이미지 생성 또는 복원을 확산 프로세스로 모델링합니다. 확산 프로세스는 이미지에 노이즈를 반복적으로 추가하고 이를 점진적으로 제거하여 원본 이미지를 복원하는 방식으로 작동합니다.
- Probabilistic Modeling: 모델은 이미지의 확률 분포를 학습하여 확률적으로 이미지를 생성하고, 노이즈가 추가된 이미지를 생성합니다.
- 안정적인(invertible) 신경망 아키텍처: DDPM은 안정적인(invertible) 신경망 아키텍처를 사용하여 이미지를 노이즈로부터 복원하는 과정을 모델링합니다.
- 학습: 모델은 대규모 이미지 데이터셋에서 학습되며, 노이즈 수준 및 이미지 복원에 관련된 하이퍼파라미터를 조절하여 원하는 결과를 얻을 수 있습니다.
DDPM은 고화질 이미지 생성, 이미지 복원 및 이미지 품질 향상과 같은 작업에서 효과적으로 사용됩니다. 이 모델은 딥러닝 및 이미지 처리 연구 분야에서 많은 관심을 받고 있으며, 고화질 이미지 생성 및 복원에 대한 성능 향상을 위한 연구에 기여하고 있습니다.

# 참고 (출처: 모두의 연구소 커뮤니티)

- 쉬운 설명: https://metamath1.github.io/blog/posts/diffusion/ddpm_part1.html

ML simple works - A Gentle Introduction to Diffusion Model: Part 1 - DDPM

metamath1.github.io

- 실습 코드
파이토치 https://metamath1.github.io/blog/posts/diffusion/ddpm_part2-2.html

ML simple works - A Gentle Introduction to Diffusion Model: Part 2-2 DDPM Hands-on with Pytorch

metamath1.github.io

텐서플로 https://metamath1.github.io/blog/posts/diffusion/ddpm_part2-1.html

ML simple works - A Gentle Introduction to Diffusion Model: Part 2-1 DDPM Hands-on with TensorFlow

metamath1.github.io

5. Code 구현

Stable Diffusion Model을 구현하려면 다음 단계를 따르게 됩니다:

1. PyTorch나 TensorFlow와 같은 딥러닝 프레임워크를 설치하십시오.
2. 대규모 이미지 데이터셋을 수집하고 전처리합니다.
3. 모델 아키텍처를 정의하십시오. Stable Diffusion Model은 안정적인(invertible) 신경망 아키텍처를 사용합니다.
4. 모델 학습을 위한 손실 함수 및 최적화 기법을 설정하십시오. 이 모델은 확산 프로세스와 노이즈 조절을 고려한 특별한 손실 함수를 사용합니다.
5. 모델을 학습하고 이미지 생성을 시작합니다.
6. 이미지 생성 시 노이즈 레벨과 다른 하이퍼파라미터를 조절하여 원하는 이미지 품질을 얻습니다.