티스토리

MEDC

검색하기

블로그 홈

MEDC

hsteve.tistory.com/m

Physics, AI, and something educational.. Hey Steve~, Make Each Day Count !

구독자: 1

방명록 방문하기

주요 글 목록

[2일차] 문장을 작은 단위로 쪼개기 2-1. 토큰화(Tokenization)란? 2-2. 바이트 페어 인코딩이란? 2-3. 어휘 집합 구축 2-4. 토큰화하기 ========== 2-1. 토큰화(Tokenization)란? # 토큰화 - 문장을 토큰 시퀀스로 나누는 과정 - 문자, 단어, 서브워드 등 세 가지 방법이 있음. - 문자 단위 토큰화는 어휘 집합의 크기가 매우 커질 수 있는 단점이 있고, 단어 단위 토큰화는 각 문자 토큰이 의미 있는 단위가 되기 어려운 단점이 있음. - 대표적인 서브워드 단위 토큰화는 바이트 페어 인코딩이 있음. 2-2. 바이트 페어 인코딩 # GPT는 BPE방식을 쓰고, BERT는 BPE와 유사 방식인 워드피스(wordpiece)를 토크나이저로 사용함. # 바이트 페어 인코딩.. 공감수 0 댓글수 0 2023. 9. 11.
[1일차] 처음 만나는 자연어처리 [ 1일차(처음 만나는 자연어처리) 목록 ] 1-1. 딥러닝 기반 자연어 처리 모델 1-2. 트랜스퍼 러닝 1-3. 학습 파이프라인 1-4. 개발 환경 설정 ========== 1-1. 딥러닝 기반 자연어 처리 모델(p.12 ~ 16) 1) 이론 # 기계의 자연어 처리: 입력 > 모델(함수) > 출력(확률) - 예시: [ 입력(자연어) > 출력(확률) > 후처리 ] 재미없는 편인 영화에요 > [0.0, 0.3, 0.7]: 긍정, 중립, 부정 > 부정(negative) - 딥러닝도 모델! (Hidden layer를 사용하는 모델) - 모델을 만드려면 데이터가 필요하며, 이 데이터는 라벨링(labeling)으로 확보 => training (labeling된 데이터의 패턴을 모델이 익히게 함) - 자연어 처리.. 공감수 0 댓글수 0 2023. 9. 8.
(스크랩) AI 특허분류 https://m.mt.co.kr/renew/view_amp.html?no=2021112406263133425 100일 걸리는 특허분류, 'AI 변리사 비서'가 수일내 끝낸다 - 머니투데이워트인텔리전스, 세계 첫 AI 특허언어모델 '펫버트'(PAT-BERT) 개발…국내외 2100만건 특허데이터 학습특허검색엔진 "키워트"를 운영 중인 워트인텔리전스가 AI(인공지능) 특허언어모델 "펫버트"(PAT-Bnews.mt.co.kr 공감수 0 댓글수 0 2023. 9. 7.
[고급-교육] LLM Papers & Github Lists # Basic Sources https://github.com/mlabonne/llm-course # Foundation Model https://github.com/Beomi/KoAlpaca GitHub - Beomi/KoAlpaca: KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델. Contribute to Beomi/KoAlpaca development by creating an account on GitHub.github.com # PEFT(Parameter Efficient Fine-Tuning) https://github.com/tloen/alpaca-lora GitHub - tloen/alpaca-lora: Instruc.. 공감수 1 댓글수 0 2023. 9. 7.
일반 상대성 이론 # 출처: BARD 일반 상대성 이론은 알베르트 아인슈타인이 1915년에 발표한 중력의 상대론적 이론입니다. 뉴턴의 중력 법칙을 일반화한 이론으로, 중력을 시공간의 곡률로 설명합니다. 일반 상대성 이론의 기본 개념은 다음과 같습니다. * **등가 원리** 등가 원리란, 주어진 중력장에서 모든 입자는 질량, 부피, 전하 등 그 성질에 상관없이 똑같이 떨어진다는 원리입니다. 이 원리에 따르면, 중력은 물체에 가하는 힘이 아니라, 시공간의 곡률에 의해 생기는 현상입니다. * **시공간의 곡률** 시공간은 시간과 공간의 통합된 개념으로, 일반 상대성 이론에서 중력의 매개체 역할을 합니다. 중력이 강할수록 시공간은 휘어지고, 약할수록 휘어짐이 적습니다. * **중력파** 중력파는 중력의 전파를 나타내는 파동입니다.. 공감수 0 댓글수 0 2023. 9. 7.
[기본-교육] ChatGPT 구분 # 출처: https://naver.me/xWBcWoNB [AI혁명](60)"A+리포트, AI가 썼군요"…챗GPT 잡는 '킬러' 나온다챗GPT 붐 이후 대학가 첫 개강을 맞은 지난 3월. 인공지능(AI) 기술 기업 무하유 고객센터 전화에 불이 났다. 아무래도 챗GPT가 대필한 과제를 제출한 것 같은데 문제 삼을 근거가 없어 골치라는 전n.news.naver.com 공감수 0 댓글수 0 2023. 9. 2.
[고급-모델] LLaMA & LLaMA2 소개 1. LLaMA code review # 출처: https://youtube.com/watch?v=jvYpv0VJBOA- YouTubewww.youtube.comGithub https://github.com/facebooksearch/llama 2. LLaMA2 code review # 출처: https://youtu.be/zN30JodATrU?si=bPgzd-KKhxQJfgjA Github # LLAMA Recipe 로 llama2를 돌리는 IDE 가이드 참조 # 저자의 한국어 fine-tuning model 참조 공감수 0 댓글수 0 2023. 9. 1.
[기본-교육] token과 chunk "chunk"와 "token"은 자연어 처리(Natural Language Processing, NLP) 분야에서 중요한 개념입니다. - 토큰(Token): 토큰은 문장 또는 텍스트를 작은 단위로 나눈 것을 말합니다. 이러한 단위는 보통 단어, 구두점, 숫자 등과 같은 텍스트의 기본 구성 요소를 나타냅니다. 예를 들어, "Hello, world!"라는 문장은 다음과 같은 토큰으로 나눌 수 있습니다: "Hello", ",", "world", "!". 토큰화는 텍스트를 이해 가능한 작은 조각으로 나누는 중요한 NLP 전처리 단계 중 하나입니다. - 청크(Chunk): 청크는 토큰의 그룹이며, 이 그룹은 문장에서 의미 있는 단위를 나타내는 경우가 많습니다. 예를 들어, "New York City"라는 텍스트는.. 공감수 0 댓글수 0 2023. 9. 1.
[고급-교육] LangChain (MS MVP AI 김태영) # 출처: 챗GPT에 날개를 달아줄 랭체인(LangChain) https://youtu.be/JBcWvMeOAes?list=PLGnaBtRshJSRpBodFlJnIlQhvY6DMKhUD - 참고문서: https://docs.langchain.com/docs/🦜️🔗 LangChain | 🦜️🔗 LangChainLangChain is a framework for developing applications powered by language models.docs.langchain.com # ChatGPT와 함께 빠르게 발전하는 기술 LangChain - ChatGPT는 거짓말도 하지만, LangChain은 사실 정보를 기반으로 답을 해주므로 더 사실에 근접할 것 # LangChain: 언어 모델을 기반으로 한.. 공감수 0 댓글수 0 2023. 9. 1.
[기본-교육] Diffusion Model(Stable Diffusion Model) #출처: OpenAI ChatGPT 3.5 1. Diffusion Model 확산 모델(Diffusion Model)은 인공지능(AI) 및 컴퓨터 과학 분야에서 사용되는 모델 중 하나로, 정보나 현상의 확산을 모델링하는 데 사용됩니다. 이 모델은 주로 정보의 전파, 현상의 확산, 혹은 제품의 입지선정과 같은 다양한 분야에서 활용됩니다. 확산 모델은 일반적으로 다음과 같은 요소를 고려합니다: - 시작 지점(Seed Point): 확산이 시작되는 초기 지점이나 시점을 나타냅니다. 이것은 정보의 시작 또는 현상의 원점을 나타냅니다. - 확산 속도 및 방향: 정보나 현상이 어떻게 퍼져나가는지, 그리고 얼마나 빠르게 확산되는지를 모델링합니다. 이것은 일반적으로 수학적인 함수나 확률 모델을 사용하여 표현됩니다. -.. 공감수 0 댓글수 0 2023. 8. 29.
[기본-교육] 네이버 하이버클로버X 블로그 리뷰 https://naver.me/GieP4sT4 네이버의 야심작, 하이퍼클로바X 총 정리이번에 네이버가 승부수를 던졌습니다. OpenAI가 이미 저만치 앞서나갔고, 구글과 MS라는 아주 아주 큰 형님들도 열심히 따라가고 있는 이 마당에, 우리 동네 큰형님 네이버는 어떤 승부수를 던졌contents.premium.naver.com 공감수 0 댓글수 0 2023. 8. 28.
[고급-코드] 병렬화(Parallelize) # 출처: https://github.com/AGI-Edgerunners/LLM-Adapters/blob/main/finetune.py # Parallelize 관련 code line import os device_map=“auto” world_size = int(os.environ.get(“WORLD_SIZE”, 1)) ddp = world_size != 1 if ddp: device_map = {“”: int(os.environ.get(“LOCAL_RANK”) or 0)} gradient_accumulation_steps = grandient_accumulation_steps // world_size if not ddp and torch.cuda.device_count() 공감수 0 댓글수 0 2023. 8. 28.
[기본-교육] Line 일본어 3.6B foundation model 개발 # 출처: https://www.marktechpost.com/2023/08/20/line-open-sources-japanese-large-lm-a-japanese-language-model-with-3-6-billion-parameters/ Line Open-Sources 'japanese-large-lm': A Japanese Language Model With 3.6 Billion ParametersSince November 2020, LINE has embarked on a transformative journey of research and development to create and harness the power of an advanced large-scale language model .. 공감수 0 댓글수 0 2023. 8. 21.
웹페이지 생성 서비스 3종 # 요약 1. mixo.io 사용한 결과물: https://www.mixo.io/site/daily-prompt-go6o4 Daily Prompt | Spark your creativitySpark your creativity with Daily Prompt.. Get a daily dose of generative AI inspiration with our bite-sized prompts.www.mixo.io 2. 60sec.site 사용한 결과물: https://dailyprompt.60sec.site/ Create a Custom Landing Page in 60 secondsCreate a custom landing page for your SaaS, Product or Shopify app i.. 공감수 0 댓글수 0 2023. 8. 19.
[혼공파] 혼공학습단 10기 회고 혼공학습단에 지원하고나서 당첨 소식을 들을 때면, ”와 이게 되네? 나도..당첨이 되네“ 로 시작했죠?ㅎ 공부..무엇인가 집중할 수 있다는 것. 그리고 그 자체의 가치 때문에 스스로 reward를 주며 유지해야 하는 것이지만, 혼공학습단은 그 마져도 달달한 간식과 시원한 커피로 동기부여를 높여주었습니다. 더구나 -여기서 부터는 인생푸념 ㅠ- 살다보면 일과 공부에 집중할 수 없도록 매우 커다란 시련과 고통이 찾아오기 나름이지만..다 놓아도 하나만은 놓지 않는 습관을 ..혼공학습단이 만들어 주었습니다. 그 점에 매우 많은 감사를 올립니다. 이번 혼공학습단 도전은 두 번째 시도였는데요, 첫 도전과 두 번째 도전 모두 (그럼에도 불구하고) 아쉬움은 좀 남습니다. 스스로에 대한 아쉬움이고요. 매주 목표는 ”진도분.. 공감수 2 댓글수 1 2023. 8. 17.
사실적인 이미지 생성하기(Photorealistic) # 요약: 1. ChatGPT > Setting & Beta > Photorealistic 플러그인 추가 2. 이미지 생성 프롬프트 만들기 - GPT에서 프롬프트 생성 - GPT에 입력할 프롬프트 : "Use photorealistic, 비현실적으로 핑크색이 가득한 행성의 여왕" => 장문의 문장 생성 3. Midjourney에서 프롬프트 입력으로 그림 생성 # 출처: 사실적인 이미지 생성하기(Photorealistic) https://maily.so/dailyprompt/posts/4619cc6f 공감수 0 댓글수 0 2023. 8. 14.
쉽게 생성하는 노래(Suno) # 요약 1. ChatGPRLT를 통해 가사 만들기 2. Sundo discord > 채널 > Generate > 채널선택(chirp로 시작하는 채널 아무거나) 3. 명령창에 "/chirp" 입력 후 엔터 4. 팝업창 뜨는 입력란에, 1번의 가사 입력 # 출처: https://maily.so/dailyprompt/posts/9d2f33e5 공감수 0 댓글수 0 2023. 8. 11.
[모음] Generative AI Web Services 1. 오픈AI https://chat.openai.com/ ChatGPTA conversational AI system that listens, learns, and challengeschat.openai.com 2. 마이크로소프트빙 https://www.bing.com/images/create? BingBing은 지능적인 검색 기능은 사용자가 원하는 정보를 빠르게 검색하고 보상을 제공합니다.www.bing.com 3. 아이바 https://www.aiva.ai/AIVA - The AI composing emotional soundtrack musicNo licensing headache Like a track you just created with AIVA? Need to use it for your .. 공감수 0 댓글수 1 2023. 8. 11.
[혼공파] 6주차 과제 - 모듈 실행, Wrapup 1. 요약 - 외부 모듈(external module)은 파이썬이 기본적으로 제공하지 않는 모듈로서 누군가(혹은 기업) 만들어 제공한 모듈임. - pip install은 외부 모듈을 설치할 때 사용하는 명령어 - 라이브러리(library): 개발자가 모듈의 기능을 호출하는 것. 정상적인 제어 모듈. - 제어 역전(IoC: Inverse of Control): 개발자가 모듈 함수를 호출하는 것이 일반적이나, 이와 반대로 개발자가 만든 함수를 모듈이 실행하는 것. 예를 들어 프레임워크(framework)는 제어 역전이 발생되는 모듈임. 즉 개발자가 작성한 코드를 모듈이 실행하는 형태. - 엔트리 포인트(entry point): python 명령어를 사용한 첫 진입 파일 - __name__ == “__main.. 공감수 1 댓글수 0 2023. 8. 10.
AI 활용한 예술작품(exactly) # 요약 1. exactly에 무료회원가입 2. 원하는 artist선택 > training - 원하는 모델(스타일) 선택 or 사용자 그림 직접 로딩하여 training가능 3. Prompt 입력 - 또는 러프스케치 저장파일로 입력 가능 # 출처: https://maily.so/dailyprompt/posts/d712c923 🔎 Daily Prompt #74: 아티스트가 AI를 활용하는 법(exactly)오늘의 프롬프트가 도착하였습니다.maily.so 공감수 0 댓글수 1 2023. 8. 10.
OpenAI GPTBot # 요약 - GPTbot: Web Crawler (Web site내 정보 수집) 기능을 갖추고, 수집한 정보를 AI 모델에 사용 - 개인을 식별할 수 있는 정보를 수집하는 페이지, 유료 접근이 필요한 페이지, OpenAI정책을 위반하는 텍스타가 있는 페이지는 크롤링하지 않음. - 사용을 위해서는 원하는 웹사이트가 GPTBot에게 크롤링을 허용해야 함(아래 참조) https://platform.openai.com/docs/gptbot?OpenAI PlatformExplore developer resources, tutorials, API docs, and dynamic examples to get the most out of OpenAI's platform.platform.openai.com # 출처: h.. 공감수 0 댓글수 0 2023. 8. 9.
[혼공파] 5주차 과제 - 예외처리, 모듈(1/2) 1. 요약 1) 예외 처리 - 구문 오류(Syntax error)는 프로그램의 문법적인 오류로 프로그램 실행조차 되지 않게 만드는 오류임. - 예외(Exception or Runtime error)는 프로그램 실행 중에 발생하는 오류로서, try catch 구문 등으로 처리할 수 있음. 참고로 구문 오류는 실행 자체가 안되므로 try catch 구문으로 처리할 수 없음. - 기본 예외 처리는 if else(조건문) 등을 사용해 예외를 처리하는 기본적인 방법 - try exception 구문은 예외 처리에 특화된 구문 - 예외 객체는 예외와 관련된 정보를 담고 있는 객체 - raise구문은 예외를 강제로 발생시킬 때 발생하는 구문 2) 모듈 - 표준 모듈은 파이썬이 기본적으로 제공하는 모듈 - import.. 공감수 1 댓글수 0 2023. 8. 8.
[기본-교육] Prompt Engineering # Prompt opimization 6 steps 1. Context: 명확하고 포괄적인 정보 제공 - 따옴표를 이용해 중요한 부분 강조하면 ChatGPT가 가장 중요한 정보에 집중 2. Role: 역할을 정해줄 것 - 역할을 지정하면 ChatGPT가 답변의 우선순위를 결정하는데 활용 3. 명확한 지시문(Instruction) - 부탁합니다 (X) - 분석하라. 작성하라. 나에게 이야기해 달라. (O) 4. 예제 - 잘 만들어진 예제를 제시하고 ChatGPT가 예제를 따라 비슷한 뉴스레터를 작성하도록 요청 5. 응답 길이 제한 - 일반적으로 짧은 프롬프트보다 긴 프롬프트가 유리 - 하지만 너무 길면 불필요한 정보 포함될 수 있음. 6. 불충분한 답변에 대해 프롬프트 개선 - “왜 그렇게 생각하는가?”,.. 공감수 0 댓글수 0 2023. 8. 8.
Adobe Illustrator - image trace, recolor, mockup # 요약 (Image Trace) 1. Adobe Beta App (illustrator) 다운로드/설치 2. Midjourney에서 prompt로 그림 생성 3. 생성된 이미지를 illustrator로 불러오고(embed(포함) 선택), image trace > expand ==> Image를 vector로 변환 # 요약(Recolor & Mockup) 1. Illustrator: Generative recolor(Beta) 2. Prompt를 이용해 색상 생성 3. Mockup을 위해 midjourney에서 mock up용 이미지 생성 후, illustrator로 불러오기 4. Recolor image를 overlay시킴 5. Object > Mockup > Make # 출처: https://mail.. 공감수 0 댓글수 1 2023. 8. 7.
ChatGPT custom instruction 만들기(유료버젼 only) # 요약 1. ChatGPT plus beta 기능 활성화 : Settings & Beta > Beta features : “Custom instructions“, ”Plugins”, “Code interpreter” 활성화 2. ChatGPT 왼쪽 사이드바 하단의 “이메일 주소” 클릭 > “Custom Instructions” 클릭 3. 새로 뜨는 창에서 “How would you like to ChatGPT to respond?”에 명령을 내림. 예) ChatGPT 네가 답변하는 문장을 내가 얼마나 신뢰해도 되는 지 이모지(emoji)로 알려줘. 확률에 따라 아래와 같이 이모지를 사용해줘. You must use below emoji in the end of each paragraphs. 0% : x.. 공감수 0 댓글수 0 2023. 8. 4.
인스타그램에서 유행중인 영상 생성(미드져니, Gen-2활용) # 순서 1. 미드져니(Midjourney v5.2)에서 text to generative image(텍스트 프롬프트 입력으로 이미지 생성) 2. Gen-2로 영상 생성 Gen-2는 text to 3D video 또는 2D image to 3D video로 만들어주는 web service #출처: https://maily.so/dailyprompt/posts/e3bb72fb 🔎 Daily Prompt #69: 인스타그램에서 유행중인 영상 생성하기오늘의 프롬프트가 도착하였습니다.maily.so 공감수 0 댓글수 0 2023. 8. 3.
홍채정보를 팔고 암호화폐를 받다 출처: https://maily.so/dailyprompt/posts/3de23ff6 공감수 0 댓글수 0 2023. 8. 2.
다이어트 식단짜기 prompt - chatGPT에 질문 형식은 다음과 같이 질문(instruction) 지침사항(input) --> 답변(output) ("질문"과 "지침사항"의 영어단어와 무엇인가 매칭이 안되는 듯 하지만, 동료 개발자들이 통상 저렇게 쓰고 있음) - 최초 prompting 이후 추가 질문을 이어서 할 수 있음. # 출처: https://maily.so/dailyprompt/posts/7dadfa34 🔎 Daily Prompt #68: ChatGPT로 다이어트 식단 짜기오늘의 프롬프트가 도착하였습니다.maily.so 공감수 0 댓글수 0 2023. 8. 2.
상온 초전도체 arxiv upload happening # 뉴스 https://ununblog.com/%ec%83%81%ec%98%a8-%ec%83%81%ec%95%95-%ec%b4%88%ec%a0%84%eb%8f%84%ec%b2%b4-%ea%b3%a0%eb%a0%a4%eb%8c%80-%eb%b0%9c%ed%91%9c-%ec%b4%88%ec%a0%84%eb%8f%84%ec%b2%b4-%ec%a0%95%eb%b3%b4-%ed%99%9c%ec%9a%a9/ # 논문 분석 리뷰 스크랩 1) 초전도체(superconductor) 초전도체는 특정한 성질을 만족하는 물질을 묶어서 부르는 이름이며 다음 세 성질이 만족됨을 초전도체의 주요 성질로 꼽음. 1) 전기적 성질: 임계 온도 및 전류 밀도 아래에서 전기 저항이 0 (= 전압도 0) 2) 자기적 성질: 물질이 일정 크.. 공감수 0 댓글수 0 2023. 8. 1.
openAI 모델을 통해 chatGPT만들기(유료) # 요약: 다빈치 등의 openAI 모델을 통해 chatGPT를 만들 수 있으나, 만드는 과정은 openAI에서 제공하는 API를 거쳐야 하며 (비싸지 않지만)유료이다. 단, 초기 가입 시 $18을 지원해 준다. https://youtu.be/ZtJSlo0qbOo 공감수 0 댓글수 0 2023. 7. 31.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.