AI/LLM
-
[고급-교육] LLM Papers & Github ListsAI/LLM 2023. 9. 7. 09:54
# Basic Sources https://github.com/mlabonne/llm-course # Foundation Model https://github.com/Beomi/KoAlpaca GitHub - Beomi/KoAlpaca: KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델KoAlpaca: 한국어 명령어를 이해하는 오픈소스 언어모델. Contribute to Beomi/KoAlpaca development by creating an account on GitHub.github.com # PEFT(Parameter Efficient Fine-Tuning) https://github.com/tloen/alpaca-lora GitHub - tloen/alpaca-lora: Instruc..
-
[고급-모델] LLaMA & LLaMA2 소개AI/LLM 2023. 9. 1. 20:45
1. LLaMA code review # 출처: https://youtube.com/watch?v=jvYpv0VJBOA- YouTubewww.youtube.comGithub https://github.com/facebooksearch/llama 2. LLaMA2 code review # 출처: https://youtu.be/zN30JodATrU?si=bPgzd-KKhxQJfgjA Github # LLAMA Recipe 로 llama2를 돌리는 IDE 가이드 참조 # 저자의 한국어 fine-tuning model 참조
-
[기본-교육] token과 chunkAI/LLM 2023. 9. 1. 16:26
"chunk"와 "token"은 자연어 처리(Natural Language Processing, NLP) 분야에서 중요한 개념입니다. - 토큰(Token): 토큰은 문장 또는 텍스트를 작은 단위로 나눈 것을 말합니다. 이러한 단위는 보통 단어, 구두점, 숫자 등과 같은 텍스트의 기본 구성 요소를 나타냅니다. 예를 들어, "Hello, world!"라는 문장은 다음과 같은 토큰으로 나눌 수 있습니다: "Hello", ",", "world", "!". 토큰화는 텍스트를 이해 가능한 작은 조각으로 나누는 중요한 NLP 전처리 단계 중 하나입니다. - 청크(Chunk): 청크는 토큰의 그룹이며, 이 그룹은 문장에서 의미 있는 단위를 나타내는 경우가 많습니다. 예를 들어, "New York City"라는 텍스트는..
-
[고급-교육] LangChain (MS MVP AI 김태영)AI/LLM 2023. 9. 1. 14:26
# 출처: 챗GPT에 날개를 달아줄 랭체인(LangChain) https://youtu.be/JBcWvMeOAes?list=PLGnaBtRshJSRpBodFlJnIlQhvY6DMKhUD - 참고문서: https://docs.langchain.com/docs/🦜️🔗 LangChain | 🦜️🔗 LangChainLangChain is a framework for developing applications powered by language models.docs.langchain.com # ChatGPT와 함께 빠르게 발전하는 기술 LangChain - ChatGPT는 거짓말도 하지만, LangChain은 사실 정보를 기반으로 답을 해주므로 더 사실에 근접할 것 # LangChain: 언어 모델을 기반으로 한..
-
[고급-코드] 병렬화(Parallelize)AI/LLM 2023. 8. 28. 16:58
# 출처: https://github.com/AGI-Edgerunners/LLM-Adapters/blob/main/finetune.py # Parallelize 관련 code line import os device_map=“auto” world_size = int(os.environ.get(“WORLD_SIZE”, 1)) ddp = world_size != 1 if ddp: device_map = {“”: int(os.environ.get(“LOCAL_RANK”) or 0)} gradient_accumulation_steps = grandient_accumulation_steps // world_size if not ddp and torch.cuda.device_count()
-
[기본-교육] Line 일본어 3.6B foundation model 개발AI/LLM 2023. 8. 21. 22:51
# 출처: https://www.marktechpost.com/2023/08/20/line-open-sources-japanese-large-lm-a-japanese-language-model-with-3-6-billion-parameters/ Line Open-Sources 'japanese-large-lm': A Japanese Language Model With 3.6 Billion ParametersSince November 2020, LINE has embarked on a transformative journey of research and development to create and harness the power of an advanced large-scale language model ..