AncomWiki

2024-05-17 일기: Llama 3 양자화 가이드 및 일본어 데이터셋 수집

Properties1
description이 노트는 2024 년 5 월 17 일의 개인 일기로, 미쿠미쿠 복싱 등 개인 활동 기록과 함께 Llama 3 모델의 GPU 메모리별 양자화 (Quantization) 설정 가이드를 정리했다. 특히 24GB VRAM 환경에서의 70B 모델 실행을 위한 비트수 환산 및 컨텍스트 길이 고려사항을 명시했다. 또한 일본어 - 영어 번역 및 소설, 애니메이션 스피치 관련 데이터셋 출처를 링크로 수집했다.

40 min read

2024-05-17 일기: Llama 3 양자화 가이드 및 일본어 데이터셋 수집

Source

  • Basic Journals/Daily Journals/2024 갑진년/갑진년 138일, 5월 17일 금요일.md

Summary

이 노트는 2024 년 5 월 17 일의 개인 일기로, 미쿠미쿠 복싱 등 개인 활동 기록과 함께 Llama 3 모델의 GPU 메모리별 양자화 (Quantization) 설정 가이드를 정리했다. 특히 24GB VRAM 환경에서의 70B 모델 실행을 위한 비트수 환산 및 컨텍스트 길이 고려사항을 명시했다. 또한 일본어 - 영어 번역 및 소설, 애니메이션 스피치 관련 데이터셋 출처를 링크로 수집했다.

Key Points

  • Llama 3 양자화 가이드: GPU VRAM 용량 (24GB Dual/Single, 그 이하) 에 따른 추천 모델 (70B-Q5-K-M, 70B-IQ4-XS, 70B-IQ2-M/S, 8B-IQ4-XS) 및 환산 비트수 정리
  • 컨텍스트 길이 확보를 위해 낮은 비트수 모델 (IQ4-XS 등) 선택 권장
  • 일본어 관련 데이터셋 수집: 일본어 - 영어 픽션 번역, NSFW 소설, 애니메이션 스피치 데이터셋 링크 기록
  • 개인 활동: 둬링고 학습, 미쿠미쿠 복싱 1 시간 수행

그래프 뷰