AncomWiki

2024-04-30 일기: Jetson Nano LLM 실험과 개인적 소감

Properties1
descriptionJetson Nano 에 Llama 3 모델을 배포하여 성능 테스트 (0.02 token/s) 를 진행했으나, GPU 자원 활용 및 설정 문제로 인해 저성능에 직면함. 이와 함께 불규칙한 식습관으로 인한 소화기 계통 증상과 퇴사한 동료에 대한 복잡한 감정, 노동절 전후의 우울한 심리 상태를 기록함.

33 min read

2024-04-30 일기: Jetson Nano LLM 실험과 개인적 소감

Source

  • Basic Journals/Daily Journals/2024 갑진년/갑진년 121일, 4월 30일 화요일.md

Summary

Jetson Nano 에 Llama 3 모델을 배포하여 성능 테스트 (0.02 token/s) 를 진행했으나, GPU 자원 활용 및 설정 문제로 인해 저성능에 직면함. 이와 함께 불규칙한 식습관으로 인한 소화기 계통 증상과 퇴사한 동료에 대한 복잡한 감정, 노동절 전후의 우울한 심리 상태를 기록함.

Key Points

  • Jetson Nano 에서 Llama 3 실행 시 0.02 token/s 의 극도로 낮은 성능 확인
  • llama.cpp, oobabooga, safetensors 등 다양한 LLM 실행 환경 및 모델 포맷 (GGUF, EXL2 등) 조사 중
  • NVIDIA Jetson 환경에서 nvidia-smi 대신 tegrastats 사용 필요성 인지
  • 불규칙한 식사 (아침/점심 굶기) 로 인한 복통 및 통풍 후유증 호소
  • 퇴사한 시니어 동료와의 과거 대화 회상 및 현재 동료 관계에 대한 소외감 표현

그래프 뷰