AncomWiki

Qwen3.5-122B 로컬 배포 및 Jetson Thor 업그레이드 기록

Properties1
description2026 년 3 월 1 일 일기 노트로, 주요 내용은 Qwen3.5-122B-A10B 모델의 로컬 vLLM 서버 배포 설정 및 Jetson Thor(r38.4) 업그레이드 관련 기술적 메모이다. 소개팅 취소, 마운자오 구매 등 일상 기록도 포함되나, 핵심은 AI 모델의 양자화 (int4, fp8, NVFP4) 및 GPU 메모리 최적화 명령어 실험이다.

38 min read

Qwen3.5-122B 로컬 배포 및 Jetson Thor 업그레이드 기록

Source

  • Basic Journals/Daily Journals/2026 병오년/병오년 9주, 60일, 3월 1일 일요일.md

Summary

2026 년 3 월 1 일 일기 노트로, 주요 내용은 Qwen3.5-122B-A10B 모델의 로컬 vLLM 서버 배포 설정 및 Jetson Thor(r38.4) 업그레이드 관련 기술적 메모이다. 소개팅 취소, 마운자오 구매 등 일상 기록도 포함되나, 핵심은 AI 모델의 양자화 (int4, fp8, NVFP4) 및 GPU 메모리 최적화 명령어 실험이다.

Key Points

  • Qwen3.5-122B-A10B 모델의 vLLM 기반 로컬 서버 구축 시도
  • Jetson Thor OS(r38.4) 업그레이드 및 모델 리샤딩 (reshard) 스크립트 실행 기록
  • 다양한 양자화 방식 (int4, fp8, NVFP4) 과 GPU 설정 (tensor-parallel, memory-utilization) 에 대한 실험적 명령어 수집
  • 3090 2 대 환경에서의 fp8 모델 실행 속도 평가 및 컨텍스트 길이 확장 필요성 인지

그래프 뷰