김동희 포트폴리오

Jetson 온디바이스 LLM 개인 비서

2026.08 ~ 2026.09 · 개인 · GitHub

Jetson Orin NX 16GB에서 모델 구성 13개를 직접 측정하고, 그 결과로 고른 Qwen3-8B 위에 개인 비서를 만들었습니다. PC와 휴대폰 활동을 10분 단위로 모으고, 질문을 받으면 도구로 실제 기록을 찾아본 뒤 그 기록을 근거로 Slack에서 답합니다.

Jetson에서 도는 Qwen3-8B가 도구로 활동·계획 기록을 조회한 뒤 Slack에서 답하는 장면입니다. 4배속.

구조

Jetson Orin NX 16GB Windows 활동 ActivityWatch Android 활동 LT Phone RSS · arXiv 계획 · 수동 수정 수집 · 동기화 10분 단위 롤업 기기 간 겹침 정리 SQLite WAL · FTS5 SQL 집계 Qwen3-8B llama.cpp · GPU 큐 1개 로컬 에이전트 MCP 도구로 기록 조회 웹 플래너 Slack 리포트 · 대화
집계와 리포트는 SQL이 만들고, LLM은 대화와 요약에만 씁니다. GPU를 쓰는 작업은 큐 하나로 순서대로 처리합니다.

모델 선택: 스펙이 아니라 측정으로

측정Qwen3-8BQwen3-30B-A3BEXAONE 3.5 7.8B
도구 호출 6케이스6/64/6도구 호출 미지원
32K 문맥 서버 메모리8,606 MB12,925 MB–
약 9,600 토큰 생성 속도7.80 tok/s7.76 tok/s–

속도와 메모리는 MAXN 모드, llama.cpp로 실측했습니다. 13개 구성 중 최종 후보 3개만 도구 호출을 시험했습니다. 처음에는 30B를 기본으로 정했다가 도구 호출 결과를 보고 8B로 바꿨습니다.

문맥 길이에 따른 생성 속도 그래프. 약 9,600 토큰에서 8B와 30B 순위가 바뀜
문맥이 얕으면 30B가 빠르고, 약 9,600 토큰부터는 8B가 더 빠릅니다.
LLM 스택이 쓸 수 있는 13.4GB 메모리 배분 그래프
메모리 배분. 문맥 길이를 40,960에서 20,480으로 줄여 KV 캐시를 2.99GB에서 1.50GB로 낮춘 것이 예산을 맞춘 결정이었습니다.

운영하며 고친 것

2026-08-17부터 09-08까지 장애와 판단 기록 65건을 남겼습니다. 그중 세 가지입니다.

상태 점검이 이틀 동안 정상이라고 했다

새벽 야간 배치가 모델 로딩 중의 503 응답을 영구 오류로 처리해 277건이 실패했고 성공률은 71%였습니다. 그런데 상태 점검은 이틀 동안 정상으로 표시했습니다. 503·502·504·429를 일시 장애로 다시 분류하고, 점검 기준을 실패율로 바꿨습니다.

묻지 않은 개인 발화가 외부 검색 API로 나갔다

검색 API 대시보드에서 묻지 않은 개인 발화가 30여 회 나간 것을 직접 발견했습니다. 게이트는 원문을 검사했는데, 그 뒤에서 다시 조립한 문자열이 나간 것이 원인이었습니다. 발송 직전에 다시 검사하게 고치고 회귀 테스트 5개를 붙였습니다.

메모리 부족으로 서버가 죽었다

전역 OOM으로 8B 서버가 종료됐고 스왑은 97.8%였습니다. 전날 한 시점의 스냅숏만 보고 "문제없다"고 판단한 것이 틀렸습니다. 매일 아침 서버를 재기동하는 타이머를 넣었습니다.

한계

사용 기술

Jetson Orin NX 16GB, llama.cpp, Qwen3-8B, MCP, SQLite, systemd, Slack, Tailscale. 휴대폰 수집 앱은 ActivityWatch Android를 고친 LT Phone입니다.