DATA
품질 파이프라인
시드·확장·중복 제거·생성·병합을 따로 실행할 수 있게 나눴습니다.
AI / 2026 — Fine-tuned Coding Model
gemma4_e4b_coding
RTX 3060 12GB에서 코딩 모델을 직접 학습하고, 로컬 에이전트와 IDE로 연결한 작업.
PythonUnslothQLoRAFastAPIElectron
원본 코드 보기 ↗THE OPENING / 작업의 시작이 작업은
이 작업은
여기서 시작합니다.
gemma4_e4b_coding은 직접 파인튜닝한 코딩 모델입니다. Gemma 4 E4B를 기반으로 데이터 준비부터 학습, 로컬 실행 환경과 코딩 도구까지 연결했습니다.
FINE-TUNED, NOT JUST PROMPTED.gemma4_e4b_coding
train.pyQLoRA SFT
# RTX 3060 / 12GB max_seq_length = 1024 batch_size = 1 gradient_accumulation = 8 lora_rank = 8
DATA→QLoRA→GGUF→AGENT
INSIDE THE WORK / 결과물과 과정
직접 살펴보는 작업.
가중치 학습만 한 번 돌리는 데서 끝내지 않고, 데이터 정리부터 GGUF와 로컬 도구 연결까지 만든 코딩 모델 작업입니다.
근거 자료 · 공개 저장소의 train.py · README
12 GB대상 GPU의 VRAM
4-bit QLoRAtrain.py의 학습 구성
1024 / 1 × 8현재 스크립트의 길이 / 배치 × 누적
HOW IT WORKS
한 단계씩, 안쪽으로.
각 단계를 선택해 실제 구조와 연결된 자료를 확인하세요.
01
데이터를 만들고 거르기
시드 작성 → 다양성 확장 → exact/near 중복 제거 → 고품질 생성 → 병합의 파이프라인입니다. 목표 언어 비중과 한국어 디버깅 설명을 함께 다룹니다.
prepare_dataset.py / expand_dataset.py / dedupe_dataset.pyFROM THE SOURCE
실제 코드 한 조각.
train.pyLINES 43–49
# 12GB + E4B 4bit: 2048 은 fused CE 단계에서 OOM 나기 쉬움 → 1024 기본
parser.add_argument("--max-seq-length", type=int, default=1024)
parser.add_argument("--batch-size", type=int, default=1)
parser.add_argument("--grad-accum", type=int, default=8)
parser.add_argument("--epochs", type=float, default=3.0)
parser.add_argument("--learning-rate", type=float, default=2e-4)
parser.add_argument("--lora-r", type=int, default=8)공개 저장소의 실행 스크립트를 기준으로 표시했습니다. 길이 1024·배치 1·누적 8의 저메모리 기본값이며, README 표의 이전 설정과 구분합니다.
원본 코드에서 보기 ↗DEVELOPMENT NOTES
선택과 수정이 남긴 흔적.
TRAIN
메모리 제약에 맞춘 설정
학습 길이·배치·누적과 fused CE VRAM 가드가 실제 코드에 남아 있습니다.
EXPORT
모델을 쓰는 형식으로
학습 어댑터를 로컬 추론과 도구에 연결하기 위한 내보내기 경로를 마련했습니다.
WORK & DELIVERABLES구체적으로,
구체적으로,
만든 것들.
- 01
Python·Java·C 코드와 한국어 설명·디버깅을 위한 데이터 준비, 확장, exact/near 중복 제거 파이프라인
- 02
Unsloth 기반 4-bit QLoRA 학습과 평가 스크립트, GGUF·Ollama 내보내기 경로
- 03
파일 읽기·생성·수정, 검색, 터미널을 연결한 CLI 및 HTTP 에이전트 API
- 04
Electron·React·Monaco 기반 파일 트리, 편집기, 에이전트 채팅 클라이언트
DECISIONS / NOTES FROM THE PROCESS
선택에는 이유가 있습니다.
12GB VRAM에 맞춘 학습 설정
현재 학습 코드의 기본값은 시퀀스 길이 1024, 배치 1, 누적 8, LoRA rank 8입니다. README의 초기 예시보다 줄인 설정으로 메모리 사용을 관리합니다.
학습과 사용을 하나의 흐름으로
데이터 준비 → QLoRA 학습 → 평가 → GGUF 변환 → Ollama 추론을 나누고, 학습된 모델을 API와 데스크톱 IDE에서 사용할 수 있도록 구성했습니다.
현재 단계와
남은 범위.
직접 파인튜닝한 작업입니다. 저장소에서 학습·평가·변환·에이전트 코드를 확인할 수 있습니다. 공개 벤치마크 점수나 기초 모델 대비 향상률은 제시하지 않습니다.
이 이야기를
뒷받침하는 자료.
- train.py / evaluate.py / export_gguf.py
- 데이터 생성·검증·중복 제거 스크립트
- serve_api.py / agent / ide
원본 문서·코드의 작업 범위를 기준으로 정리했습니다. 비공개 원본과 개인 정보는 첨부하지 않았습니다.