moondream2 Fine-Tuning(작성중)

[김위제]

https://github.com/nkasmanoff/moondream-finetuning/tree/main

GitHub - nkasmanoff/moondream-finetuning: SFT and RL fine-tuning for object detection

---

환경 구축

git clone https://github.com/nkasmanoff/moondream-finetuning/tree/main.git

cd moondream-finetunning

pip install -r requirements.txt

#모델 가중치을 불러옴 
python load_and_save_model_weights.py

#불러온 모델을 moondream2/model.safetensors로 옮겨줌
mv model.safetensors moondream2/model.safetensors

---

데이터셋 다운

https://universe.roboflow.com/project/basketball-player-detection-3-ycjdo/dataset/1/images?split=train

basketball-player-detection-3 Object Detection Model by Roboflow

datasets 폴더로 옮겨준다.

---

데이터셋 포멧

coco 포멧으로 JSON 형태로 되어있음

클래스 목록

카테고리 ID (id)

클래스 이름 (name)

상위 카테고리 (supercategory)

라벨

제공해주신 COCO 데이터셋의 annotations 내부 항목별 의미를 한눈에 보실 수 있도록 깔끔하게 표로 정리해 드립니다.

항목 (Key)

값 예시 (Value)

의미 및 설명

---

예제 실행

python sft_trainer.py 

예제를 실행하면

이런 형태로 선택지가 나오는데 wandb(Weights & Biases) 로그인 여부를 물어 보는 것이다.

wandb(Weights & Biases)는 학습 loss, lr epoch등을 보여주는 시각화 해주는 도구이다.

(1) Create a W&B account — wandb 계정이 없는 경우, 브라우저로 가입 링크를 열어준다

(2) Use an existing W&B account — 이미 계정이 있다면 선택. API 키를 입력하라고 뜨는데,
https://wandb.ai/authorize 에서 아이디가 있다면 키를 복사해 붙여넣으면 되고 없으면 회원가입후 키를 복사해서 넣으면 된다.

(3) Don't visualize my results — wandb를 그냥 비활성화하고 학습만 진행합니다. 로그 시각화 없이 콘솔 출력만 보게 된다.

이후 wandb(Weights & Biases) 사이트로 들어가서 work space로 들어가면

---

run_hparam_sweep.sh

서로 다른 하이퍼파라미터 조합으로 15번 순차적으로 돌리는 bash 스크립트

[Sungryul Lee]

모델의 전체구조를 파악하고 파인튜팅 시 어떤부분을 튜팅하는지 조사할것
각각 그래프가 뭘의미하는지 설명해줄것
훈련결과 분석을 추가할것