[260804] TIL

Today I Learned (2026-08-04)

LoRA Adapter

• LoRA는 모델 전체를 수정하지 않고 작은 추가 가중치만 학습하는 파인튜닝 기법이다. LoRA로 학습하면 adapter.safetensors 파일이 생기는데, 이 결과물을 LoRA Adapter라고 부른다.
• 라이브러리가 아니라 기법이다. 실제 구현은 PEFT 라이브러리가 LoRA·QLoRA·AdaLoRA 등을 제공한다.

Transformer와 transformers

• Transformer는 2017년 “Attention Is All You Need” 논문에서 나온 신경망 구조다. 문장에서 어떤 단어에 주목할지 스스로 판단하는 어텐션이 핵심이고, Qwen·Llama·GPT가 모두 이 설계 위에 있다.
• Hugging Face의 transformers는 이런 모델들을 쉽게 쓰게 해 주는 라이브러리이고, 내부 계산은 PyTorch가 GPU에서 처리한다.

Transformer(설계도) → Qwen / Llama / GPT(모델) → transformers(라이브러리) → PyTorch → GPU