저도 같은 고민 했는데 결국 Claude API로 프롬프트 엔지니어링하는 게 낫더라고요. 파인튜닝 비용 생각하면 정말 비싸거든요. 대신 RAG 방식으로 컨텍스트 주입하니까 성능 만족스러웠어요.
활용법
최근 LLM 파인튜닝 비용이 진짜 미쳤나요?
회사에서 자체 데이터로 GPT-4 파인튜닝을 고려 중인데, OpenAI 가격표 보니 입력이 $0.003/1K토큰, 출력이 $0.006/1K토큰이더라고요. 기본 모델의 3배네요.
학습 데이터만 해도 50만 토큰 정도 필요한데 계산해보니 한 번에 몇 만원씩 날아갑니다. 그럼 차라리 오픈소스 모델 로컬 파인튜닝이 낫지 않을까 싶은데, 성능 차이가 워낙 크다보니 고민이 많아요. 혹시 비용 효율적으로 해보신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링만으로 충분했던 경우도 있을까요?
학습 데이터만 해도 50만 토큰 정도 필요한데 계산해보니 한 번에 몇 만원씩 날아갑니다. 그럼 차라리 오픈소스 모델 로컬 파인튜닝이 낫지 않을까 싶은데, 성능 차이가 워낙 크다보니 고민이 많아요. 혹시 비용 효율적으로 해보신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링만으로 충분했던 경우도 있을까요?
추천 3 비추천 0
- 이전글LLM 로컬 실행 vs API 호출, 어느 게 더 실용적일까요?26.07.08
- 다음글요즘 생성형 AI 모델들 컨텍스트 윈도우 경쟁인데 실제로 필요한 수준이 뭐라고 생각하세요?26.07.07