회사에서 ChatGPT API 연동해서 몇 달간 프롬프트 튜닝을 계속했는데, 처음 생각과 완전 달랐어요. 단순히 "잘 물어보면 잘 답한다"는 게 아니더라고요. 같은 질문을 여러 방식으로 재구성해보고 토큰 효율도 맞춰봐야 하고, 모델 버전이 업데이트되면 또 처음부터 맞춰야 하니까 은근 번거로움이 있습니다.
그래도 체이닝 패턴 적용하고 컨텍스트 윈도우를 효율적으로 관리하니 응답 품질이 눈에 띄게 달라졌어요. 예전에 이런 삽질을 몇 번 한 후에는 구조화된 output 강제하는 것도 중요하다는 걸 깨달았습니다.
혹시 프롬프트 관리 어떤 식으로 하고 있으신지 궁금해요. 버전 관리는 어떻게 하세요? 저는 그냥 깃허브에 마크다운으로 기록하고 있는데 더 좋은 방법 있으면 알려주셨으면 좋겠습니다.