요즘 AI 쪽 일을 하면서 자꾸만 프롬프트 엔지니어링 얘기가 나오는데, 솔직히 좀 과장된 것 같거든요. 물론 프롬프트를 잘 짜는 게 중요한 건 맞는데, 그렇게까지 대단한 일은 아닌 것 같아요.
저희 팀에서도 처음엔 프롬프트 최적화에 엄청 신경을 썼어요. 온갖 테크닉들, 예를 들면 few-shot 예제 넣고, 역할 정해주고, 단계별로 생각하라고 유도하고... 이런 식으로요. 근데 모델이 계속 업데이트되면서 실제로는 단순하게 물어봐도 거의 비슷한 결과가 나오더라고요. 특히 GPT-4나 Claude 같은 최신 모델들 말이에요.
물론 프롬프트를 못 짜면 당연히 결과가 별로겠지만, 거기서부터는 크게 개선되지 않는다고 느껴요. 오히려 모델의 성능 자체가 훨씬 더 중요한 변수인 것 같습니다. 회사마다 다를 수 있겠지만, 저희 상황에선 프롬프트 엔지니어링보다는 데이터 파이프라인이나 fine-tuning에 집중하는 게 훨씬 ROI가 좋았어요.
혹시 다른 분들은 어떻게 생각하세요? 저희가 놓치고 있는 부분이 있을 수도 있으니까요. 특히 B2B 서비스나 정밀한 답변이 필요한 도메인에서 일하시는 분들 의견이 궁금합니다. 프롬프트 최적화가 정말 유의미한 차이를 만드는 경우가 있는지 알고 싶네요.