저도 같은 고민을 했는데, 에포크 3번이면 그냥 3억 개 맞습니다. 배치나 시퀀스 길이는 토큰 수 계산과는 별개더라고요.
데이터 반복 학습은 실제로 좀 위험한데, 저는 데이터를 좀 더 늘리거나 아니면 에포크를 1-2번으로만 해봤어요. 암기 문제가 진짜 있거든요.
실무에서는 보통 도메인 데이터 10만~100만 토큰 정도면 충분하다는 얘기를 많이 들었습니다. 50만 텍스트라면 괜찮은 규모 같네요.
데이터 반복 학습은 실제로 좀 위험한데, 저는 데이터를 좀 더 늘리거나 아니면 에포크를 1-2번으로만 해봤어요. 암기 문제가 진짜 있거든요.
실무에서는 보통 도메인 데이터 10만~100만 토큰 정도면 충분하다는 얘기를 많이 들었습니다. 50만 텍스트라면 괜찮은 규모 같네요.