버키팅(bucketing)을 이용한 학습 복잡도 해결

 토큰화 진행 후 input shape를 위해 채워주었던 빈 공간들을 사용하지 않고 처음 부터 해당 길이에 맞추어 토큰화 진행한다. 

 해당 토큰의 시작 점과 끝 지점을 설정해 input shape를 정한다.

  짧은 길이의 문장 같은 경우 max_len 까지 빈 공간이 많이 생겨 predict에 큰 영향을 준다. 이러한 문제를 해결하기 위해 버키팅을 사용한다.