[M/L]LOL 데이터를 활용한 Skill 트리 학습(4)

[M/L]LOL 데이터를 활용한 Skill 트리 학습(3) 에 이어 진행합니다.

이전 학습에서 tensorflow의 dataset api 를 이용해 dataset을 구성한 후에는 데이터를 수정하는것이 굉장히 힘든일인것을 알게 되었습니다.

이번엔 pandas와 numpy로 데이터 전처리 완료 후에 dataset에 넣어 shuffle과 batch 등의 api 와 속도적인 측면에서의 장점만 가지고 가도록 만들어 보았습니다

def load_data(inputs, num_steps=100, lookup_steps=1, shuffle=False,
             test_size=0.2):
    X_y_sequence = []    
    sequence = deque(maxlen=window_size)    
    sequence2 = deque(maxlen=window_size)        
    for skill in inputs:
        data = '0'+str(skill) + '9' #0 is start/ 9 is end token
        begin = 0
        end = window_size
        for inx in range(0, len(data)-window_size-1):
            sequence.append(data[inx])            
            sequence2.append(data[inx+1])
            if len(sequence) == window_size:
                X_y_sequence.append([np.array(sequence),np.array(sequence2)])
    X_y_sequence = np.array(X_y_sequence)
    X = np.stack(X_y_sequence[:,0]).astype(np.float64)
    y = np.stack(X_y_sequence[:,1]).astype(np.float64)
            
    return train_test_split(X,y , test_size=test_size, shuffle = shuffle)

def load_data(inputs, num_steps=100, lookup_steps=1, shuffle=False,

test_size=0.2):

X_y_sequence = []

sequence = deque(maxlen=window_size)

sequence2 = deque(maxlen=window_size)

for skill in inputs:

data = '0'+str(skill) + '9' #0 is start/ 9 is end token

begin = 0

end = window_size

for inx in range(0, len(data)-window_size-1):

sequence.append(data[inx])

sequence2.append(data[inx+1])

if len(sequence) == window_size:

X_y_sequence.append([np.array(sequence),np.array(sequence2)])

X_y_sequence = np.array(X_y_sequence)

X = np.stack(X_y_sequence[:,0]).astype(np.float64)

y = np.stack(X_y_sequence[:,1]).astype(np.float64)

return train_test_split(X,y , test_size=test_size, shuffle = shuffle)

이렇게 구성하면 QWEEWRW 가 있을때

x 로는 QWEEWR / y는 한칸 sliding 되어 WEEWRW가 들어 가게 됩니다.

이 방법은 RNN 모델의 teacher forcing 기법으로 tensorflow의 LSTM 공식 tutorial 에서도 소개된 방법입니다

dataset_train = tf.data.Dataset.from_tensor_slices((
    X_train, y_train
))
dataset_train = dataset_train.shuffle(10000).batch(batch_size)

dataset_test = tf.data.Dataset.from_tensor_slices((
    X_test, y_test
))
dataset_test = dataset_test.shuffle(10000).batch(batch_size)

dataset_train = tf.data.Dataset.from_tensor_slices((

X_train, y_train

))

dataset_train = dataset_train.shuffle(10000).batch(batch_size)

dataset_test = tf.data.Dataset.from_tensor_slices((

X_test, y_test

))

dataset_test = dataset_test.shuffle(10000).batch(batch_size)

numpy로 전처리가 완료된 데이터를 tensorflow의 dataset api로 tensorflow 사용을 위한 데이터로 전환합니다.

loss가 떨어지지 않습니다.

LSTM 모델에서 window size와 데이터의 구성은 쉽지 않은 문제인것 같습니다.

RNN 모델은 여기까지만 진행하고 Attention을 이용한 transformer 모델로 학습 시켜 보려고 합니다.