Tensor ๊ฐ์ง๊ณ ๋๊ธฐ [Einsum + einops]
ยท
๐พ Deep Learning
Einstein summation numpy, torch, tensorflow ๋ฑ ๋ค์ํ Tensor Type์ ํํ๋ฅผ ๋ณํํ ๋ ์ฃผ๋ก ์ฌ์ฉ๋๋ค. ํ์ฌ๋ einops์ ์ฝ๋๋ฅผ ํจ๊ป ์์ฑํ๋ฉด ์ ๋ง ๋ชจ๋ ์ด๊ฐ ์์๋ณผ ์ ์์ ์ค๋ช
์ ๊ฐ์ ๋ชจ๋ธ์ ์์ฑํ ์ ์๋ค. Example) Attention์์ energy๋ฅผ ๊ตฌํ ๋ Q ์ K^T์ ํ๋ ฌ๊ณฑ์ Key ๋ถ๋ถ์ Transpose๋ฅผ ์ฝ๊ฒ ํํ ๊ฐ๋ฅ quries = torch.tensor(np.array([i for i in range(0,240)]).reshape(1,2,6,20),dtype=torch.float64) keys = torch.tensor(np.array([i*2 for i in range(0,240)]).reshape(1,2,6,20),dtype..