SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

📝 Paper

Title : SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

Author : Lu Han, Xu-Yang Chen, Han-Jia Ye, De-Chuan Zhan

Publish : 2024, https://arxiv.org/abs/2404.14197

Keyword : Multivariate Time Series Forecasting(MTSF), MLP-based Model, STAR Module, Channel Independence, Linear Complexity

 

🌄 연구의 배경 및 목적

• 연구 배경
  • 과거에는 ARIMA 및 지수 평활과 같은 단순한 모델이 시계열 예측의 표준이었으나, 최근에는 RNN, CNN과 같은 Deep learning 모델이 더욱 복잡한 패턴을 학습하며 더 우수한 성과를 보임
  • Transformer 기반 모델은 긴 시계열의 depencies를 담을 수 있어 MTSF에서 좋은 성능을 보임
  • 하지만 채널의 독립성을 유지하는 전략은 효과적이나 채널 간 상호작용을 무시하여 추가적인 성능 향상을 제한함 (Feature간 상호작용 연관성이 target에 잘 반영되지 못함)

• 연구 목적
  • 새로운 MLP 기반 모델인 SOFTS(Series-cOre Fused Time Series Forecasters)를 도입하고, STar Aggregate-Redistribute(STAR)를 통해 채널간 상호작용을 하나로 모아 효율성을 향상시키는 방법을 제안함.

 

❓연구 문제 및 가설

• 연구 문제
  • MTSF에서 채널 간 independecy와 interaction 정보를 모두 활용하는 Timeforecast model
• 연구 가설
  • STAR Module을 사용하여 centralized structure를 구현하고 channel에 적용하면 transformer-based model보다 더 적은 리소스로 더 높은 성능을 달성할 수 있음.

 

🦜 연구 방법론

SOFTS모델

Series-cOre Fused Time Series forecasters(SOFTS)

 

L : lookback 으로 Y 예측

Figure 2: STAR 모듈과 주로 사용되는 여러 모듈(예: 어텐션, GNN, Mixer)의 비교입니다. 모듈은 각 채널의 품질에 의존하는 분산된 구조를 사용하여 상호작용을 수행합니다. 반면 STAR 모듈은 모든 시계열 데이터를 먼저 집계하여 포괄적인 코어 표현을 얻고, 각 채널에 전달하는 중앙 집중형 구조를 사용합니다. STAR 방식은 상호작용의 복잡성을 줄일 뿐만 아니라 채널 품질에 대한 의존성도 낮춥니다.

 

Reversible instance normalization [2021, Reversible Instance Normalization for...]

 Reversible instance normalization, RevIN는 시계열 데이터의 특성상 시간이 지나면서 평균과 분산 또한 변화해 예측이 저하되는 문제를 해결.

일반적인 정규화로 중심을 0으로 N~(0, u)로 놓고 unit varience를 조정한 후 다음 예측에는 정규화를 취소하고 RevIN을 적용. 

 

Series embedding

Patch embedding에서 input 시계열의 길이(=lookback window)만큼 설정하는 것과 동일.

Patch embedding과 다르게 차원이 하나로 복잡성이 낮음. 

lookback window에 대한 Series embedding을 수행하고 각 채널의 시리즈를 

d, hidden layer dimension

임베딩하기 위해 linear projection을 사용

 

(1)

 

Channel Interation

Series embedding은 여러개의 STAR 모듈 계층으로 세분화함.

 

(2)

$S_0 = Embedding(X)$로 시작해 $S_1 = STAR(S_0)$ $S_1$, $S_2$ ,,, $S_N$ 까지 Channel Interaction 극대화시킴.

 

 

Linear predicter 

 

 N개의 STAR Layer 이후 선형 예측 결과를 생성해 레이어의 출력 시계열을 표현

 

STar Aggregate-Redistribute Module

STAR

 이 모듈은 소프트웨어 엔지니어링의 별 모양 centralized system에서 영감을 받음 (클라이언트가 서로 통신하는 대신 정보를 집계하고 교환하는 서버 센터와 비슷)

클라이언트의 요청을 받는 중앙 서버를 Core라고 하며  코어는 채널을 통한 global representation을 나타냄

분산 구조와 비교해 STAR는 channel statistics(채널 통계)를 집계하고 가져와 더 나은 성능을 가짐(attention, GNN, Mixer 기존 모델과 차이점)

 

Core Representation

C개의 채널을 가진 다변량 시리즈가 주어질 때 ${s_1, s_2, ..., s_c}$ 코어의 표현은 다음과 같음

 

core representation은 모든 채널을 통한 global information을 encoding함

Kolmogorov-Anrnold representation theorem 및 DeepSerts에서 영감을 받음

Stochastic Pooling 샘플링으로 Pooling 영역에서 확률 기반으로 값을 샘플링하는 방식으로 일정 확률로 선택될 가능성을 가짐 따라서 overfitting 줄고 다양한 학습(각 channel의 특성)을 할 수 있음

Stochastic Pooling Sampling

 $MLP_1 : Rd → Rd'$는 series hidden dimension $d$에서 core dimension $d`$로 series representaion을 projection으로서 activation을 GELU로 취함 

 

 

Repeat_Concat

각 시리즈에 연결된 Core representation을 $O$에 연결

$MLP(MLP_2 : R^{d+d' }→ R^d)$를 사용 후 $S_i ∈ R^{C×d}$로 hidden dimension $d$로 투영

Deep learning과 마찬가지로 residual connection으로 input output 연결

pseudo code

 

Core representation 세부 설명

 

Multivariate time series core는 아래와 나타냄

 

$$o = f(s_1, s_2, \ldots, s_C)$$

 

정리 B.1 (Kolmogorov-Arnold 표현 정리)

함수 $f : [0, 1]^M \to \mathbb{R}$가 임의의 다변량 연속 함수일 때: 

 

$$f(x_1, \ldots, x_M) = \rho \left( \sum_{m=1}^M \lambda_m \phi(x_m) \right)$$

 

여기서 외부 함수 $\rho : \mathbb{R}^{2M+1} \to \mathbb{R}$와 내부 함수 $\phi : \mathbb{R} \to \mathbb{R}^{2M+1}$는 연속적이며, $\phi$는 함수 $f$와 독립적

 

정리 B.2 (DeepSets)

X 의 원소들이  $\mathbb{R}^d$ 의 compact 집합에서 오며, 집합의 크기가  M 으로 고정된다고 가정

집합  X 에서 순열 불변성을 가지는 연속 함수  $f : \mathbb{R}^{d \times M} \to \mathbb{R}$는 다음과 같은 형태로 임의의 오차 범위 내에서 근사:

 

$$\rho \left( \sum_{x \in X} \phi(x) \right)$$

 

두 가지 수식은 매우 유사하지만, 내부 변환이 좌표  $\lambda_m$을  통해 종속되는 점에서 차이가 있음. $\lambda$의 존재 여부는 수식이 순열 불변(permutation invariant)인지 아닌지를 결정.

 

이 논문에서는 DeepSets(정리 B.2)이 Kolmogorov-Arnold 표현(정리 B.1)보다 훨씬 더 좋은 성능을 보인다고 밝히고 있음

 

각 채널(좌표)의 인덱스를 유도하기에 충분한 채널 시계열의 특성에 기인할 수 있으며 각 채널에 고유한 추가 매개변수를 도입하면 종속성을 채널 좌표에 맞게 조정하고, 따라서 기록에 대한 의존성을 줄여서 알 수 없는 시계열을 처리할 때 낮은 결합을 초래할 수 있음. 결과적으로, Core 표현을 표현하기 위해 DeepSets 형태를 사용:

 

$o = \rho \left( \sum_{s \in S} \phi(s) \right)$

 

참고 : Stochastic Pooling

 

Evaluation

Dataset

• ETT (Electricity Transformer Temperature)[Dataset] : 2개의 시간 단위 데이터셋(ETTh)과 2개의 15분 단위 데이터셋(ETTm)이 포함. 각 데이터셋에는 2016년 7월부터 2018년 7월까지의 전기 변압기 관련 7개의 오일 및 부하 특성이 있음.
• Traffic : 도로 점유율 데이터셋. 샌프란시스코 고속도로의 센서가 2015년부터 2016년까지 기록한 시간 단위 데이터.
• Electricity : 2012년부터 2014년까지 321개의 전력 사용자에 대한 시간 단위 전력 소비량 수집 데이터.
• Weather : 공기 온도, 습도와 같은 21개의 기상 지표가 포함. 2020년 동안 독일에서 10분 간격으로 기록.
• Solar-Energy : 2006년에 137개의 태양광 발전소에서 생산된 태양광 발전량을 기록한 데이터, 10분 간격으로 샘플링.
• PEMS : 캘리포니아의 공공 교통 네트워크 데이터셋, 5분 간격으로 수집.

Multivariate forecasting results 예측 수평선  $H \in \{12, 24, 48, 96\}$ 은 PEMS에 대해,  $H \in \{96, 192, 336, 720\}$ 은 기타 데이터셋에 대해 설정되었으며, 참조 윈도우 길이  L 은 96으로 고정되었습니다. 결과는 모든 예측 수평선에서 평균을 낸 값입니다. 전체 결과는 표 6에 나와 있습니다.

   SOFTS 모델은 MLP로서 DLinear 및 TSMixer와 같은 기존의 MLP 모델과 비교해 최소한의 메모리 및 시간 소비로 효율적인 성능을 보임.

 

그림 a는 그림 b에서 가장 성능이 우수한 세 가지 모델의 메모리 사용량 /

  위 그림은 Traffic Dataset에서 lookback L = 96, 지평선 H = 720 및 배치 4로 다양한 모델의 메모리 및 시간 사용량 보여줌

RAM 사용량이 적음(Crossformer와 비교해 26배 더 적은 리소스를 사용)에도 불구하고 DLinear 및 TSMixer와 같은 선형 기반 또는 MLP 모델은 채널 수가 많을 경우 성능이 저조함. (채널을 많이 사용할 경우 리소스를 많이 사용하는 것에 비해 성능이 더 저하됨)

 

 (a)에서 PatchTST와 iTransformer의 메모리 사용량은 채널 수가 증가함에 따라 크게 증가하는 것을 알 수 있음. 반면에 SOFTS 모델은 채널 수가 선형적으로 증가함에 따라 효율적인 작동을 유지해 많은 채널을 효과적으로 처리

 

🧑‍💻 Github Scratch

사용 데이터 : ETDataset-small (전기 변압기 데이터, 부하-오일 온도를 포함한 2개 스테이션의 2개 전기 변압기)

ETDataset 설명

Dataset in plotly

15분 단위로 집계되어 데이터가 일반적인 전기 전압 시리즈 데이터와 같이 많이 튀는 것을 볼 수 있음

또한 Oil Temperature 오일 온도에 영향을 주는 나머지 series feature들의 유사성과 상관관계는

위 그래프만으로 유추할 수 없을 만큼 어려움.

input data train / valid / test length 비교

 

Data set Summary

Input dataset Shape

Model Shape 비교 / SOFTS Block

 

 m1 mac에서 SOFTS 모델로 ET-small 예측을 돌린 결과   5번의 배치 31.52 sec / 1 epoch로 총 3분 가량 소요되었고 그 결과 mse:0.332, mae:0.365를 얻었다. paperwitchcodes에 올라온 mse 0.39 보다 낮은 수치와 더 적은 리소스로 더 나은 결과를 보이는 것을 확인했다.

 

🚧 모델의 한계

core representation의 의존성

 STAR 모듈의 효과는 글로벌 핵심 표현의 품질에 크게 의존함. 만약 이 표현이 개별 시계열의 주요 특징을 정확하게 포착하지 못한다면, 모델 성능이 저하될 수 있음. 다양한 데이터셋에서 이 핵심 표현의 견고함과 정확성을 보장하는 것은 여전히 해결이 필요한 과제이며, 이를 위한 추가 연구가 필요.(사용 데이터 셋 모두 공개된 다변량 데이터셋이고 피쳐간 상관관계가 복잡하나 여러 데이터셋 검증이 필요한 상황, 또한 Core representation은 일관된 데이터셋에서는 정확도가 더 떨어지는 것을 보임)

 

 Limited exploration of alternative aggregate-redistribute strategies

 STAR 모듈이 효과적으로 정보를 집계하고 재배포하지만, 대체 전략에 대한 탐색이 제한적. 향후 연구에서는 다양한 집계 및 재배포 방법을 조사하여, 잠재적으로 더 효과적인 접근 방식을 식별함으로써 모델의 성능과 견고함을 향상시킬 수 있을 것으로 보임.

 

 정리

  채널이 많이 있는 시리즈 데이터 셋에서 적은 리소스로 결과를 냄 또한 정규화를 통한 일반적인 시계열 예측과 동일하게 설명력을 더해 해석이 가능함 Unit value를 찾아 모델의 평가를 더 심도 있게 할 수 있다. Stochastic Pooling 이외에 다른 Pooling도 유효한지 확인이 필요함. 최근에 Kolmogorov-Anrnold representation theorem이 설명이 가능한 MLP 방법론으로 network간 더 다양한 학습을 가능한다고해 처음 시계열에서도 도입을 한 사례라고 할 수있다.

 

Transformer / TST complexity

 

Transformer의 정복기라고 할 수 있는 지금 시기에 시계열 또한 예외가 아니다. 하지만 시계열 데이터는 input 데이터가 다른 Task에 비해 상대적으로 작아 모델도 다양하게 적용하나 Transformer 기반은 이 중 리소스를 많이 먹는 것으로 유명하다. SOFTS 모델은 Transformer 기반 모델에서 탈피하고 복잡도도 낮은데 채널 간 예측 feature에 반영이 잘되어 특색이 있다고 볼 수 있다.