[NeuraIPS' 23] Self-supervised Contrastive Pre-training for time series via Time-Frequency Consistency 공부

해당 논문은 임상 진단, 교통 분석, 기후 과학 등 다양한 분야에서 시계열의 중요성에 대해 논의합니다.

표현 학습은 시계열 분석을 크게 발전시켰지만, 시간적 데이터에 대한 일반화 가능한 표현 학습은 여전히 어려운 문제로 남아 있어요.

다양한 데이터셋에서 신경망 모델을 사전 훈련함으로써 새로운 시계열 데이터에 대한 일반화를 향상시킬 수 있지만, 이러한 접근법은 종종 분포 변화, 사전 훈련 중 알 수 없는 타겟 데이터셋의 특성 등의 이유로 실패할 수 있습니다. 또한, 시계열의 복잡성으로 인해 지식 이전을 위한 유용성이 제한될 수 있죠.

해당 논문에서는 시계열 데이터에 대한 일반화 가능한 표현을 생성하기 위해 새로운 시간-주파수 일관성 원칙을 적용한 방법론을 제안합니다.

이 원칙은 동일한 시계열 샘플에서 학습한 시간 기반 및 주파수 기반 표현이 다른 시계열 샘플에서 발생된 표현들보다 시간-주파수 공간에서 더 가까워야 한다는 것을 의미합니다. 

제안된 방법은 시간 공간에서 대조적 학습을 채택하여 시간 기반 표현을 생성하고, 주파수 스펙트럼의 특성을 기반으로 한 일련의 새로운 보강을 통해 대조적 인스턴스 구별을 통해 주파수 기반 표현을 생성합니다. 

또한 제안된 시간-주파수 일관성 원칙을 활용하여 같은 샘플에서 발생한 시간 표현과 주파수 표현을 가깝게 하고 나머지는 멀어질 수 있도록 대조적인 학습을 합니다.

사전 훈련 목표는 시간 기반 및 주파수 기반 표현 사이의 거리를 최소화하는 것이며, 이를 위해 새로운 일관성 손실을 사용합니다. 사전 학습된 모델 파라미터에 인코딩된 학습된 표현 간의 관계는 타겟 데이터셋에 모델을 이전하여 성능을 향상시킵니다.

제안된 시간-주파수 일관성 원칙을 활용한 시계열의 자기 지도 학습 사전 훈련 전략은 대량의 주석이 달린 데이터셋의 부족과 같은 지도 학습 사전 훈련의 한계를 극복하고, 이전에 본 적 없는 대상 데이터셋에 대한 지식 이전을 용이하게 할 수 있음을 증명하였답니다.

 

Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

 

GitHub - mims-harvard/TFC-pretraining: Self-supervised contrastive learning for time series via time-frequency consistency