[Open DMQA Seminar] What is Next for Tabular Data? - Exploring Advances in Self-Supervised Learning

Tabular 데이터는 산업, 의료, 학술 등 다양한 영역에서 필수적인 역할을 하는 구조화된 정보의 저장소이다. 지도 학습은 많은 머신러닝 작업에서 탁월한 성과를 보여왔지만, 레이블이 없는 데이터에 대한 접근이 용이해짐에 따라 self-supervised learning(SSL)이 tabular 데이터의 표현 학습 능력을 탐구하는 새로운 방향으로 등장했다. 이 과정은 레이블, 즉 학습을 위한 명시적인 관계가 부재하다는 점에서 더욱 도전적인 경향이 있다. 따라서 SSL을 활용해 tabular 데이터를 보다 효율적으로 처리하는 방법에 대한 연구가 계속되며, 이는 대규모 데이터 주석 부담을 줄이고 일반화 능력을 강화하는 방법을 제시한다. 본 세미나에서는 tabular 데이터 처리를 위한 최신 SSL 기법들을 심도 있게 탐구하며, 이 기술들이 데이터 이해와 활용을 어떻게 최적화하고 미래에 어떤 새로운 기회를 제공할 수 있는지 살펴보고자 한다.

[1] Wang, W. Y., Du, W. W., Xu, D., Wang, W., & Peng, W. C. (2024). A Survey on Self-Supervised Learning for Non-Sequential Tabular Data. arXiv preprint arXiv:2402.01204.
[2] Yoon, J., Zhang, Y., Jordon, J., & Van der Schaar, M. (2020). Vime: Extending the success of self-and semi-supervised learning to tabular domain. Advances in Neural Information Processing Systems, 33, 11033-11043.
[3] Nam, J., Tack, J., Lee, K., Lee, H., & Shin, J. (2023). Stunt: Few-shot tabular learning with self-generated tasks from unlabeled tables. arXiv preprint arXiv:2303.00918.
[4] Bahri, D., Jiang, H., Tay, Y., & Metzler, D. (2021). Scarf: Self-supervised contrastive learning using random feature corruption. arXiv preprint arXiv:2106.15147.
[5] Wang, Z., & Sun, J. (2022). Transtab: Learning transferable tabular transformers across tables. Advances in Neural Information Processing Systems, 35, 2902-2915.
[6] Ahamed, M. A., & Cheng, Q. (2024). MambaTab: A Simple Yet Effective Approach for Handling Tabular Data. arXiv preprint arXiv:2401.08867.