Ngày 16/08/2025 sắp tới, Phó Giáo sư Han Fei và Assistant Professor Tân Nguyễn đến từ Khoa Toán, Đại học Quốc gia Singapore (NUS) sẽ có chuyến ghé thăm trường Đại học KHTN, ĐHQG-HCM cũng như là Bộ môn Ứng dụng Tin học - Khoa Toán - Tin học. Đồng thời cả hai giáo sư đến từ Đại học NUS sẽ có buổi seminar dành cho tất cả những ai quan tâm với thông tin chi tiết như sau:
- Diễn giả: Phó Giáo sư Han Fei và Assistant Professor Tân Nguyễn
- Thời gian: 09:00 Thứ năm, ngày 16 tháng 08 năm 2025.
- Địa điểm: Phòng E202B, Cơ sở Nguyễn Văn Cừ, Trường Đại học Khoa học tự nhiên, ĐHQG-HCM.
- Tiêu đề: Hidden Symmetries of Transformers and Its Application in Developing Neural Functional Networks
- Tóm tắt:
This work systematically explores neural functional networks (NFN) for transformer architectures. NFN are specialized neural networks that treat the weights, gradients, or sparsity patterns of a deep neural network (DNN) as input data and have proven valuable for tasks like learnable optimizers, implicit data representations, and weight editing. While NFN have been extensively developed for MLP and CNN, no prior work has addressed their design for transformers, despite their importance in modern deep learning. This paper aims to address this gap by systematically studying NFN for transformers. We first determine the maximal symmetric group of the weights in a multi-head attention module and a necessary and sufficient condition under which two sets of hyperparameters of the module define the same function. We then define the weight space of transformer architectures and its associated group action, leading to design principles for NFN in transformers. Based on these, we introduce Transformer-NFN, an NFN equivariant under this group action. Additionally, we release a dataset of over 125,000 Transformers model checkpoints trained on two datasets with two tasks, providing a benchmark for evaluating Transformer-NFN and encouraging further research on transformer training and performance.
Kính mời quý thầy cô, nghiên cứu sinh, học viên cao học và sinh viên đến tham dự.
