5月2日，中國計(jì)算機(jī)學(xué)會(huì)（CCF）推薦的A類國際學(xué)術(shù)會(huì)議ICML 2024論文接收結(jié)果公布。中國人民大學(xué)高瓴人工智能學(xué)院師生有14篇論文被錄用。國際機(jī)器學(xué)習(xí)大會(huì)（The International Conference on Machine Learning ，簡(jiǎn)稱ICML）在人工智能和機(jī)器學(xué)習(xí)領(lǐng)域享有很高的學(xué)術(shù)聲譽(yù)， 第41屆會(huì)議將于7月21-27日在奧地利維也納舉辦。

論文題目：EquiPocket: an E(3)-Equivariant Geometric Graph Neural Network for Ligand Binding Site Prediction

作者：張陽, 魏哲巍, 黃文炳, 袁野, 李崇軒

通訊作者：魏哲巍, 黃文炳

論文概述：準(zhǔn)確預(yù)測(cè)蛋白質(zhì)表面的可結(jié)合位點(diǎn)在藥物發(fā)現(xiàn)中起著基礎(chǔ)性的作用。當(dāng)前大多數(shù)深度學(xué)習(xí)方法將蛋白質(zhì)視為3D圖像并進(jìn)行體素化處理，再使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。這些方法面臨著多種先天不足：對(duì)旋轉(zhuǎn)敏感、難以學(xué)習(xí)復(fù)雜的蛋白質(zhì)結(jié)構(gòu)信息、只能處理特定大小的蛋白質(zhì)等等。因此, 我們?cè)贓(3)-等變圖神經(jīng)網(wǎng)絡(luò)(GNN)基礎(chǔ)上提出了 EquiPocket 方法, 該方法將蛋白質(zhì)視為圖結(jié)構(gòu), 通過分析蛋白質(zhì)的內(nèi)部結(jié)構(gòu)信息和整體幾何信息, 實(shí)現(xiàn)了對(duì)結(jié)合位點(diǎn)的高效預(yù)測(cè)。

論文題目：Unlocking the Power of Spatial and Temporal Information in Medical Multimodal Pre-training

作者：楊錦霞，蘇冰，趙鑫，文繼榮

通訊作者：蘇冰，趙鑫

論文概述：醫(yī)學(xué)視覺語言預(yù)訓(xùn)練方法主要利用配對(duì)的醫(yī)學(xué)圖像和放射報(bào)告之間的對(duì)應(yīng)關(guān)系。盡管在現(xiàn)有的多模態(tài)醫(yī)學(xué)數(shù)據(jù)集中可以獲得多視角的空間圖像以及圖像-報(bào)告對(duì)的時(shí)間序列，但大多數(shù)現(xiàn)有方法尚未利用如此廣泛的監(jiān)督信號(hào)。在本文中，我們提出了Med-ST框架，以利用來自不同空間視角的圖像和歷史記錄。對(duì)于空間建模，Med-ST采用Mixture of View Expert來集成來自正面和側(cè)面視圖的視覺特征。除了圖像和文本之間的全局對(duì)齊外，Med-ST 還在文本token和圖像的空間區(qū)域之間建立了模態(tài)加權(quán)的局部對(duì)齊。對(duì)于時(shí)間建模，我們提出了一種通過正向映射分類和反向映射回歸的新穎的跨模態(tài)雙向循環(huán)一致性目標(biāo)。通過從簡(jiǎn)單到復(fù)雜的時(shí)間信息感知，Med-ST可以學(xué)習(xí)時(shí)間語義。四種不同任務(wù)的實(shí)驗(yàn)結(jié)果證明了Med-ST的有效性，特別是在時(shí)間相關(guān)的分類任務(wù)中。

論文題目：Perfect Alignment May be Poisonous to Graph Contrastive Learning

作者：劉敬宇，唐華鐿，劉勇

通訊作者：劉勇

論文概述：由于數(shù)據(jù)規(guī)模的增大以及標(biāo)簽信息的缺失，自監(jiān)督方法在圖機(jī)器學(xué)習(xí)中的使用逐漸廣泛。圖對(duì)比學(xué)習(xí)在數(shù)據(jù)增強(qiáng)后，得到兩個(gè)視圖，兩視圖中的對(duì)應(yīng)節(jié)點(diǎn)作為正樣本，其余節(jié)點(diǎn)作為負(fù)樣本。過去的研究者一般認(rèn)為最優(yōu)的對(duì)比學(xué)習(xí)需要進(jìn)行完美的正樣本對(duì)齊（正樣本的表征一致），以及負(fù)樣本表征在特征空間的均勻分布。同類節(jié)點(diǎn)在經(jīng)過較強(qiáng)的數(shù)據(jù)增強(qiáng)后的特征空間可能存在交集（augmentation overlap），因此，通過一個(gè)較強(qiáng)的數(shù)據(jù)增強(qiáng)，正樣本對(duì)齊可以一定程度上拉近同類樣本距離。然而，在圖對(duì)比學(xué)習(xí)中，發(fā)現(xiàn)一個(gè)更強(qiáng)的數(shù)據(jù)增強(qiáng)并不能幫助同類樣本的對(duì)齊，但會(huì)增加不同類樣本之間的距離，隨后利用信息論以及圖譜方法進(jìn)行分析，并針對(duì)性設(shè)計(jì)了算法以提升圖對(duì)比學(xué)習(xí)性能。

論文題目：Algorithmic Stability Unleashed: Generalization Bounds with Unbounded Losses

作者：李少杰，朱博煒，劉勇

通訊作者：劉勇

論文概述：在統(tǒng)計(jì)學(xué)習(xí)理論中，一個(gè)核心問題是在概率框架內(nèi)量化學(xué)習(xí)算法的泛化能力。算法穩(wěn)定性是推導(dǎo)泛化界限的強(qiáng)大工具，然而，它通常建立在一個(gè)關(guān)鍵假設(shè)上，即損失是有界的。在本文中，我們放寬了這個(gè)條件到帶有次威布爾直徑（subweibull diameter）的無界損失函數(shù)。這為算法穩(wěn)定性提供了新的泛化界限，并將次高斯和次指數(shù)直徑的現(xiàn)有結(jié)果作為特例包含在內(nèi)。此外，我們提供了更精細(xì)的穩(wěn)定性分析，其開發(fā)的泛化界限的速度可以比之前的結(jié)果快根號(hào)n倍，其中n是樣本大小。

論文題目：Concentration Inequalities for General Functions of Heavy-Tailed Random Variables

作者：李少杰，劉勇

通訊作者：劉勇

論文概述：集中不等式在機(jī)器學(xué)習(xí)和高維統(tǒng)計(jì)學(xué)研究中起著至關(guān)重要的作用。本文得到了獨(dú)立隨機(jī)變量函數(shù)的有界差分不等式的無界類比，將有界差分條件推廣到具有有限方差的重尾分布。為了說明我們結(jié)果的有效性，我們將其應(yīng)用于次指數(shù)尾部、次威布爾尾部和更重的多項(xiàng)式衰減尾部，展示了如何將現(xiàn)有結(jié)果推廣到有限方差分布。這些不等式具有廣泛的應(yīng)用空間。

論文題目：Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization

作者：李銳，李朝卓，申彥明，張澤宇，陳旭

通訊作者：陳旭

論文概述：知識(shí)圖譜表示的最新進(jìn)展依賴于歐式或雙曲幾何下的正交關(guān)系變換來建模重要的邏輯模式和拓?fù)浣Y(jié)構(gòu)。然而，現(xiàn)有方法局限于剛性（維度受限且?guī)缀瓮|(zhì)）的關(guān)系正交變換，導(dǎo)致建模能力不足。為了突破現(xiàn)有方法在維度和幾何方面的限制，本文設(shè)計(jì)了一種以廣義Householder反射作為基本變換的通用正交參數(shù)化方法，進(jìn)而提出了一種新穎且強(qiáng)大的知識(shí)表示框架。這種參數(shù)化方法可以自然地實(shí)現(xiàn)維度擴(kuò)展和幾何統(tǒng)一，并具有理論保證，使我們的框架能夠同時(shí)捕獲知識(shí)圖譜中關(guān)鍵的邏輯模式和固有的拓?fù)洚愘|(zhì)性。在實(shí)驗(yàn)方面，本文所提出的框架在三個(gè)基準(zhǔn)數(shù)據(jù)集上取得了最先進(jìn)的性能。

論文題目：Relaxing the Accurate Imputation Assumption in Doubly Robust Learning for Debiased Recommendation

作者：李昊軒，鄭淳元，王舒逸，吳昆翰，王浩，吳鵬，耿直，陳旭，周曉華

通訊作者：陳旭，周曉華

論文概述：推薦系統(tǒng)旨在根據(jù)用戶的行為和偏好推薦他們可能感興趣的物品或信息。然而，現(xiàn)有的推薦系統(tǒng)在訓(xùn)練數(shù)據(jù)收集過程中可能會(huì)存在選擇偏差，即收集到的數(shù)據(jù)不能有效代表目標(biāo)總體。以前的研究提出了許多基于偽標(biāo)簽的去偏方法來消除選擇偏差。然而，這些方法的有效性在很大程度上依賴于準(zhǔn)確的偽標(biāo)簽估計(jì)，而這在現(xiàn)實(shí)場(chǎng)景中很難滿足。本文從理論上提出了幾種新型的雙穩(wěn)健估計(jì)器，它們?cè)谝韵聝煞N情況下無偏：(a) 偽標(biāo)簽與真實(shí)標(biāo)簽之間存在任意的用戶特定歸納偏置、物品特定歸納偏置或二者的加性組合；或 (b) 學(xué)習(xí)到的傾向得分是準(zhǔn)確的。此外，我們進(jìn)一步提出了一種利用注意力機(jī)制自適應(yīng)地更新約束權(quán)重的傾向重構(gòu)學(xué)習(xí)方法，并且該學(xué)習(xí)方法可以有效控制方差。在一個(gè)半合成數(shù)據(jù)集和三個(gè)真實(shí)世界數(shù)據(jù)集上的大量實(shí)驗(yàn)表明所提出的方法表現(xiàn)優(yōu)于最先進(jìn)的去偏方法。

論文題目：MMPareto: Innocent Uni-modal Assistance for Enhanced Multi-modal Learning

作者：衛(wèi)雅珂，胡迪

通訊作者：胡迪

論文概述：具有針對(duì)性單模態(tài)學(xué)習(xí)目標(biāo)的多模態(tài)學(xué)習(xí)方法在緩解不平衡的多模態(tài)學(xué)習(xí)問題方面表現(xiàn)出了卓越的效果。然而，我們發(fā)現(xiàn)，之前被忽視的多模態(tài)和單模態(tài)學(xué)習(xí)目標(biāo)之間的梯度沖突，這可能會(huì)誤導(dǎo)單模態(tài)編碼器的優(yōu)化。我們首先觀察發(fā)現(xiàn)多模態(tài)損失和單模態(tài)損失之間的差異，即較易學(xué)習(xí)的多模態(tài)損失的梯度幅度和協(xié)方差都小于單模態(tài)損失。利用這一特性，我們進(jìn)一步分析了多模態(tài)情況下的帕累托梯度整合，并提出了 MMPareto 算法，該算法可以確保最終梯度的方向與所有學(xué)習(xí)目標(biāo)一致，并增強(qiáng)梯度的幅度以提高泛化能力，從而提供無害的單模態(tài)幫助。最后，覆蓋了多種模態(tài)類型和多模態(tài)框架的實(shí)驗(yàn)表明，我們的方法性能優(yōu)越且可擴(kuò)展，并且還有望在任務(wù)難度差異明顯的多任務(wù)情況下具有有效性，體現(xiàn)了了其理想的可擴(kuò)展性。

論文題目：Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations

作者：薛凱文、周聿浩、聶燊、閔旭、張曉露、周軍、李崇軒

通訊作者：李崇軒

論文概述：貝葉斯流網(wǎng)絡(luò)（BFN）通過貝葉斯推斷，在各種噪聲水平下迭代地細(xì)化分布的參數(shù)，而不是擴(kuò)散模型中的樣本。由于其可微性質(zhì)，BFN在同時(shí)保持快速采樣能力的情況下，對(duì)連續(xù)和離散數(shù)據(jù)的建模都顯示出了前景。本文旨在通過隨機(jī)微分方程（SDE）將BFN與擴(kuò)散模型聯(lián)系起來，以理解和改進(jìn)BFN。

我們確定了與BFN中噪聲添加過程相對(duì)應(yīng)的線性SDE，證明了BFN的回歸損失與去噪得分匹配損失相一致，并驗(yàn)證了BFN中的采樣器作為相應(yīng)反向SDE的一階求解器的有效性?；谶@些發(fā)現(xiàn)以及擴(kuò)散模型中快速采樣的現(xiàn)有方案，我們?yōu)锽FN提出了專門的求解器，這些求解器在樣本質(zhì)量方面顯著超過了原始BFN采樣器，且在有限的函數(shù)評(píng)估次數(shù)下（例如，10次），對(duì)圖像和文本數(shù)據(jù)集均有效。值得注意的是，我們的最佳采樣器實(shí)現(xiàn)了5至20倍的速度提升，且無需額外成本。

論文鏈接：https://arxiv.org/abs/2404.15766

代碼鏈接：https://github.com/ML-GSAI/BFN-Solver

論文題目：Improving Equivariant Graph Neural Networks on Large Geometric Graphs via Virtual Nodes Learning

作者：張?jiān)懒兀握\，韓家琦，張志強(qiáng)，周俊，黃文炳

通訊作者：黃文炳

論文概述：等變圖神經(jīng)網(wǎng)絡(luò)在各種科學(xué)應(yīng)用中取得了顯著的成功。然而在面對(duì)大型幾何圖時(shí)，現(xiàn)有的等變圖神經(jīng)網(wǎng)絡(luò)的效率會(huì)成為一大問題，并且如果將輸入簡(jiǎn)化后的稀疏局部圖以加速速度，則等變圖神經(jīng)網(wǎng)絡(luò)性能會(huì)很差。在本文中，我們提出了FastEGNN，這是針對(duì)大型幾何圖設(shè)計(jì)的等變圖神經(jīng)網(wǎng)絡(luò)增強(qiáng)模型。其核心思想是利用一小部分有序的虛擬節(jié)點(diǎn)來近似真實(shí)節(jié)點(diǎn)的無序大圖——具體地說，我們通過區(qū)分不同虛擬節(jié)點(diǎn)的消息傳遞和聚合，以增強(qiáng)彼此的獨(dú)特性，并最小化虛擬坐標(biāo)和真實(shí)坐標(biāo)之間的最大平均差異（MMD），以實(shí)現(xiàn)全局分布對(duì)齊。FastEGNN 滿足所有必要的 E(3) 對(duì)稱性，并具有充分的表達(dá)能力。我們?cè)诙囿w系統(tǒng)（100 個(gè)節(jié)點(diǎn)）、蛋白質(zhì)動(dòng)力學(xué)（800 個(gè)節(jié)點(diǎn)）和3D水分子（8000 個(gè)節(jié)點(diǎn)）上進(jìn)行的實(shí)驗(yàn)表明，F(xiàn)astEGNN 在準(zhǔn)確性和效率之間實(shí)現(xiàn)了良好的平衡，甚至在刪除所有真實(shí)節(jié)點(diǎn)間連邊后，其在蛋白質(zhì)動(dòng)力學(xué)與3D水分子的任務(wù)上取得準(zhǔn)確性也優(yōu)于原先的EGNN模型。

論文題目：Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning

作者：孔祥哲，黃文炳，劉洋

通訊作者：黃文炳，劉洋

論文概述：生物學(xué)和藥物發(fā)現(xiàn)中的許多過程涉及分子之間的各種3D相互作用，例如蛋白質(zhì)與蛋白質(zhì)、蛋白質(zhì)與小分子等。由于不同的分子通常以不同的粒度進(jìn)行表示，現(xiàn)有方法通常使用不同的模型獨(dú)立編碼每種類型的分子，從而無法有效學(xué)習(xí)普遍的相互作用物理原理。在本文中，我們首先提出將任意3D復(fù)合物通用地表示為一個(gè)集合的幾何圖，揭示了用一種模型編碼所有類型分子的方法。然后，我們提出了一種通用等變Transformer（Generalist Equivariant Transformer，GET），以有效捕捉特定領(lǐng)域的層次結(jié)構(gòu)和通用領(lǐng)域的相互作用物理特性。具體來說，GET由雙層注意力模塊、前饋模塊和層歸一化模塊組成，每個(gè)模塊都是E(3)等變的，并且可以用于處理大小動(dòng)態(tài)改變的集合。值得注意的是，與傳統(tǒng)的基于池化的分層模型不同，我們的GET能夠保留所有層次的細(xì)粒度信息。我們?cè)诘鞍踪|(zhì)、小分子和RNA/DNA之間的相互作用上進(jìn)行了廣泛的實(shí)驗(yàn)，驗(yàn)證了我們所提出的方法在不同領(lǐng)域中的有效性和通用性。

論文題目：Subequivariant Reinforcement Learning in 3D Multi-Entity Physical Environments

作者：陳潤發(fā)，汪羚，杜雨，薛天瑞，孫富春，張建偉，黃文炳

通訊作者：孫富春，黃文炳

論文概述：多實(shí)體系統(tǒng)在三維環(huán)境中的策略學(xué)習(xí)比單實(shí)體場(chǎng)景復(fù)雜得多，這是由于隨著實(shí)體數(shù)量的增加，全局狀態(tài)空間呈指數(shù)增長。一種緩解指數(shù)復(fù)雜性的方法是將全局空間劃分為獨(dú)立的局部視圖，這些視圖對(duì)包括平移和旋轉(zhuǎn)在內(nèi)的變換是不變的。為此，本文提出了子等變分層神經(jīng)網(wǎng)絡(luò)（SHNN）來進(jìn)行多實(shí)體策略學(xué)習(xí)。具體而言，SHNN首先通過任務(wù)分配將全局空間動(dòng)態(tài)解耦為局部實(shí)體級(jí)子圖。然后，它在局部實(shí)體級(jí)子圖上利用子等變圖神經(jīng)網(wǎng)絡(luò)來獲取獨(dú)立的局部參考坐標(biāo)系。這種方法專門針對(duì)受重力影響的環(huán)境進(jìn)行設(shè)計(jì)，從而可以顯著減少狀態(tài)空間的冗余。此外，為了克服現(xiàn)有基準(zhǔn)測(cè)試在多實(shí)體系統(tǒng)中對(duì)歐幾里得對(duì)稱約束進(jìn)行檢驗(yàn)的局限性，我們提出了多實(shí)體基準(zhǔn)測(cè)試（MeBen），這是一套新環(huán)境，旨在探索多實(shí)體強(qiáng)化學(xué)習(xí)的廣泛領(lǐng)域。大量實(shí)驗(yàn)表明，在所提出的基準(zhǔn)測(cè)試中，SHNN相比現(xiàn)有方法取得了顯著進(jìn)步。我們還進(jìn)行了全面的消融實(shí)驗(yàn)，以驗(yàn)證任務(wù)分配和子等變性的必要性。

論文題目：Equivariant Diffusion for Crystal Structure Prediction

作者：林沛佳，陳品，矯瑞，莫晴，岑鑒煥，黃文炳，劉洋，黃聃，盧宇彤

論文概述：為了解決晶體結(jié)構(gòu)預(yù)測(cè)（Crystal Structure Prediction, CSP）任務(wù)的執(zhí)行效率和精度挑戰(zhàn)，幾何對(duì)稱性可感知的深度學(xué)習(xí)模型已經(jīng)被廣泛研究。其中，基于擴(kuò)散模型的方法通過把CSP轉(zhuǎn)化為基于條件生成的任務(wù)，取得了良好的進(jìn)展。然而，如何在擴(kuò)散過程中保證置換、旋轉(zhuǎn)和周期平移的等變性問題，仍然沒有被完全解決。在這項(xiàng)工作中，我們提出了EDCSP，一種新穎的等變擴(kuò)散生成模型。我們首先關(guān)注已有工作忽略的晶格置換等變性問題，并提出了一種考慮訓(xùn)練約束的解決方法；此外，我們還提出了一種獨(dú)特的加噪方法，確保擴(kuò)散模型在推理和訓(xùn)練過程中嚴(yán)格遵循周期平移等變性。我們的實(shí)驗(yàn)表明，EDCSP在生成精確結(jié)構(gòu)方面顯著優(yōu)于現(xiàn)有模型，并且在訓(xùn)練過程中表現(xiàn)出更快的收斂速度。

論文題目：Contamination-Resilient Anomaly Detection via Adversarial Learning on Partially-Observed Normal and Anomalous Data

作者：Wenxi Lv, Qinliang Su, Hai Wan, 許洪騰, Wenchao Xu

論文概述：許多現(xiàn)有的異常檢測(cè)方法都依賴大規(guī)模的正常數(shù)據(jù)集進(jìn)行訓(xùn)練。但對(duì)于許多實(shí)際應(yīng)用來說，受資源限制，從大規(guī)模未標(biāo)記的數(shù)據(jù)集中刪除所有異常樣本是不現(xiàn)實(shí)的，進(jìn)而導(dǎo)致我們難以獲得理想的正常數(shù)據(jù)集。為了在這種情況下實(shí)現(xiàn)準(zhǔn)確的檢測(cè)異常，從概率論的角度來看，關(guān)鍵問題是如何從受污染的數(shù)據(jù)集中學(xué)習(xí)正常數(shù)據(jù)的分布。為此，我們提出了一種新的方法，通過收集兩個(gè)額外的由正常和異常樣本組成的小數(shù)據(jù)集進(jìn)行對(duì)抗性學(xué)習(xí)，進(jìn)而對(duì)正常數(shù)據(jù)分布進(jìn)行估計(jì)。我們證明，在一些溫和的條件下，我們所提出的方法能夠?qū)W習(xí)正確的正常數(shù)據(jù)分布。此外，我們考慮了由于兩個(gè)附加數(shù)據(jù)集較小而導(dǎo)致的過擬合問題，并進(jìn)一步開發(fā)了保證模型正確性的翻轉(zhuǎn)機(jī)制來緩解該問題。大量的實(shí)驗(yàn)結(jié)果表明，在檢測(cè)受污染數(shù)據(jù)集條件下的異常情況時(shí)，我們的方法優(yōu)于基準(zhǔn)方法。