近日,，鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院在人工智能領(lǐng)域頂級學(xué)術(shù)期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)》上發(fā)表信息瓶頸理論長篇綜述論文“A Survey on Information Bottleneck”,。胡世哲副研究員為該論文第一作者,，葉陽東教授為論文通訊作者,，鄭州大學(xué)為唯一第一作者單位和通訊單位。

信息瓶頸 (Information Bottleneck, IB) 是一種用于模式分析和表示學(xué)習(xí)的新型信息理論方法,，自1999年誕生以來受到了廣泛的關(guān)注,。它巧妙地平衡了數(shù)據(jù)壓縮和信息保存，并相應(yīng)地提高了預(yù)測或表示能力,。該綜述論文是為了紀(jì)念信息瓶頸理論的創(chuàng)始人之一Naftali Tishby教授,。

該綜述總結(jié)了過去20多年來IB的理論進(jìn)展和實(shí)際應(yīng)用，系統(tǒng)地探討了IB的基礎(chǔ)理論,、優(yōu)化,、擴(kuò)展模型和面向任務(wù)的算法。現(xiàn)有的IB方法大致分為兩部分：傳統(tǒng)IB和深度IB,。前者包含傳統(tǒng)機(jī)器學(xué)習(xí)分析技術(shù)優(yōu)化且不涉及任何神經(jīng)網(wǎng)絡(luò)的IB,，后者包括涉及深度神經(jīng)網(wǎng)絡(luò) (Deep Neural Network, DNN) 的解釋、優(yōu)化和改進(jìn)的IB,。具體來說,，根據(jù)技術(shù)分類，傳統(tǒng)IB進(jìn)一步分為三類：基礎(chǔ)IB,、信息化IB和傳播IB,。根據(jù)問題設(shè)置分類，深度IB包括：辯論－使用 IB 理解DNN,、使用IB優(yōu)化DNN和基于DNN的IB方法,。

本項(xiàng)工作受到國家自然科學(xué)青年基金項(xiàng)目、面上項(xiàng)目的資助,，并得到了鄭州大學(xué)計(jì)算機(jī)與人工智能學(xué)院的支持,。

論文鏈接：https://ieeexplore.ieee.org/document/10438074