京東數科自研聯邦學習平臺Fedlearn正式推出
FedLearning是一個由自己開發的聯邦學習平臺,其目標是在滿足數據隱私安全和監督要求的前提下,更好地挖掘數據價值,實現多贏機器學習,使人工智能系統更有效、更準確地使用自己的數據。
FedLearning平臺有三個主要特點。首先,在數據和模型隱私方面,本地數據和模型參數不是在不同的參與者之間直接交換,而是交換更新參數所需的中間值。同時,為了避免從這些中間值中恢復數據信息,通過增加擾動來保護這些值,以確保數據和模型的隱私和安全性。其次,在通信方面,引入了集中式數據交換的概念,使數據交換與參與者無關。最后,采用異步計算框架,大大提高了模型訓練的速度。
FedLearning平臺將密碼學、機器學習、塊鏈和其他聯邦學習算法結合起來,構建了一套安全、智能和高效的鏈接平臺。在各組織的數據不需要向外傳輸的前提下,結合多方組織數據,實現了聯合建設模型等多方數據的聯合使用場景,并取得了額外的效果。與傳統的數據共享和交換方法相比,FedLearning平臺創新性地提出了并行加密算法、異步計算框架、創新的聯邦學習等技術框架,在保證數據安全的前提下提高了學習效率,并逐步實現了對1億級數據的集成能力。
在JD.com數學系開發FedLearning平臺的過程中,實現了基于內核的非線性聯邦學習算法,在安全性方面,該方法不傳輸原始樣本和梯度信息,充分保護了數據的隱私;在快速性方面,該方法采用了第一次雙隨機梯度下降,大大提高了計算速度,充分利用了計算資源,并通過增加干擾提高了數據的安全保護,形成了"解決多黨垂直聯邦學習的安全核心學習算法"((FederatedDoublyStochasticKernelLearningforVerticallyPartitionedData).")。
彭南波,JD 智能模特主管。Com 的數學科學風險管理中心說:"在 JD。COM 的風險控制" 聯邦模箱 " 產品業務實踐,比傳統的聯合建模取得了更好的效果。一方面,聯邦學習理論上可以得到最優解,即通過梯度降迭代過程可以實現聯邦之間的特征組合和交叉建模,從而解決諸如異或等非線性問題。另一方面,由于它可以保護數據的隱私和安全性,不需要限制建模樣本的數量,這樣聯邦學習就可以使用更多的數據建模,在大數據的基礎上更有效地發現數據規律,從而提高模型的效果。
目前,京東的金條和白條業務模式已經完全實現了從傳統建模到聯邦建模的升級,并且在聯邦模型下提高了模型的風險識別能力和流量轉換率。除了在風險控制方面的應用外,JD.com 開發的聯邦學習平臺 FedLearning 平臺也廣泛應用于 Ai+ 智能城市領域。
此外,京東數學部憑借在金融服務、數字營銷等領域積累的豐富實踐經驗,形成多情景解決方案,通過聯邦學習可以實現多場景解決方案升級,結合每個客戶的情況,提供更高程度的定制服務。目前,已經實施了多種不同類型的合作項目。
從底層代碼到算法,再到平臺構建,JD。COM 數學系始終堅持自主研發和創新,一路穩健。薄麗峰說:" 我們希望依靠數字科技強大的人工智能技術背景,通過 FedLearning 平臺的科技能力幫助用戶和行業實現‘連接’,實現各種規模企業的授權和增長,這也是我們作為聯邦學習應用程序的領導者的使命。