讓FPGA替代GPU,你會有怎樣的顧慮?
這幾天,已經退役的AlphaGo又強行刷了一波頭條,不是又跟哪位世界高手對決,而是“新狗”通過無監督式學習,僅用3天時間就戰勝了李世石版的AlphaGo,然后用了21天時間戰勝了柯潔版本AlphaGo。AlphaGo讓我們真真切切地看到了AI計算的強大。
目前,在AI計算平臺使用最廣泛的兩種加速部件是GPU和FPGA。GPU可適用于具備計算密集、高并行、SIMD(SingleInstructionMultipleData,單指令多數據流)應用等特點的深度學習訓練模型領域,并且GPU創建了包含CNN、DNN、RNN、LSTM以及強化學習網絡等算法在內的應用加速平臺和生態系統。
但是,最近FPGA又頻頻被各AI領域的巨頭看好,比如微軟、百度、科大訊飛都對FPGA應用前景有所期待。那么如果讓你選擇FPGA作為AI計算系統的主力軍,你會有什么樣的顧慮?
顧慮一:FPGA有啥優勢?什么樣的場景更適合FPGA?
首先,深度學習包含兩個計算環節,即訓練和推理環節。GPU在深度學習算法模型訓練上非常高效,但在推理時對于小批量數據,并行計算的優勢不能發揮出來。而FPGA同時擁有流水線并行和數據并行,因此處理任務時候延遲更低。例如處理一個數據包有10個步驟,FPGA可以搭建一個10級流水線,流水線的不同級在處理不同的數據包,每個數據包流經10級之后處理完成。每處理完成一個數據包,就能馬上輸出。通常來說,FPGA加速只需要微秒級的PCIe延遲。當Intel推出通過QPI快速通道互聯的Xeon+FPGA之后,CPU和FPGA之間的延遲甚至可以降到100納秒以下。
其次,FPGA是可編程芯片,算法燒錄更加靈活。目前來看,深度學習算法還未完全成熟,算法還在迭代衍化過程中,若深度學習算法發生大的變化,FPGA是軟件定義硬件,可以靈活切換算法,快速切入市場。
未來至少95%的機器學習計算都是用于推斷,只有不到5%是用于模型訓練,而FPGA正是強在推斷。大幅提升推斷效率的同時,還能最小限度損失精確性,這正是FPGA的強項。
責任編輯:任我行
-
碳中和戰略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
兩部門:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業 -
國家發改委、國家能源局:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業
-
碳中和戰略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
深度報告 | 基于分類監管與當量協同的碳市場框架設計方案
2020-07-21碳市場,碳排放,碳交易 -
碳市場讓重慶能源轉型與經濟發展并進
2020-07-21碳市場,碳排放,重慶
-
兩部門:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業 -
國家發改委、國家能源局:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業 -
2020年二季度福建省統調燃煤電廠節能減排信息披露
2020-07-21火電環保,燃煤電廠,超低排放
-
四川“專線供電”身陷違法困境
2019-12-16專線供電 -
我國能源替代規范法律問題研究(上)
2019-10-31能源替代規范法律 -
區域鏈結構對于數據中心有什么影響?這個影響是好是壞呢!