近日(ri)，中科(ke)金財在與(yu)全球著名半導(dao)體公司AMD合作的(de)項(xiang)目中(zhong)，特別(bie)是(shi)在算(suan)力調優、調度和(he)軟(ruan)件生態適配等方面，取(qu)得了(le)顯著的(de)技術進展。
目(mu)前，中科金(jin)財已(yi)成功完成多(duo)項測試和優化工作，其中在AMD軟件生態層(ceng)面積(ji)累了(le)豐(feng)富的多機多卡訓練(lian)經驗(yan)、推(tui)理系統的模(mo)型量化、模(mo)型轉換、計算(suan)圖優(you)化和AI框架適配(pei)經驗(yan)。
具(ju)體來說，通過與(yu)行業專家(jia)的緊(jin)密合作(zuo)，中科金財利用ROCm軟件生態工具和AMD GPU利用率可視化工具進行了深入的性能分析和優化，已完(wan)成(cheng)Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的訓練和推理測試，覆蓋了從單機單卡到多機多卡的多種配置。經過(guo)調優，在訓(xun)練(lian)方面(mian)，GPU利用率提升了27%；在推理方面，首token返回時長（Time To First Token，TTFT）提升了35%，吞吐量（Throughput QPS，tokens/s）提升了43%，有效加快了訓練和推理過程。在測試期間，中科金財的汽車、電商和銀行的垂類(lei)大模型已經可(ke)以在AMD的高端人工智(zhi)能芯片(pian)MI210上高效順暢地運行。
未(wei)來，中科(ke)金財將繼續探索算力(li)調優工作，涵蓋AI應用場景、網絡性能、存儲性能等多個層面,將幫助行業客戶(hu)提升算力(li)性能，降(jiang)低算力(li)成(cheng)本,并助力(li)多模態大模型的發展以及AI Agent的應用，從而幫助產業實(shi)現AGI的升級。
