全(quan)部文章(zhang)Ta的評論(lun)
- TensorRT是一個高性能的深度學習推理(Inference)優化器,可以為深度學習應用提供低延遲、高吞吐率的部署推理。TensorRT可用于超大規模數據中心、嵌入式平臺或自動駕駛平臺進行推理加速。TensorRT現已能支持TensorFlow、Caffe、Mxnet、Pytorch等幾乎所有的深度學習框架,將TensorRT和NVIDA的GPU結合起來,能在幾乎所有的框架種進行快速和高效的部署推理。w****n2023-06-301280
- 隨著神經網絡的發展,embedding的思想被廣泛的應用在搜推廣、圖像、自然語言處理等領域,在實際的工業場景中,我們常常會遇到基于embedding進行文本、圖像、視頻等物料的相關內容檢索問題,這類問題通常要求在幾毫秒的時間內完成百萬甚至億級別候選物料上的檢索。 在這類問題中,主要需要考慮的三個問題是速度、內存以及準確性,其中速度是必須要解決的問題,同時我們希望能在保證速度的基礎上,盡可能的提升準確率,降低內存占用。因此可以想到,我們是不是可以通過一定的方法,利用內存和準確率來換取查詢速度的提升。 Faiss是由FacebookAI團隊開發的向量檢索庫,提供了多種向量查詢方案,可以實現在億級別候選物料上的毫秒級查詢,是目前最主流的向量檢索庫。在Faiss中,把具體的查詢算法實現稱為索引,由于faiss中提供了多種類型的索引,因此了解其中不同索引索引的實現方式對于我們的應用就尤為關鍵。w****n2023-05-24460
共 2 條(tiao)
- 1
頁
沒有更多了
個人(ren)簡(jian)介(jie)
暫未填寫公(gong)司和職務
暫未(wei)填寫個人簡介
暫未填(tian)寫技能(neng)專長(chang)
暫(zan)未填寫(xie)畢業院校和專(zhuan)業
個人(ren)成就(jiu)
共發表(biao)過 2 篇文章
文(wen)章(zhang)獲得 0 次贊(zan)同
文章被瀏覽 174 次(ci)
獲得 0 人關注
個人榮譽(yu)查看規(gui)則
暫未獲得榮譽