摘要：微軟Ignite全球技術大會發布的新工具和資源包括OpenAIChatAPI的TensorRT-LLM封裝接口、RTX驅動的性能改進DirectMLforLlama2、其他熱門LLM

WindowsPC上的AI標志著科技史上的關鍵時刻，它將徹底改變玩家、創作者、主播、上班族、學生乃至普通PC用戶的體驗。AI為1億多臺采用RTX GPU的Windows PC和工作站提高生產力帶來前所未有的機會。NVIDIA RTX技術使開發者更輕松地創建AI應用，從而改變人們使用計算機的方式。

在微軟Ignite大會上發布的全新優化、模型和資源將更快地幫助開發者提供新的終端用戶體驗。TensorRT-LLM是一款提升AI推理性能的開源軟件，它即將發布的更新將支持更多大語言模型，在RTXGPU8GB及以上顯存的PC和筆記本電腦上使要求嚴苛的AI工作負載更容易完成。

Tensor RT-LLM for Windows即將通過全新封裝接口與OpenAI廣受歡迎的聊天API兼容。這將使數以百計的開發者項目和應用能在RTXPC的本地運行，而非云端運行，因此用戶可以在PC上保留私人和專有數據。定制的生成式AI需要時間和精力來維護項目。特別是跨多個環境和平臺進行協作和部署時，該過程可能會異常復雜和耗時。

AI Workbench 是一個統一、易用的工具包，允許開發者在 PC 或工作站上快速創建、測試和定制預訓練生成式 AI 模型和 LLM。它為開發者提供一個單一平臺，用于組織他們的AI項目，并根據特定用戶需求來調整模型。這使開發者能夠進行無縫協作和部署，快速創建具有成本效益、可擴展的生成式AI模型。加入搶先體驗名單，成為首批用戶以率先了解不斷更新的功能，并接收更新信息。

為支持AI開發者，NVIDIA與微軟發布DirectML增強功能以加速最熱門的基礎AI模型之一的Llama2。除了全新性能標準，開發者現在有更多跨供應商部署可選。

便攜式AI

10月，NVIDIA發布TensorRT-LLMfor Windows -- 一個用于加速大語言模型(LLM)推理的庫。

本月底發布的TensorRT-LLMv0.6.0 更新將帶來至高達5倍的推理性能提升，并支持更多熱門的LLM，包括全新Mistral7B和Nemotron-38B。這些LLM版本將可在所有采用8GB及以上顯存的GeForceRTX30系列和40系列GPU上運行，從而使最便攜的WindowsPC設備也能獲得快速、準確的本地運行LLM功能。

TensorRT-LLM v0.6.0 帶來至高達5倍推理性能提升

新發布的TensorRT-LLM可在/NVIDIA/TensorRT-LLM GitHub代碼庫中下載安裝，新調優的模型將在ngc.nvidia.com提供。

從容對話

世界各地的開發者和愛好者將OpenAI的聊天API廣泛用于各種應用——從總結網頁內容、起草文件和電子郵件，到分析和可視化數據以及創建演示文稿。

這類基于云的AI面臨的一大挑戰是它們需要用戶上傳輸入數據，因此對于私人或專有數據以及處理大型數據集來說并不實用。

為應對這一挑戰，NVIDIA即將啟用TensorRT-LLM for Windows，通過全新封裝接口提供與OpenAI廣受歡迎的ChatAPI類似的API接口，為開發者帶來類似的工作流，無論他們設計的模型和應用要在RTXPC的本地運行，還是在云端運行。只需修改一兩行代碼，數百個AI驅動的開發者項目和應用現在就能從快速的本地AI中受益。用戶可將數據保存在PC上，不必擔心將數據上傳到云端。

使用由 TensorRT-LLM 驅動的 Microsoft VS Code 插件 Continue.dev 編碼助手

此外，最重要的一點是這些項目和應用中有很多都是開源的，開發者可以輕松利用和擴展它們的功能，從而加速生成式AI在RTX驅動的WindowsPC上的應用。

該封裝接口可與所有對TensorRT-LLM進行優化的LLM(如，Llama2、Mistral和NVLLM)配合使用，并作為參考項目在GitHub上發布，同時發布的還有用于在RTX上使用LLM的其他開發者資源。

模型加速

開發者現可利用尖端的AI模型，并通過跨供應商API進行部署。NVIDIA和微軟一直致力于增強開發者能力，通過DirectMLAPI在RTX上加速Llama。

在10月宣布的為這些模型提供最快推理性能的基礎上，這一跨供應商部署的全新選項使將AI引入PC變得前所未有的簡單。開發者和愛好者可下載最新的ONNX運行時并按微軟的安裝說明進行操作，同時安裝最新NVIDIA驅動(將于11月21日發布)以獲得最新優化體驗。

這些新優化、模型和資源將加速AI功能和應用在全球1億臺RTXPC上的開發和部署，一并加入400多個合作伙伴的行列，他們已經發布了由RTXGPU加速的AI驅動的應用和游戲。

隨著模型易用性的提高，以及開發者將更多生成式AI功能帶到RTX驅動的WindowsPC上，RTXGPU將成為用戶利用這一強大技術的關鍵。

關于NVIDIA

自1993年成立以來，NVIDIA (NASDAQ: NVDA) 一直是加速計算領域的先驅。NVIDIA 1999年發明的GPU驅動了PC游戲市場的增長，并重新定義了現代計算機圖形，開啟了現代AI時代，正在推動跨市場的工業數字化。NVIDIA現在是一家全棧計算公司，其數據中心規模的解決方案正在重塑整個行業。更多信息，請訪問https://nvidianews.nvidia.com/