WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的產(chǎn)品，通過在實時語音轉(zhuǎn)文字流程中集成Mistral大型語言模型（LLM）來實現(xiàn)與AI的無縫對話。Whisper和LLM均經(jīng)過TensorRT引擎優(yōu)化，以最大程度提升性能和實時處理能力。WhisperSpeech則使用torch.compile來優(yōu)化。產(chǎn)品定位于提供超低延遲的AI實時對話體驗。
點擊前往WhisperFusion官網(wǎng)體驗入口
需求人群：
用戶可以通過使用預(yù)構(gòu)建的TensorRT-LLM Docker容器快速開始與[WhisperFusion](https://top.aibase.com/tool/whisperfusion)進行交互。同時，也可以構(gòu)建適用于不同cuda架構(gòu)的docker鏡像。
使用場景示例：
在網(wǎng)站上與WhisperFusion的AI進行實時對話
通過WhisperFusion的小程序進行語音轉(zhuǎn)文字交互
使用WhisperFusion插件在桌面客戶端上進行實時語音識別
產(chǎn)品特色：
實時語音轉(zhuǎn)文字：利用OpenAI WhisperLive實現(xiàn)實時語音轉(zhuǎn)文字。
大型語言模型集成：整合Mistral大型語言模型，增強對轉(zhuǎn)錄文本的理解和語境。
TensorRT優(yōu)化：LLM和Whisper均優(yōu)化為TensorRT引擎，確保高性能和低延遲處理。
torch.compile：WhisperSpeech使用torch.compile來加速推斷，通過將PyTorch代碼即時編譯為優(yōu)化內(nèi)核，使PyTorch代碼運行更快。
（舉報）