**劃重點:**

1. ??? 實時語音轉文本:利用OpenAI WhisperLive實現(xiàn)即時將口語轉換為文本。

2. ?? 大型語言模型整合:集成Mistral大型語言模型，提升對轉錄文本的理解和上下文把握。

3. ?? TensorRT優(yōu)化:LLM和Whisper均經(jīng)過TensorRT引擎優(yōu)化，確保高性能和低延遲處理。

站長之家（ChinaZ.com）1月31日 消息:WhisperFusion是一個基于WhisperLive和WhisperSpeech技術的AI對話系統(tǒng)，通過在實時語音轉文本流程中集成Mistral大型語言模型（LLM），實現(xiàn)了與AI的無縫對話。

LLM和Whisper均經(jīng)過TensorRT引擎優(yōu)化，以最大程度提高性能和實時處理能力。WhisperSpeech則通過torch.compile進行優(yōu)化，通過JIT編譯PyTorch代碼，加速推斷過程。

根據(jù)項目介紹，WhisperFusion特色功能包括:

-實時語音轉文本:利用OpenAI WhisperLive實現(xiàn)即時將口語轉換為文本。

- 大型語言模型整合: 集成Mistral大型語言模型，提升對轉錄文本的理解和上下文把握。

- 性能優(yōu)化:: LLM和Whisper均經(jīng)過TensorRT引擎優(yōu)化，確保高性能和低延遲處理。

- 推理加速:利用 torch.compile 對 WhisperSpeech 進行優(yōu)化，通過即時編譯（JIT）PyTorch 代碼，進一步加快了處理速度。

產(chǎn)品入口：https://top.aibase.com/tool/whisperfusion

（舉報）