“Чат с RTX” – bu, İnternet’e bağlanmaya gerek olmadan bilgisayarda kişiselleştirilmiş bir sohbet botuna sürekli erişim sağlayan yerelleştirilmiş bir sistem olarak çalışan, kullanımı kolay bir araçtır. Kullanıcılar yerel olarak kullanılabilir veri kümesini tamamen kişiselleştirebilir ve RTX 40 ve RTX 30 grafik işlemcileriyle uyumludur.

“Чат с RTX” NVIDIA TensorRT-LLM (RAG) yazılımını kullanır ve bu da geçen yıl Windows PC’ler için duyurulmuştur. RTX donanımlarında bulunan RTX hızlandırmasının avantajlarından yararlanarak kullanıcılarla en iyi etkileşimi sağlar. Uygulama, en az 8 GB video belleğine sahip tüm GeForce RTX 30 ve 40 grafik işlemcilerinde desteklenmektedir.

Ücretsiz olarak indirilen “Чат с RTX” ile kullanıcılar bilgisayarlarındaki yerel veri kümesine (.txt, .pdf, .doc, .docx, .xml) ve Mistral gibi büyük dil modellerine bağlayabilir. Kullanıcılar ayrıca belirli URL’leri ekleyebilir, örneğin YouTube videoları veya çalma listeleri, veri kümesi aramasını daha da iyileştirmek için URL’leri ekleyebilir.

NVIDIA RTX grafik işlemcisine sahip olmak, TensorRT-LLM’i etkinleştirecektir, bunun anlamı, tüm veri ve projelerin yerel olarak sunulacağı ve bu verilerin bulutta depolanmayacağıdır. Bu, zaman kazandırır ve daha doğru sonuçlar sağlar. Gelişmiş RAG veya İsteme, veri seti doldurulabilir, ardından bu dil anlama kapasitesini kullanarak doğru sonuçlar elde etmek için bu RAG’nin yeteneklerini kullanabilir.

NVIDIA, bu ayın ilerleyen günlerinde kullanılacak olan TensorRT-LLM 0.6.0 sürümü ile performansın 5 kat artacağını iddia ediyor. Ayrıca, Mistral 7B ve Nemotron 3-8B gibi ek LLM’leri de destekleyecektir.

NVIDIA “Чат с RTX” uygulamasını indirebilirsiniz. Optimal performans için Windows 11 ve Windows 10 PC ve en yeni NVIDIA grafik işlemci sürücülerine ihtiyaç duyar.