baltun
Администратор
- Сообщения
- 10.905
- Реакции
- 2.596
- Баллы
- 2.003
Chat With RTX — это демоприложение, которое позволяет персонализировать большую языковую модель (LLM) GPT, подключенную к вашему контенту: документам, заметкам, видео и другим данным. Используя генерацию ответа, дополненную результатами поиска (RAG), TensorRT-LLM и ускорение на RTX, вы можете отправлять запросы к пользовательскому чат-боту, чтобы быстро получать ответы, соответствующие контексту. А так как приложение работает локально на ПК или рабочей станции с Windows с RTX, результаты генерируются быстро и безопасно.
Довелось попробовать работу Chat with RTX nvidia доступна для видеокарт NVIDIA GeForce™ RTX 30 or 40 Series GPU or NVIDIA RTX™ с видеопамятью от 8ГБ вам будет доступна одна модель и с памятью 16ГБ вам для установки будет доступно 2 модели. Работает чат очень быстро, видеокарта греется около 40 градусов (использовали 4060 Ti 8Гб), в зависимости от выбора может отвечать на русском языке.
Довелось попробовать работу Chat with RTX nvidia доступна для видеокарт NVIDIA GeForce™ RTX 30 or 40 Series GPU or NVIDIA RTX™ с видеопамятью от 8ГБ вам будет доступна одна модель и с памятью 16ГБ вам для установки будет доступно 2 модели. Работает чат очень быстро, видеокарта греется около 40 градусов (использовали 4060 Ti 8Гб), в зависимости от выбора может отвечать на русском языке.