К содержимому
Все кейсы

AI-системы

StreamWidget

Суфлёр для стримера: подсказки в реальном времени поверх чата

Chrome extension (MV3)PythonFastAPIWebSocketDeepInfra (Qwen, Llama-3)Railway

Проблема

Ведущему прямого эфира некогда читать чат и придумывать ответ одновременно. Подсказка должна приходить за секунды, на языке зрителя, и не путать, кто в диалоге кто.

Система

Chrome-расширение читает чат и держит WebSocket с FastAPI-бэкендом на Railway. Генерацией занимаются две модели с разными ролями: основная ведёт диалог и всегда делает перевод, вторая — специализированная англоязычная — пишет только по-английски. Так сделано сознательно: у второй модели слабый русский, смысл терялся, а ники зрителей переводились как обычные слова. Поэтому перевод всегда за основной моделью, а ники перед ним маскируются плейсхолдерами и возвращаются на место после. Разбор ответа второй модели терпим к кривому JSON и делает один повтор.

Роль

Соло-разработка по заказу: расширение, бэкенд, маршрутизация моделей, деплой.

Результат

Выкачено на Railway и проверено живым WebSocket-запросом после деплоя. Качество маршрутизации измеряется скриптом-бенчем на парах EN/RU (стоит центы за прогон), а не на ощущениях.