Jedna granica
Treść zapytań nie idzie do API dostawcy modelu.
Wdrożenie
Składamy asystenta, wyszukiwanie w dokumentach i integracje w jeden obwód, który stoi u klienta. Najpierw ustalamy, jakie dane w ogóle mogą wejść do promptu.
Treść zapytań nie idzie do API dostawcy modelu.
Zakres dla firmy albo instytucji, nie dla osoby prywatnej.
Koszt wynika z modelu, sprzętu i integracji, więc nie wisi na stronie.
Model, indeks fragmentów i usługa odpowiedzi działają na maszynie wskazanej przez organizację: w siedzibie albo w serwerowni, do której macie kontrolę dostępu.
To nie jest skrót do „prywatnej instancji” u dostawcy chmurowego modelu. Zapytanie nie opuszcza obwodu jako wywołanie cudzego API.
Sieć bywa potrzebna do łat systemowych albo do kopii, którą sami wskażecie. Ten ruch opisujemy w projekcie, żeby nie woził treści rozmów.
Typowy układ, który dopasowujemy, a nie sprzedajemy jako zamkniętą skrzynkę:
Nie podajemy liczby tokenów na sekundę ani progu „skuteczności”. Jedno i drugie zależy od wag, sprzętu i jakości materiałów.
Asystent nie przejmuje decyzji prawnych, kadrowych, medycznych ani finansowych. Człowiek zostaje przy treści, która idzie dalej do klienta albo do akt.