Licencja
Część modeli „open” ma ograniczenia użytku. Czytamy je przed wyborem.
Modele
Wagi, które da się uruchomić u Was, a nie w slajdzie.
Dobieramy model open source do zadania, języka i maszyny. Nazwy rodzin, które często wchodzą w grę, to Llama, Mistral i Qwen. To przykłady kategorii, nie nasz ranking i nie obietnica wyniku.
Polski
Jakość odpowiedzi po polsku sprawdzamy na Waszych pytaniach.
Rozmiar
Mniejszy model na pewnym serwerze bywa lepszy niż największy, który się nie mieści.
Co bierzemy pod uwagę
- Czy wagi wolno użyć w organizacji komercyjnej albo publicznej na danych, które macie.
- Czy model ma sens po polsku w Waszych procedurach, a nie w teście z internetu.
- Ile pamięci potrzebuje wariant i ilu ludzi będzie pytać naraz. Stąd przejście do serwera GPU.
- Czy odpowiedzi mają trzymać się dokumentów. Wtedy model jest tylko połową układu obok indeksu.
Czego nie robimy z modelem
Nie douczamy wag na danych firmy po to, żeby pochwalić się „własnym modelem”, jeśli wystarczy indeks dokumentów. Douczanie bywa potrzebne rzadziej, niż się wydaje, i zawsze miesza się z pytaniem, co wolno włożyć w zbiór treningowy.
Nie publikujemy tabel z wynikami testów. Liczba z cudzego leaderboardu nie mówi, jak model przeczyta Waszą instrukcję kancelaryjną.
Aktualizacje wag
Modele się zmieniają. W utrzymaniu jest decyzja, kiedy podmienić wersję i jak sprawdzić, że nowe wagi nie rozsypały odpowiedzi na Waszych przykładach. To część utrzymania, nie automatyczny update w tle.