Chunking dokumentu

Jak projektować dokument odporny na podział?

Chunk to część dokumentu wyodrębniona przez system. Jej dokładny rozmiar i granice zależą od narzędzia, dlatego nie istnieje jedna uniwersalna liczba słów gwarantująca poprawne przetwarzanie. Autor kontroluje jednak strukturę, z której algorytm wyznacza kandydatów na fragmenty.

Buduj lokalny kontekst

Umieszczaj nazwę podmiotu, wynik, jednostkę, okres i ważny wyjątek w tej samej sekcji. Nagłówek powinien nazywać pytanie, a pierwszy akapit udzielać odpowiedzi. Dowód lub odsyłacz do metody powinien znajdować się możliwie blisko twierdzenia.

Przykład

Zdanie „limit wynosi 100” po oddzieleniu od tabeli traci sens. Fragment „W planie Pro limit API wynosi 100 żądań na minutę od wersji v4” zachowuje podmiot, wartość, jednostkę i wersję. Kolejny akapit może opisać wyjątki, ale nie powinien zmieniać znaczenia liczby bez wyraźnego sygnału.

Procedura kontroli

Podziel artykuł według nagłówków, a potem przeczytaj każdy blok bez poprzedniego i następnego. Zaznacz niejednoznaczne zaimki, liczby bez jednostek, wyjątki znajdujące się daleko od reguły oraz podpis autora obecny wyłącznie w stopce. Popraw tylko fragmenty, które rzeczywiście tracą znaczenie.

Ograniczenie

Nie warto pisać strony pod arbitralny limit tokenów. Systemy stosują różne metody dzielenia i mogą je zmieniać. Celem jest logiczna modularność dokumentu, a nie mechaniczne tworzenie akapitów o identycznej długości.