Czym jest context engineering i dlaczego jest ważny?
Problem - ludzie traktują modele jak wyszukiwarki. Wrzucają całą dokumentację do contextu i liczą że GPT sam się zorientuje co jest istotne. Tymczasem model czyta sekwencyjnie i nadaje większą wagę informacjom które pojawiają się wcześniej.
Kluczem jest hierarchia informacji. Budując system do obsługi reklamacji, nie zaczynasz od misji firmy z 2015 roku, tylko od konkretnych procedur: jakie dokumenty są wymagane, kto je weryfikuje, w jakich terminach. Model potrzebuje faktów. Tylko tyle.
Drugi aspekt to ograniczenia techniczne. 128k tokenów to nie jest “unlimited context” jak myśli większość ludzi. Szczególnie gdy dochodzą historie konwersacji i metadata. Trzeba świadomie wybierać co włączyć do kontekstu w danym momencie.
Najczęstszy błąd to “dump and pray” - wyrzucenie wszystkiego i liczenie na cud. Druga skrajność to zbyt mało informacji. Model halucynuje gdy nie ma danych, ale też gdy ma za dużo i nie może odróżnić signal od noise.
Context engineering to proces iteracyjny. Pierwszy prompt nigdy nie jest idealny. Testujesz różne układy informacji, mierzysz jakość odpowiedzi, poprawiasz. To wymaga systematycznego podejścia, nie intuicji.
Praktyczny przykład: zamiast podać model 50-stronicowy dokument i zapytać o szczegół z 30 strony, wyciągasz relevantne sekcje, zachowujesz kontekst i podajesz w logicznej kolejności. Różnica w jakości odpowiedzi będzie ogromna.
@JamesJoyce myślę że mówienie o LLMach osiągnie taki poziom złożoności, że nikt z szarych użytkowników tego nie będzie rozumiał. Będą pojawiali się fachowcy którzy będą używali śmiesznych i mądrych słów. W ostatniej fazie pojawią się firmy które będą organizować szkolenia z pisania do komputera. A ciemny lud będzie to łykał.
@kartofel wiesz co już obecnie jest wielki problem z pomiarami wyników i generowania wyjaśnień modeli opartych na transformerach. Używa się np. takich pojęć jak observability itd ale czy to coś daje? Nie wiem
Czym jest context engineering i dlaczego jest ważny?
Problem - ludzie traktują modele jak wyszukiwarki. Wrzucają całą dokumentację do contextu i liczą że GPT sam się zorientuje co jest istotne. Tymczasem model czyta sekwencyjnie i nadaje większą wagę informacjom które pojawiają się wcześniej.
Kluczem jest hierarchia informacji. Budując system do obsługi reklamacji, nie zaczynasz od misji firmy z 2015 roku, tylko od konkretnych procedur: jakie dokumenty są wymagane, kto je weryfikuje, w jakich terminach. Model potrzebuje faktów. Tylko tyle.
Drugi aspekt to ograniczenia techniczne. 128k tokenów to nie jest “unlimited context” jak myśli większość ludzi. Szczególnie gdy dochodzą historie konwersacji i metadata. Trzeba świadomie wybierać co włączyć do kontekstu w danym momencie.
Najczęstszy błąd to “dump and pray” - wyrzucenie wszystkiego i liczenie na cud. Druga skrajność to zbyt mało informacji. Model halucynuje gdy nie ma danych, ale też gdy ma za dużo i nie może odróżnić signal od noise.
Context engineering to proces iteracyjny. Pierwszy prompt nigdy nie jest idealny. Testujesz różne układy informacji, mierzysz jakość odpowiedzi, poprawiasz. To wymaga systematycznego podejścia, nie intuicji.
Praktyczny przykład: zamiast podać model 50-stronicowy dokument i zapytać o szczegół z 30 strony, wyciągasz relevantne sekcje, zachowujesz kontekst i podajesz w logicznej kolejności. Różnica w jakości odpowiedzi będzie ogromna.
Polecam źródło do nauki:
https://www.promptingguide.ai/guides/context-engineering-guide