Roboty zabijają tę stronę, generując ruch, który ciężko sprostać. O ile w robots.txt mam ustawienia, na co pozwalam crawlować, a co nie, to crawlery od OpenAI, crawlery od Mety mają to totalnie gdzieś.
Efektem jest to, że wczoraj meta wygenerował mi ponad 500 000 requestów, GPTBOT który wygenerował ponad 300 000 , co daje razem ponad





















