Wpis z mikrobloga

@reddigg: To będzie chyba 202 komentarz na tym konkretnym wyko-śledziku, no i jak się zdaje wywołałeś jak dotąd tutaj najdłuższą dyskusję :D.

Za coś takiego to chyba jakiś order powinieneś dostać ^^.
@FlaszGordon: @Deszcz_kotletow: @Krzysiek1203_88: W zaufaniu wam powiem że moja "baza" rośnie i że warto jeszcze poczekać. Sprawę nieco skomplikował mi skomplikowany system luster Wykopowego API, który nie dał mi pełni możliwości tego co chciałem przeprowadzić. Napisałem własne API ;)

Musicie uzbroić się w cierpliwość, warto. Dla zainteresowanych potem mogę opublikować te skrypty ;)
site:wykop.pl = About 2,030,000 results

Stron, które musiałeś wczytać, tyle nie będzie, gdyż informacje się duplikują. Ale i tak zassałeś dużo.

Masz jakieś chody u administracji, ze Ci IP skryptu nie poblokowali? ;)
@100piwdlapiotsza: Wspomniane było, że to skrypt, więc nie sądzę, aby to było jakiś program do robienia mirrora strony. Bardziej spodziewałbym się parsowania stron w locie, aby na wyjściu mieć już od razu tylko potrzebne dane.
@100piwdlapiotsza: Jeśli oglądałeś Social Network, to było tam pokazane, jak się taki content najszybciej i najprościej pozyskuje. Kilka godzin na stworzenie skryptów dla poszczególnych stron, a potem kilka dni (jak widać na przykładzie reddigg'a) na ich "pracę".