Aktywne Wpisy
Jerycho +21
Ja ateista lvl 38 (dotychczas kawaler), moja różowa katoliczka lvl 32 (5 lat po rozwodzie) wzięliśmy wczoraj Ślub cywilny i wieczorem ustawiliśmy status, że jesteśmy małżeństwem. Wśród komentarzy znalazł się komentarz jednej skrajnie religijnej znajomej. Pic poniżej. Zacytuję Ewangelię Św. Łukasza (16:18): "Każdy, kto opuszcza żonę swoją, a pojmuje inną, cudzołoży, a kto opuszczoną przez męża poślubia, cudzołoży." Jaką ripostę byście dali do takiego komentarza?
fhgd +250
Chcę napisać aplikację, która: będzie pobierać stronę internetową (z obrazkami, CSS itd), zapisywać ją do bazy, odczytywać, wyświetlać stronę w przeglądarce.
Oczywiście prosto w Javie nie mogę tego zrobić (za pomocą HttpURLConnection, setRequestMethod("GET"), InputStreamReader) bo mam sam kod HTML (bez obrazków itd). Musiałbym ręcznie ściągać wszystkie linki, potem podmieniać w kodzie linki do nich itd.
Podobno można skorzystać z webcrawlera (ma ktoś inny pomysł?): http://java-source.net/open-source/crawlers
Ten jest profesjonalny, ale trudny (więc odpada): https://webarchive.jira.com/wiki/display/Heritrix/Heritrix
Ten jest chyba łatwiejszy: https://github.com/yasserg/crawler4j
Pod końcem jest nawet przykład ściągnięcia strony (ten kod z setCrawlStorageFolder). Tylko to mi zapisuje wszystkie pliki do folderu. Jak zrobić, żeby zapisywało to do bazy? W dokumentacji nic nie znalazłem ;/
Ręcznie zapisywać po pobraniu wszystkie pliki z folderu do bazy? A jak będę chciał wyświetlić tą stronę to znowu z bazy do tymczasowego folderu na dysku?
To chyba jest bardzo niewydajne. Nie da się tego zrobić jakoś na strumieniach (bez zapisywania na dysk)? Jakoś nadpisać tą metodę setCrawlStorageFolder (bo nie znalazłem nic w stylu setCrawlStorageDatabase).
Użyj pythona - znacznie mniej się upiszesz.
A jak w Pythonie? Też ręcznie czy są jakieś biblioteki (i łatwo z nich skorzystać? są przykłady?).
@mk321: Po co chcesz je trzymać w bazie ,aby wyświetlić potem w przeglądarce?
Nie lepiej trzymać je jako statyczne pliki na dysku a w bazie tylko identyfikatory które będziesz nadawał zapisując pliki?
są biblioteki - pisałem kiedyś crawlera w Javie i masakra z tego wyszła. A w pythonie prosty crawler już w kilkunastu linijkach kodu zamkniesz (używając choćby scrapy)
Po za tym muszę mieć to w bazie (bo chcę to móc potem przetwarzać). Odczytywanie z dysku będzie niewydajne.
@blue94: po prostu muszę w Javie i już (inżynierka, już wcześniej wybrałem).
Jeśli nie spodziewasz się nie wiadomo jakiego ruchu to może i w bazie będzie lepiej. Ja założyłem ,że pliki statyczne zawsze lepiej się keszują i jeśli masz zamiar tylko je wyświetlać to lepsze będą statyki.
Piszesz ,że chcesz je przetwarzać. Przetwarzać jednokrotnie czy wiele razy? Może się okazać ,że po przetworzeniu lepiej zrzucić
Ogólnie to ma być coś w stylu: https://archive.org/web/ (oni korzystają z Heritrixa, ale ja go nie potrafię ogarnąć, w dodatku termin mnie goni).
O NoSQL dopiero zaczynam się interesować. Nie wszystko na raz. Na razie sobie z Hibernate skorzystam.
Nie umiem tylko skorzystać z tych
Komentarz usunięty przez autora