[FPM_]

Mirki czy istnieje jakiś program dzięki któremu byłbym w stanie wydobyć z tagu na stronie online podając tylko link do strony informacje ? Znalazłem stronę http://www.exadium.com/tools/metadata/ ale bardziej przydałby mi się stabilny program do którego mogę wrzucić masowo linki i on mi zaczyta informacje. Ktoś jest w stanie mi pomóc?

Wołam #programowanie #informatyka #komputery #html #php

[Harold]

@FPM_: poszukałbym pod "web crawler" ale nic konkretnego polecić nie mogę

[MartinoBlankuleto]

@FPM_: https://stackoverflow.com/questions/3711357/getting-title-and-meta-tags-from-external-website Ogarniasz php?

[FPM_]

@MartinoBlankuleto: niestety nie

[Ununoctium]

@FPM_: Czyli nie masz kompetnie zmiaru użyć PHP, bo chcesz aplikację okienkową... w sumie na co, windowsa? linuxa?

Nie wiem co nie pasuje Ci w serwisie który podałeś, co rozumiesz że jest "niestabilny"? Pewnie wrzuciłeś 50k adresów których takie przetworzenie zajmie pewnie z kilka godzin nawet na serwerze a ten dawmowy skrypt automatycznie odcięło po standardowych 30 sekundach? :P

[FPM_]

@Ununoctium: 1. Windowsową 2. Dokładnie tak, potrzebuje przetworzyć zdecydowanie więcej linków niż 30

[a.....o]

@FPM_: ja bym sobie skrypt w pythonie napisał

[Ununoctium]

@Ununoctium: Doprecyzuj też o jakich ilościach tych adresów mówimy. Bo jak się okaże że chcesz z domowego komputera pobrać powiedzmy 0.5M urli to też będzie fajnie, nawet okienkowa aplikacja Ci się zawiesi jak wkleisz w formatkę taką ilość linijek :P

[FPM_]

@araneo: też bym tak zrobił gdybym kiedyś się go nauczył

[Ununoctium]

@FPM_: Ja powiedziałbym nawet że na linuxie wystarczyła by jedna linijka w bashu : curl + sed

[FPM_]

@Ununoctium: ok 5k, do tej pory wykonywane to było przez wget plus program exctract link, ale jest

[Ununoctium]

@FPM_: wget? To jesteś na unixie?! To w czym problem ( ͡° ͜ʖ ͡°)

[Whipie]

@Ununoctium: @FPM_: curl -Ls wp.pl | hxselect -s '\n' -c 'title'

[FPM_]

@Ununoctium: wget w pliku .bat na windowsie, natomiast wolałbym to zautomatyzować na tyle żeby nie musieć pobierać plików na dysk i z nich zaczytywać danych

[Ununoctium]

Skoro to takie drobne ilości to faktycznie możemy olać obsługę błędów, nawet jakby Ci np. prąd odcieli i trzeba by to puścić ponownie to raczej długo nie potrwa...

[Ununoctium]

@Whipie: No my wiemy , że w bashu się da :P Kolega ma jednak najgorszy system do takich prac ;P

[Whipie]

@Ununoctium: Panie, ja to na win10 w linux subsystem testowałem ( ͡° ͜ʖ ͡°).

[Ununoctium]

@Whipie: UuuuuUuuuuUUUuuuUUUuuUUUuuUUU czyli to już faktycznie istnieje i mówisz nawet działa? :D

Dobrze wiedzieć ;) Już szukam ;d

[Whipie]

@Ununoctium: Działa, czasami się przydaje właśnie w takich momentach. Z tego co widzę nawet distro można wybrać.

[Ununoctium]

@FPM_:

natomiast wolałbym to zautomatyzować na tyle żeby nie musieć pobierać plików na dysk i z nich zaczytywać danych

No to teraz zgłupiałem... Na początku napisałeś o programie a dalej ponarzekałeś że jakbyś znał pythona to sam byś to zrobił.

Przecież taki skrypt w pythonie to dokładnie to samo co skrypt .bat

Ta lista adresów to plik który skądś pobierasz? I chcesz żeby się pobierał sam, przetwarał na title i co

[Ununoctium]

@Whipie: Prosi mnie o restart :/ A ja unikam restartów tej win10 jak ognia, nigdy nie wiadomo czy m$ nie postanowił sobie teraz #!$%@?ąć 3h updade bez ostrzeżenia ( ͡° ʖ̯ ͡°)