[mariusz-laszczka]

#python #django

Chcę zrobić aplikację w ramach nauki, która będzie się łączyła z jakąś stroną (np. z ofertami hoteli), wyszukiwała atrakcyjne oferty w danych datach. Zrobiłem sobie to w #selenium (taki bot, który skanuje podane Państwa i znajduje najtańsze oferty w danych datach, zapisuje je do listy).

Chciałbym zrobić teraz stronę w Django, która by zawierała formularz i działała na tej samej zasadzie. Możecie mnie naprowadzić jak to najlepiej zrobić? ( ͡° ͜ʖ ͡°)

[E.....n]

Zacząć pisać :)

Jako pierwszy krok spróbowałbym zintegrować się z istniejącym API - wydaje się to najprostsze na start. Drugim krokiem będzie "scraping" za pomocą requests / scrapy lub innych rozwiązań i wrzucanie tych danych do bazy danych.

1. Tworzysz model
2. Zbierasz dane z dostępnego/dostępnych API
3. Wchodzisz na poziom wyżej i zbierasz danych przez parsowanie strony.

[mariusz-laszczka]

@Efrin: Dzięki wielkie za odpowiedź. Myślisz, że coś takiego ma sens:
-> Selenium skanuje booking.com szukając najtańszych hoteli (co 15min), które umieszcza w bazie
-> Django pobiera dane z bazy i generuje raporty
-> Wszystko to umieszczone jest w chmurze (AWS).

Niestety booking nie ma dostępnego api :(

[Budek24]

@mariusz-laszczka: Nie ma api, ale udostępnia bazę danych ;)

[mariusz-laszczka]

@Budek24: możesz rozwinąć temat?
Czy mój pomysł jest w ogóle poprawny? Selenium może służyć do takich operacji? Jest to jakieś wyjście?

[Budek24]

@mariusz-laszczka: https://www.booking.com/general.html?tmpl=docs/partners_affiliate_help

[E.....n]

-> Wszystko to umieszczone jest w chmurze (AWS).

@mariusz-laszczka:

Do rozwijania tego nie potrzebujesz AWS. Na start lepiej kupić VPS na

[RobotKuchenny9000]

@mariusz-laszczka Będziesz musiał też żeby to miało ręce i nogi zintegrować z Django jakiś silnik wyszukiwania jak Solr.

[mariusz-laszczka]

@Efrin: @RobotKuchenny9000: Dzięki za odpowiedzi. Czyli ostatecznie Selenium nadaje się do takich operacji? Mogę zaczynać? ( ͡° ͜ʖ ͡°)

[E.....n]

Zależy od twojego doświadczenia :) Według mnie selenium w tym przypadku nie jest odpowiednie, ale z pewnością będzie ci z nim łatwiej załapać o co chodzi.

Celowałbym w standardowe biblioteki pythonowe: urlib (z python) lub requests + lxml / beautifulsoup lub alternatywnie dla selenium np. mechanize