[mariusz-laszczka]

#python #django

Chcę zrobić aplikację w ramach nauki, która będzie się łączyła z jakąś stroną (np. z ofertami hoteli), wyszukiwała atrakcyjne oferty w danych datach. Zrobiłem sobie to w #selenium (taki bot, który skanuje podane Państwa i znajduje najtańsze oferty w danych datach, zapisuje je do listy).

Chciałbym zrobić teraz stronę w Django, która by zawierała formularz i działała na tej samej zasadzie. Możecie mnie naprowadzić jak to najlepiej zrobić? ( ͡° ͜ʖ ͡°)

[E.....n]

Zacząć pisać :)

Jako pierwszy krok spróbowałbym zintegrować się z istniejącym API - wydaje się to najprostsze na start. Drugim krokiem będzie "scraping" za pomocą requests / scrapy lub innych rozwiązań i wrzucanie tych danych do bazy danych.

1. Tworzysz model
2. Zbierasz dane z dostępnego/dostępnych API
3. Wchodzisz na poziom wyżej i zbierasz danych przez parsowanie strony.

[mariusz-laszczka]

@Efrin: Dzięki wielkie za odpowiedź. Myślisz, że coś takiego ma sens:
-> Selenium skanuje booking.com szukając najtańszych hoteli (co 15min), które umieszcza w bazie
-> Django pobiera dane z bazy i generuje raporty
-> Wszystko to umieszczone jest w chmurze (AWS).

Niestety booking nie ma dostępnego api :(

[Budek24]

@mariusz-laszczka: Nie ma api, ale udostępnia bazę danych ;)

[mariusz-laszczka]

@Budek24: możesz rozwinąć temat?
Czy mój pomysł jest w ogóle poprawny? Selenium może służyć do takich operacji? Jest to jakieś wyjście?

[Budek24]

@mariusz-laszczka: https://www.booking.com/general.html?tmpl=docs/partners_affiliate_help

[E.....n]

-> Wszystko to umieszczone jest w chmurze (AWS).

@mariusz-laszczka:

Do rozwijania tego nie potrzebujesz AWS. Na start lepiej kupić VPS na OVH.

Przede wszystkim zacznij od rozwijania aplikacji lokalnie, naucz się systemów kontroli wersji (np. git lub już nieco zapomniany mercurial), postaw lokalnie PostgreSQL - jak to dobrze ogarniesz to wtedy myśl o wrzuceniu swojego projektu na VPS.

Pamiętaj by nie zostawiać DEBUG = True na serwerach testowych/produkcyjnych. Wśród klientów z

[RobotKuchenny9000]

@mariusz-laszczka Będziesz musiał też żeby to miało ręce i nogi zintegrować z Django jakiś silnik wyszukiwania jak Solr.

[mariusz-laszczka]

@Efrin: @RobotKuchenny9000: Dzięki za odpowiedzi. Czyli ostatecznie Selenium nadaje się do takich operacji? Mogę zaczynać? ( ͡° ͜ʖ ͡°)

[E.....n]

Zależy od twojego doświadczenia :) Według mnie selenium w tym przypadku nie jest odpowiednie, ale z pewnością będzie ci z nim łatwiej załapać o co chodzi.

Celowałbym w standardowe biblioteki pythonowe: urlib (z python) lub requests + lxml / beautifulsoup lub alternatywnie dla selenium np. mechanize