[Dar_Q]

Hej #programowanie doradźcie! Z pewnego dużego portalu e-commerce (za pomocą #python najprawdopodobniej) będę zbierał dane o produktach - chcę sprawdzać cenę, ilość sprzedanych produktów i jeszcze kilka dodatkowych parametrów. Będę robił to cyklicznie, na dłuższą metę.

Wstępnie strzelam, że będzie ok 100k rekordów. Oczywiście z tych danych będę chciał generować jakieś zestawienia, analizy.

No i pytanie - stawiać własną bazę danych (jaką konkretną technologię wybrać?) czy korzystać z Azure czy Google Cloud, czy jakieś Heroku albo coś jeszcze innego?

Moje pojęcie o bazach danych nie jest duże a chcę wybrać mądrze na początku, żeby później nie musieć się męczyć.

Pozwolę sobie jeszcze zawołać #bigdata i #sql z racji rozeznania w temacie baz danych.

[filozof900]

@Dar_Q dla takiej ilości rekordów może być nawet sqlite

[Budek24]

@Dar_Q: To, że tyle danych nie zmieści ci się w excelu to nie znaczy, że to #bigdata

Polecam Postgresa :)

[Dar_Q]

@Budek24: Doskonale wiem, że to nie bigdata, dlatego napisałem, że wołam ze względu na rozeznanie w temacie baz danych ( ͡° ͜ʖ ͡°)

[Budek24]

@Dar_Q: To był tylko taki heheszek :)

[alex-fortune]

@Dar_Q: postaw mysqla byle jakiego i zbieraj, 100k to jest nic

[masterix]

@Dar_Q: wybierz taką, jak Ci wygodnie, i z którą najlepiej się czujesz pracując.

[Dar_Q]

@masterix: Jeszcze nie wiem, z którą będę czuł się najlepiej, bo nie mam doświadczeń, dlatego nie chciałbym wtopić już na wstępie :)

[masterix]

@Dar_Q: Myślałem, że cokolwiek działałeś z bazami. Pewnie na start cokolwiel typu MySQL/Postgres będzie ok.

[Qrystus]

@Dar_Q: To chyba najprzyjmniejszy i najłatwiejszy będzie SQL Server Express.

Nie mówię, że najlepszy, ale do 100 000 spokojnie będzie śmigać.

[sometwo]

@Dar_Q 100k to w cobolu przerobisz na pegasusie:D tak na serio to wystarczy gowno serwer na tyle rekordow przy kiepskiej optymalizacji takze nie boj zabki:)

[Crisu]

@Dar_Q 100k to nic. PgSQL na miekko

[plushy]

@Dar_Q: Chcesz nic nie płacić to stawiaj sam, chcesz mieć dostęp wszędzie to bierz chmurę.

[sylwke3100]

Wstępnie strzelam, że będzie ok 100k rekordów. Oczywiście z tych danych będę chciał generować jakieś zestawienia, analizy.

@Dar_Q: Moja baza wszystkich linii i tras autobusowych mająca 1,5 mln rekordów w Sqlite zajmuje 32 MB więc to naprawdę mało na #bigdada

[Dar_Q]

@Crisu: @sometwo: @Qrystus: @masterix: @Budek24: OK, wezmę jednak Sqlite, wygląda najsensowniej do moich potrzeb - dzięki za rady!
@sylwke3100: Super, dzięki za info! Używasz jakiegoś programu do łatwego administrowania/przeglądania czy wszystko robisz ręcznie SQLem?

[Budek24]

@Dar_Q: SQLAlchemy? DjangoORM? :>

[sylwke3100]

@sylwke3100: Super, dzięki za info! Używasz jakiegoś programu do łatwego administrowania/przeglądania czy wszystko robisz ręcznie SQLem?

@Dar_Q: Ja generalnie przetwarzam tą baze skryptami w Pythonie i od razu generuje co potrzebuje

[fledgeling]

@Budek24: 100k spokojnie mieści się w Excelu; na lepszym komputerze dopiero koło 300k zaczyna mulić (zależy od danych), ale wymyślili teraz Power Pivot, który pozbywa się też ograniczenia 1M wierszy i to trochę taki Access ( ͡° ͜ʖ ͡°)

[J.....e]

@sylwke3100: Ej, zajebiste, zainspirowałeś mnie ( ͡° ͜ʖ ͡°)

[J.....e]

@sylwke3100: Jeśli można zapytać, do czego tego używasz, i skąd zbierasz dane? Scrapujesz strony z rozkładami jazdy?

[sylwke3100]

@JohnD0e Używam głównie do robienia statystyk komunikacyjnych dla siebie oraz dla wygenerowana takiego czegoś

Czas oczekiwania na Autobus

https://goo.gl/maps/4wzJWXGDqRS2

Z tym że lokalizację przystanków pobrałem z Open Street view

A co do drugiego pytania to mam skrypt co prosto ze strony przewoźnika pobiera wiele stron na raz o je przetwarza w kilku "wątkach"

[J.....e]

@sylwke3100: Dzięki, dorzucę sobie do mojego #notsobigdata w wolnym czasie