[KubusiowyKubus]

Ponieważ życie bez stackoverflow jest marnym życiem i może zrujnować życie niektórym programersom, od dzisiaj mam automat który backupuje mi stackoverflow na lokalny serwer - jak narazie baza 800GB i nadal rośnie. Jutro dorobię realtime do zapisywania save'ów i będzie git.

#programowanie #stackoverflow

[m.....i]

@KubusiowyKubus: W jeden dzień 800GB? U mnie to tyle ale MB zejdzie ( ͡° ʖ̯ ͡°)

[KubusiowyKubus]

@maciej-jantarski: jeden dzień

[KubusiowyKubus]

@maciej-jantarski: jeżeli Cie interesuje zaplecze technologiczne:

crawler: apache nutch
datastore: hbase,
glue: guice + guava

- całość na klastrze hadoop 10 serwerów.

[villager]

@KubusiowyKubus: mam nadzieję że zbierasz samą treść bez zbędnego htmla, bo to by była głupota xD?

[p.....t]

@KubusiowyKubus: ksiazke wydasz? ( ͡° ͜ʖ ͡°)

[Wyrewolwerowanyrewolwer]

@KubusiowyKubus: W razie apokalipsy będziesz bardziej pożądany niż jakikolwiek inny inżynier potrafiący zbudować np. radio które nie potrzebuje zasilania.
Also pokaż statystyki (ile to waży, ile jest stronek/tematów zapisanych itd).

[KubusiowyKubus]

@villager: zbieram html kontenerów pytań i odpowiedzi, następnie je parsuje na dokument dla lucene które trzyma go w hbase.

@predatorleet: Nie, to backup na wypadek końca świata i padu wielu firm programistycznych :d

[arhu]

@KubusiowyKubus: weź to jakoś fajnie udostępnij :D

[KubusiowyKubus]

@Wyrewolwerowanyrewolwer: może jakiś screen zrobię z hadoop mapreduce zrobię ;] a co do pożądania - wczoraj przeczytałem że jak padnie stackoverflow to wiekszość ludzi odejdzie z pracy to postanowiłem sobie challenge zrobić i klepnąć to - zaplecze serwerowe mam bo ciocia unia kiedys kupiła :D

[KubusiowyKubus]

@arhu: Pamietaj że ja nie google - nie będę mógł tego zrobić na zasadzie dobrej wyszukiwarki ale właśnie z tej racji chciałem zbudować indeks na lucene zeby gdyby kiedyś naszła mnie ochota to klepnąć ładnie filterki co by ładnie analizowaly kontekst pytania. Duuuużo roboty ;]

[Wyrewolwerowanyrewolwer]

@KubusiowyKubus: Czyli serwerki masz swoje?



Wracając. Myślę, że faktycznie brak stack'a czy jakichkolwiek innych stron tego typu gdzie ktoś zawsze pomoże (nawet głupie /g/) byłby bardzo uciążliwy i mógłby zredukować zatrudnienie. Może nie większość, ale zawsze coś.
Nie wiem jak to u zawodowych devów wygląda, bo ja jeszcze mleko pod nosem mam i dopiero na studia teraz idę i nie wiem czy tak samo jak ja wolę mieć jakiś kod pod

[KubusiowyKubus]

@Wyrewolwerowanyrewolwer: nie twierdze że jestem oh i ah - klepie w javie, aktualnie prowadze startup (tzn CTO od technologicznych rzeczy a nie zarządzania) z poważnym inwestorem i dla mnie niekiedy stackoverflow jest przydatne bo to może być dziwne ale czasem proste problemy wiecej mi kłopotu robią niż te zaawansowane. Ale to moja opinia

Co do gita.

[Wyrewolwerowanyrewolwer]

@KubusiowyKubus: Java bardzo przyjemnym językiem jest.
Trzymam kciuki i życzę powodzenia w rozwijaniu.

Dzięki za bucket'a. Do tej pory wiedziałem o tej akcji dla studentów i pakiecie wszystkiego od githuba i innych, ale tam trzeba dać im skan legitymacji studenckiej i używać maila uczelnianego chyba.
Właśnie ogarniam tam co i jak.

[KubusiowyKubus]

@Wyrewolwerowanyrewolwer: bitbucket masz za darmo prywatne repo. Osobiście go używam, firmowo mamy Gitlaba jako host gita + upsource na code review

[ra_s]

@KubusiowyKubus: to jeszcze xda-developers zbakapuj :)

[KubusiowyKubus]

@ra_s: może od razu google ? :D

[Wyrewolwerowanyrewolwer]

@KubusiowyKubus: Właśnie widzę. Na githubie prywatne jest chyba całkiem nieźle płatne, dobrze pamiętam?

I szybkie pytanie. Czym jest HipChat?

@ra_s: Chyba za dużo danych byłoby tam. Na xda sporo robią paczki softu.

[ra_s]

@KubusiowyKubus: przypadkiem nie zbakapuj calego internetu :)

[KubusiowyKubus]

@Wyrewolwerowanyrewolwer: github nie tak dużo bierze za prywatne repo.

HipChat to gadu-gadu/skype dla firmy z pokojami itp itd taki podrasowany xmpp

[KubusiowyKubus]

@ra_s: postaram się wykop ominiąć :D