Jak duża jest obecna wikipedia? Niech za odpowiedz posłuży fakt, że proste obrabianie zrzutu wiki angielskiej, tylko w najnowszej wersji (podstawowa tokenizacja, czyli troche regexpow) na skompresowanym dumpie zajeła na 16 procesorowej maszynie z 212GB RAMu - 2h, a czego ok 80% to rozpakowanie i parsowanie XMLa.
#ciekawostkiwlasne #takietam #datascience dla ubogich ( ͡° ͜ʖ ͡°)