[ozzi91]

Chciałbym zautomatyzować pewien proces w firmie.

Narazie to wygląda tak: kod w #python odczytuje dane z pdf od zewnętrznej firmy, wyciąga to co mnie interesuje i zapisuje w tabeli w xlsx. Każdy plik xlsx ma jakby swój jeden wiersz i określone wartości w poszczególnych kolumnach. Jako że nie mam do końca wpływu co kto wpisze w pdf (plik z firmy zewnętrznej) zapis jest do Excela bo tam można szybko poprawic i poza tym każdy ma Excela.

Potem przy użyciu xlsx i korespondencji seryjnej można generować kolejne dokumenty w docx i zapisywać je. Ważny jest zapis w docx bo jakby nawet był do pdf to ludzie by się buntowali że coś chcą dopisać ale się nie da - tak dałoby się ale ludzie to beton.

Czy jest jakiś sensowniejszy sposób przechowywania scrapowanych danych niż plik xlsx? Taki user friendly jednocześnie? #programowanie #programista15k

[cz4rnuch]

@ozzi91: csv? Otworzysz w excelu a łatwiej oprogramować, bo na bazach rozumiem nie chcesz pracować? Wszystko zależy od tego jakie to dane i co dokładnie chcesz z nimi robić. Można też skorzystać z notepad++ do wywalenia duplikatów lub innych gotowych funkcji. Możesz też używać atoma i tam masz większe pole do popisu. Format danych jest kwestią drugorzędną imho

[programista15cm]

@ozzi91: etle, bazy danych, hurtownie danych... Pytanie co rozumiesz przez sensowniejszy, co chcesz osiągnąć i dlatego uważasz, że coś jest nieoptymalne.

[ozzi91]

@cz4rnuch @programista15cm csv jak się otwiera "normalnie" to jest nieczytelny. Bazy danych odpadają z dwóch powodów, jeden to moje umiejętności do zaprogramowania tego a drugie to przekonanie mentalnego betonu do używania czegoś innego niż xlsx. Prędzej się zwolnie niż ich przekonam.

Obczajalem sobie sqlite i do tego taki programik db browser for sqlite. Dla mnie by to było idealne ale dla reszty za trudne. Nauczeni stare dziady i nie chcą

[programista15cm]

@ozzi91: ale nie odpowiedziałeś na fundamentalne pytanie. Po co chcesz to zmieniać, co chcesz osiągnąć, co ci teraz przeszkadza

[ozzi91]

@programista15cm każdy pracownik plik xlsx uzupełnia ręcznie i układ kolumn ma inny. Wprowadzając automatyzację byłby to dobry czas na ustalenie jednego schematu a w związku z tym może i pójścia krok dalej tak jak pisaliście czyli w stronę może bazy danych

[cz4rnuch]

możesz trzymać dane jak chcesz a dla dziadów generować plik na koniec, chyba że musisz potem ewentualne zmiany zapisać
czy na bazie czy na excelu kodzenia raczej będzie tyle samo, pytanie ile tych danych będziesz trzymał, jak często będziesz potrzebować historycznych danych itp.
jak pracujesz tylko na aktualnych danych i historia Cię nie interesuje to spokojnie możesz zostać na excelu. Gorzej jakbyś chciał potem jakieś zestawienia porobić itp., ale wszystko jest do

[ozzi91]

@programista15cm a skoro mam zmieniać to może na coś najbardziej optymalnego nowoczesnego i uniwersalnego

[programista15cm]

to może na coś najbardziej optymalnego nowoczesnego i uniwersalnego

@ozzi91: no czyli potrzebujesz ETL i stage hurtowni tylko jednocześnie piszesz że się nie znasz, więc nie wiem.... Możesz mnie zatrudnić 160/h

[saviola7]

160/h

@programista15cm: Pewnie chce jeszcze taniego. ( ͡° ͜ʖ ͡°)

[Saly]

Czy jest jakiś sensowniejszy sposób przechowywania scrapowanych danych niż plik xlsx? Taki user friendly jednocześnie?

@ozzi91: SQLite jest taką bazą danych, tylko trzymaną w jednym pliku. Możesz też integrować się z excelem https://www.devart.com/odbc/sqlite/excel-sqlite-odbc-connection.html

[zibizz1]

@ozzi91 Excel to najlepszy format jesli sa to dane do ogarnięcia a jesli sa z dokumentów to na pewno sa

[80kg]

@ozzi91: Poproś firmę zewnętrzną o plik XML z tego pdfa. Bo pewnie to generują jakimś systemem więc im łatwiej to zaimplementować niż żebyś to robił sam.

[ozzi91]

@programista15cm: nie no, skodzenie tego to cel sam w sobie, uczę się programowania. @saviola7 darmowego czyli mnie
@Saly poczytam
@zibizz1 no chyba się zaprzyjaźnię z excelem
@80kg nie ma opcji, za duży moloch

[programista15cm]

@ozzi91: no to się ucz programowania, a business intelligence o które pytasz to zostaw specjalistom ( ͡° ͜ʖ ͡°)

[blacktyg3r]

@ozzi91: miej swoją bazę danych do pracy a 'dziadkom' wysylaj wygenerowane pliki.

Jesli chcesz zostac w pythonie moglbys zapoznac sie z Django, z bazami danych do podstawowych rzeczy nie musisz miec niemal nic wspolnego, out of the box dostajesz lokalny serwer http z interfejsem etc.

Sorry jeśli popłynąłem, ale doczytałem że chcesz się uczyć i ja zrobiłem właśnie tak parę lat temu (byłem już po 30tce, zero doświadczenia) - python

[arysto2011]

@ozzi91: AWS textract?

[ozzi91]

@arysto2011 doczytam

[ozzi91]

@blacktyg3r dzięki!