[Moonman]

pytanie #sqlite #python

mam taki kod:

 for followers_list in api.get_profile_followers(username, page=i):
 c.execute ("INSERT INTO obserwuja VALUES (?)", [followers_list["login"]])

w jaki sposób zrobić żeby dane otrzymywane z api były sprawdzone pod względem duplikatów i dopisane zostały tylko nowe lub usunięte z bazy te których nie otrzymałem?

[PiTcA]

@Moonman najszybciej to wyczyscic baze przed insertowaniem :P

[Moonman]

@PiTcA: no to mi akurat nie pomoże bo chodzi o monitorowanie sobie obserwujących na mirko, kto mnie odsubował kto zasubował itp.

[D.....1]

@Moonman: najprostszy sposób (nieekonomiczny ale nie będziesz miał setek tysięcy danych więc nie są Ci potrzebne lepsze chyba że dla satysfakcji), przed executem do wprowadzenia danych komenda w stylu
if followers_list["login"] not in obserwuja:

[Moonman]

@Daroo1: też o takim rozwiązaniu myślałem ale później chciałbym printować sobie różnice i to chyba w ten sposób nie zadziała (chyba że jeszcze nie wpadłem na pomysł jak to ogarnąć), co do satysfakcji - będzie jak mi się uda cały projekt skończyć bo to będzie pierwsze co po ukończeniu tutorialu w miarę sam napisałem :)

[biwalencik]

@Moonman Jeśli api zwraca słownik ( na to wygląda), użyj biblioteki collections i struktury defaultdict. Dane do bazy wrzuc za pomocą orma jakiegos.

[Moonman]

@biwalencik: zapoznam się z tym i nie ukrywam że czuje się przytłoczony tym co napisałeś bo wychodzi na to że cały kod będę musiał napisać od zera i pobierać dane za pomocą collections z defaultdict i później to jakimś sqlalchemy wrzucać do bazy tak? - staram się upewnić czy dobrze zrozumiałem ;)

[biwalencik]

@Moonman nie musisz. Jesli preferujesz skakanie z pythona do Sqla. Ale co jesli postanowisz zmienic baze danych na postgres, albo cis innego?
Wtedy masz piekny, obiektosy kod w pythonie i podmieniasz tylko jrdna linijke.

Ormy pozwalaja na zachowanie kodu w niemal idenrycznej postaci. Zmieniasz tylko silnik komunimacji z baza. Latwei male jest peewee. Sqlite alchemy na potem :-)

Ale defaultdict sobie postudiuj. Caly modul collecrions to perelka.

[Moonman]

@biwalencik: no to spróbuję to ogarnąć twoim sposobem i zaraz okaże się że trzeba było tak od początku robić, a nie szukać dziwnych rozwiązań typu ładowanie X stron za pomocą for i in range :D

[biwalencik]

@Moonman bingo

[Moonman]

@biwalencik: w razie pytań i problemów mogę do ciebie pisać? ;)

[biwalencik]

@Moonman jasne, pisz...

[biwalencik]

@Moonman : Jak już zauważyłeś, moje palce nie nadają się absolutnie do pisania na androidowym ekranie dotykowym wielkości 5''. Dlatego, kiedy pisze z andka, popełniam masę literówek, które głupi słownik przeinacza czasami na kosmiczne słowa. Ale mam nadzieję, że sedno wypowiedzi pozostaje zrozumiałe.

[Moonman]

@biwalencik: zaraz do tego siadam, mam nadzieje że nie jest jakieś skomplikowane bo wcześniej tylko rzuciłem pobieżnie okiem

[biwalencik]

@Moonman peewee ma możliwość zbudowania modelu w oparciu o istniejacą bazę danych.

[Moonman]

@biwalencik: aktualnie jestem na etapie zrozumienia defaultdicta, a dokładnie jak go użyć żeby pobrać dane z api :)