[69inch]

Czy da się podzielić wiadomość odebraną z REST API na partycje?
Chcę zrobić request REST API w #python z użyciem biblioteki requests. Odpowiedź jakiej spodziewam się uzyskać będzie spora, kilkaset tysięcy linii. Uzyskaną odpowiedź chcę zapisać w bazie danych, jedna linia - jeden rekord w bazie. Chcę zabezpieczyć się na wypadek utraty połączenia z serwerem. Czy da się odpowiedź podzielić na partycje z ustawieniem czegoś w rodzaju checkpointu, tak, że w razie zerwania połączenia z serwerem będę mógł rozpocząć odbieranie odpowiedzi nie od początku ale od momentu gdzie nastąpiło zerwanie połączenia?
#programowanie #api #rest

[archvile]

@69inch: http tak nie działa. Musiałbyś API dostosować do tego: paginacja/kursor. Albo czytając odpowiedź dostosuj klienta żeby np nie e duplikowal wierszy.

[malpi]

@69inch: @archvile: http ma mechanizm przesyłania fragmentów odpowiedzi i retransmisji wybranych fragmentów. Słowa klucze: HTTP 206 Partial Content, Content-Range, Range.

Niestety nie wiem czy REST API przewiduje wykorzystanie pow. mechanizmów http.

[69inch]

@archvile
@malpi
Hmm, dostosowanie klienta w ten sposób to nie problem, ale chciałbym uniknąć sytuacji, gdzie połączenie zostaje zerwane i muszę wszystko od nowa czytać, bo to by trwało mega dużo czasu. Myślałem też o streamowaniu requestu i iteracji po odpowiedzi ale to nadal nie rozwiązuje problemu checkpointów

[archvile]

@69inch: za każdym razem byś musiał czytać od nowa. Content range to jest jakieś rozwiązanie ale API trzeba i tak dostosować

[Verbatino]

@69inch: Zgodnie z tym co napisał @archvile nie istnieje taki mechanizm jak domyślny batching. Musisz dostosować API.
Google zrobiło sobie takie rozwiązanie, ale ono też nie jest perfekcyjne: https://developers.google.com/drive/api/guides/performance#partial-response