[B.....e]

#drony #programowanie #python

Pora na update z dronem ( ͡° ͜ʖ ͡°)

Skrypt powoli zaczyna działać, śledzi twarz człowieka ALE jest jedno wielkie ALE.
Nie wiem czemu dane video przesyłane przez tcp z drona (na co nie mam wpływu) przychodzą z ogromnym opóźnieniem i działa to bardzo źle. Próbowałem odpalać bezpośrednio przez ffplay ale to samo.

Dziwne to jest szczególnie dlatego że na oficjalnej apce mobilnej obraz jest bardzo płynny i na żywo - a też muszą używać TCP do komunikacji z dronem (przeskanowałem porty).

No i mam teraz problem, czy to jest:
a) wina maca jako hardware?
b) wina macos jako systemu?
c) brak codecow jakiś?
d) ogólny problem z tcp a oni na mobilce jakoś to obeszli.

Ale walczę z tym dalej, może ktoś będzie miał pomysły jak to ogarnąć. Przy okazji #pokazmorde z próbnego lotu, działa to już jakoś ale te opóźnienia wszystko psują :(

Paskudny tymczasowy kod: https://github.com/Boquete/parrot-slam/blob/master/video_capture.py

[piszczalka]

@Boquete: Daj linka do aplikacji mobilnej.

Parroty streamują chyba po RTP. Nie używałem nigdy OpenCV, ale o ile dobrze pamiętam można tam jako backendu użyc gstreamera lub ffmpeg. Jeśli chodzi o gtreamera i RTP, to należy ustawić parametr latency=0.
Wcześniej możesz przetestować gstreamerem na desktopie, polecenia gst-play lub gst-launch z parametrem latency=0. Będziesz wiedział, czy opóźnienie będzie mniejsze i czy jest spowodowane przez np. przetwarzanie w OpenCV. W tym momencie tyle

[B.....e]

@piszczalka: https://play.google.com/store/apps/details?id=com.parrot.freeflight&hl=pl

W dokumentacji jest TCP stream. Spróbuje jeszcze gstreamera bo w ffmpeg odpalałem prze ffplay i ten sam lag co w opencv

[B.....e]

@piszczalka: A video stream is sent by the AR.Drone to the client device on port 5555 (UDP for AR.Drone 1.0 , TCP for AR.Drone 2.0 ). Images from this video stream can be decoded using the codec included in this SDK. Its encoding format is discussed in section 7.2.

7.3 The AR.Drone 2.0 video stream
The AR.Drone 2.0 use standard video codecs, with a custom encapsulation for managing the network stream

[fotograf_warszawiak]

@Boquete: opóźnienie to raczej kwestia bufora po twojej stronie. Zmniejsz go.

[B.....e]

@fotograf_warszawiak: zmniejszyłem bufor w opencv na 3 niestety nadal słabiutko to wygląda :/

[l.....i]

ogólny problem z tcp a oni na mobilce jakoś to obeszli.

@Boquete: pewnie zamienili TC na UD

[B.....e]

@luzny_lori: no ale to leci z drona wiec klient ci nie zmieni raczej (?)

[l.....i]

@Boquete: a to ten sam interfejs co producent w mobilce używa? generalnie tcp do przesyłania strumienia wideo to mi coś nie za bardzo pasuje, ale moja wiedza w tym temacie jest bliska nikłej (no to się wypowiem XD)

[B.....e]

@luzny_lori: no tak powinno byc udp i powinno byc w 1gen.

Tak, to leci po wifi tak samo jak odbieram to ja, więc na mobilce jest to samo

[fotograf_warszawiak]

@Boquete: raczej chodzi o bibliotekę, którą odbierasz stream.

[piszczalka]

no ale to leci z drona wiec klient ci nie zmieni raczej (?)

@Boquete: A aplikacji mobilnej wykorzystują SDK do przechwytywania wideo.

[B.....e]

@piszczalka: w sensie?

[piszczalka]

@Boquete: Pownienem doprecyzować. W większości wykorzystują ARDrone_SDK. Soft, który sami napisali. W kodzie znalazłem też ffmpeg. Nie bardzo rozumiem do czego go wykorzystują.
https://developer.parrot.com/docs/SDK3/
lub
https://developer.parrot.com/docs/SDK2