Potrzebuję pomocy w użyciu kafki i avro w pythonie - podstawy. Chodzi o proste zadanie polegające na przesyłaniu i odbieraniu formatu danych w avro. Mam problem z napisaniem producera, który wysyła wiadomości.
Aby wysyłać w formacie avro muszę użyć avroproducera czy może to być kafkaproducer i w value_serializer wartośc avro.schema.parse(json.dumps(schema))) ?

#programowanie #python #kafka
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Chcę zainstalować impacket i pycrypto na starszym pythonie, ale wszystko co instaluje leci do najnowszego 3.9 i przez to nie mogę odpalić skryptów bo ten jest w starej wersji pythona. Jak w linuxie zmusić pip do instalacji na starej wersji?

#python #linux
  • 12
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hej.
W tym tygodniu zebrałem ciekawe artykuły poświęcone Type Hints w pythonie. Pierwsze pare linków jest takim wprowadzeniem do tematu, ale kolejne są już przynajmniej na poziomie średnio-zaawansowanym.
Mam nadzieje że komuś się to przyda :)

Zachęcam do subskrypcji! http://news.pynews.io/ (można tutaj zobaczyć poprzednie wiadomości)

Wstęp:
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@Wykopek_wykopek: Dobre pytanie. Jeżeli ktoś piszę jakiegoś prostego małego cruda, to może to nie mieć sensu. Ale jak piszesz np. jakąś paczkę która będzie używana przez inne zespoły w firmie, to moim zdaniem już jest sens. Wtedy te typy są bardzo dobrą formą dokumentacji, co dane funkcje przyjmują i jak działają.
  • Odpowiedz
Cześć,
Aktualnie piszę aplikację w swoim korpo, która przy użyciu selenium łączy się do toola firmowego.
Problem polega na tym, ze gdy user zrobi aktualizację przeglądarki do wyższej wersji, to chromedriver nie jest już up-to-date i cała aplikacja nie działa.
Niestety nie mogę przed rozpoczęciem toola wymusić pobierania wersji chromedrivera tożsamej z chromem, gdyż sieć wewnętrzna blokuje połączenia wychodzące. (╥﹏╥)
Ważne info: użytkownicy przy starcie systemu nei są do tej sieci
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

via Wykop Mobilny (Android)
  • 2
Aktualnie piszę aplikację w swoim korpo, która przy użyciu selenium łączy się do toola firmowego.


@w00nski: pierwsze pytanie to od kiedy się używa selenium do korzystania z jakichś tooli xD selenium służy do testowania e2e a nie do takich rzeczy. Jak potrzebujesz toola firmowego używać to napisz własny front i skomunikuj się z jego API, a nie używasz młotka jako grabi.
  • Odpowiedz
10 ORE => 10 A
1 ORE => 1 B
7 A, 1 B => 1 C
7 A, 1 C => 1 D
7 A, 1 D => 1 E
7 A, 1 E => 1 FUEL
  • 17
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@zwei: nie rob tego regexem, szkoda zachodu. zrob najpierw split po '=>', lewa strone znowu zrob split po ','. To co zostanie zrob split po spacji i bedziesz mial juz ladnie zrobione.
  • Odpowiedz
Mam taki przypadek, że potrzebuje przenieść dane z Tabeli excelowej na templatke. Dane z pojedyńczego wiersza powinny zapełnić templatke. Ma ktoś pomysł jak to najlepiej i najszybciej zrobić w moim wypadku nie ma znaczenia czy to będzie przez skrypt(python, java) czy przez zewnętrzny program. Wierszy mam około 200 więc ręczne przenoszenie jest czasochłonne.
#python #java #excel
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hej,
Macie może jakiś fajny kurs, poradnik, artykuł z którego najłatwiej zrozumieć obiektowość w pythonie. Chodzi głównie o metody, klasy, init, self itp. takie totalne podstawy obiektowości, ale żeby załapać cały sens i raz na dobre zrozumieć.
#python #testowanieoprogramowania #programowanie #programista15k #nauka #rozwojosobisty #niebieskiepaski
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Hej, czasem pisze jakieś małe skrypty w pythonie, na początku były to jakieś proste automatyzacje moich prac. Teraz jednak robi się coraz więcej kodu i pisanie w terminalu oraz edytowanie w nim zaczyna być męczące, szczególnie że ilość plików rośnie. Zainstalowałem sobie IDE pycharm, ale wszystko co dotychczas robiłem mam na maszynie wirtualnej (biblioteki, pliki itp.. ). Zastanawiam się czy można jakoś zmusić pycharm żeby przez np ssh korzystał z pythona na
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@fan99: korzystasz w jakiś usystematyzowany sposób z zarządzania zależnościami? Z takich najbardziej oczywistych rozwiązań przychodzi do głowy współdzielony plik wskazujący na wersje bibliotek (np. pyproject.toml jeśli korzystasz z poetry, albo zwykły requirements.txt dla pipa) i później albo w lokalnym virtualenvie odwzorowujesz zależności z VMa lub wręcz udostępniasz do środka maszyny wirtualnej katalog ze środowiskiem z którego tam w środku korzystasz, a jednocześnie w pycharmie wskazujesz je jako to właściwe dla
  • Odpowiedz
#scrapy #python #programowanie

siema. nie wiem gdzie robię błąd. To nie pierwszy crawler jakiego piszę ale miałem długą przerwę i gdzieś daję ciała.

chcę ściągnąć ceny z castroramy. Dla przykładu niech będą to dywany. Korzystając z biblioteki #scrapy zadaję takie pytanie:

response.xpath('//span[contains(@class,
k.....u - #scrapy #python #programowanie

siema. nie wiem gdzie robię błąd. To nie ...

źródło: comment_1636835231e29yHol9ahlIgnlpX5VkFm.jpg

Pobierz
  • 21
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Czy ktoś bardziej doświadczony mógłby mi powiedzieć czy takie wyniki Loss są dobre, czy złe? Smoothing w tensorboardzie ustawiony na 1, ale widać jak skacza wartości pod spodem
Batch size = 8,
learning rate 0.08, ale zaczyna od 0.02,
Ilość zdjęć do trenowania to ~500.
Ma wykrywać tablicę rejestracyjne.
Model to ssdmobilenetv2fpnlite320x320, chciałem "lepsze" ale mój komputer na to nie pozwala
Bocislaw - Czy ktoś bardziej doświadczony mógłby mi powiedzieć czy takie wyniki Loss ...

źródło: comment_1636830773ZJsf8baNvZLmUhU62bdM4A.jpg

Pobierz
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ProfesorBigos: w projekcie korzystam z Object Detection API od biblioteki Tensorflow, szukałem czy da się takie miary uruchomić w tensorboardzie ale ludzie napotykali ten sam problem, mam jedynie wykresy eval, jestem trochę pod ścianą bo trenowanie 10000 kroków w batch size = 8 zajmuje mi ponad godzine, a robie to juz parenasty raz bo zawsze nie wykrywa mi dobrze, nie wiem co mogę zrobić :/
Bocislaw - @ProfesorBigos: w projekcie korzystam z Object Detection API od biblioteki...

źródło: comment_1636920168QfaXafA28LB6WqG77p1pFf.jpg

Pobierz
  • Odpowiedz
Napisałem skrypt w Pythonie którego działania nie rozumiem. Może ktoś sprytniejszy ode mnie się znajdzie (to akurat nie będzie takie trudne :)) i mi powie dlaczego tak się dzieje a nie inaczej.

Mam dwa sety jeden z itemami wejściowymi i drugi pusty do którego dodaje itemy które zostały przerobione. Jako że set wejściowy zwiększa swoją wielkość w czasie iteruje itemy po tymczasowej liście z pobranymi itemami z seta wejściowego.

Po przerobieniu itema jest
  • 9
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@grejzen W linii 30 i 31 co ten if wykonuje się jest w ogole nieczytelny, a jego działanie to: co każde przelecenie tempjoblist dodaj jeden element do inset. Napisz to w prosty sposob

Jak zrobisz że kod będzie czytelny to sam znajdziesz błąd dlaczego nie działa
  • Odpowiedz
via Wykop Mobilny (Android)
  • 1
Pracuje sobie już 9 miesięcy jako programista #python, czy jest jakaś rzecz której nie można opędzić bez obiektówki? Ani jednej linii przez ten czas nie napisałem obiektowo, ale czy jest coś gdzie nie można sobie poradzić bez tego albo mocno to skróci czy ułatwi kod, jakiś przykład? #programowanie
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@bm9pY2h1ag: Nie potrzebujesz obiektów by kod miał strukturę O.o

@NewEpisode: ułatwić - tak; uczynić coś możliwym - nie. Jak jest możliwe, to i bez obiektów się da. A co do Twojego kodu, to na 100% używałeś czegoś obiektowego lub object-like, ale nie bezpośrednio.
  • Odpowiedz
Ilu migrantom udaje się jednak przedrzeć z Białorusi przez Polskę do Niemiec?

Nie widziałem takiego wykresu w żadnych mediach, więc zrobiłem go sam. Wziąłem dane niemieckiej policji o tym, ile migrantów z Białorusi, którzy przeszli przez Polskę, odnajduje się w Niemczech. Zrobiłem z nich wykres skumulowanej liczby migrantów w kolejnych datach. Kod i dane są tutaj.

Liczba migrantów, którym udaje się dotrzeć do Niemiec, to jakaś tam miara faktycznej szczelności naszej granicy. Oczywiście
tomasztomasz1234 - Ilu migrantom udaje się jednak przedrzeć z Białorusi przez Polskę ...

źródło: comment_1636723471MT0KBw0j8N7qAtiP1sfxxw.jpg

Pobierz
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Moi drodzy, bardzo prosze o pomoc jak rozwiązać dany problem. Skrypt, który będzie uruchamiany regularnie posiada dwie funkcje, pierwsza funkcja pobiera pliki do danej lokalizacji z konkretną nazwa, druga natomiast na podstawie tych plików wykonuje jakieś operacje. Szukam rozwiązania jak przekazać nazwe pliku wraz ze sciezką, która za każdym razem bedzie inna z pierwszej funkcji do drugiej. Czy wykorzystanie zmiennej globalnej, która będzie podawana jako argument w drugiej funkcji będzie ok?

#
  • 10
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@genco1: jeśli coś jest proste i działa to nie ma sensu tego utrudniać. Chyba, że zależy ci na szybkości działania, wtedy pewnie da sie coś ulepszyć, ale w tym nie pomogę bo sam mało wiem o optymalizacji kodu
  • Odpowiedz
Cześć, dostałem mały projekt w pracy w pysparku. Mała transformacja danych i wrzucenie wyników do nowej tabeli. W punktach opiszę co trzeba zrobić:
1. 4 uniony
2. Pobrać tabelę z mappingiem
3. Zrobić joina (te 4 uniony i mapping)
5. Przerobić 2 kolumny na podstawie wartości, i dodać dwie puste kolumny
4. Wykonać prostą agregacje danych -> groupby po 5 kolumnach.
  • 20
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Apache Ambari


@PiotrokeJ: To już jest kwestia samego zarządzania (wybacz ale nie mam pojęcia jak to inaczej ubrać w słowa) translacją samego SQL na MapReduce na Hadoopie.

W tym przypadku Hadoop trochę inaczej ogarnia takie zapytanie niż spark. Dlatego jak odpalasz coś bezpośrednio na hadoopie to możesz dostać wyniki (błędne lub dobre), a w sparku już
  • Odpowiedz