Wszystko

Najnowsze

Archiwum

bakayarou
  • 16
nsfw
Treść przeznaczona dla osób powyżej 18 roku życia...
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
famir96
famir96
  • 0
Mireczki nie mogę tego zczaić ani wyguglać precyzyjnej odpowiedzi. Kafka używa kolejki do wrzucania wiadomości czy topicu? Jaką strukturą jest w takim razie topic? Czy może to jest jakieś połączenie jednego i drugiego?

#programista15k #programowanie #java #kafka
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
tylko_zerknalem
tylko_zerknalem
  • 2
@famir96: W tym kontekście pojęcie "kolejka" i "topic" oznaczają abstrakcję, a nie strukturę danych. Może się zatem okazać że do implementacji topiku (abstrakcji) użyta będzie kolejka (struktura), lub nawet wiele kolejek co prawdopodobnie ma miejsce w Kafce (mamy ordering na poziomie partycji, więc można przypuszczać że 1 partycja == 1 kolejka).
  • Odpowiedz
tylko_zerknalem
tylko_zerknalem
  • 2
@famir96: Jeżeli chodzi natomiast o samą różnicę między kolejką a topikiem (jako abstrakcjami), to ta pierwsza zakłada że konkretna wiadomość zostanie przetworzona tylko przez jednego adresata, po czym zostanie usunięta z kolejki. To drugie z kolei dopuszcza przetwarzanie tej samej wiadomości przez wielu adresatów, lub wielokrotne przetwarzanie przez tego samego adresata.
  • Odpowiedz
pyroxar
  • 0
Czy ma ktoś jakaś działającą konfigurację Kafka Kraft w klastrze na kilku maszynach?

Wszystko startuje, mogę tworzyć topiki, zapisywać i czytać, ale działa ale osobno. Po prostu nie wiem, co robię nie tak.
Wyczyściłem maszyny, więc to nie zaszłości konfiguracji.

Wszystko działa na tej konfiguracji:
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Lifelike
  • 11
31 maja 2022 r. nakładem wydawnictwa Officyna ukaże się nowe wydanie "Dzienników" Franza Kafki.
Po co nam kolejny Kafka? Choćby po to, by przekonać się, że wbrew pozorom wcale go dobrze nie znaliśmy. Przygotowując "Dzienniki" do druku po raz pierwszy, wydawcy pośmiertnej spuścizny pisarza znacząco zmodyfikowali wszystko, co ich zdaniem „psuło” tekst. Co zaś wydawało się błahe, banalne, nieistotne – po prostu usuwali. Kompletne niemieckie wydanie "Dzienników", w wersji zgodnej z rękopisami, ukazało
Lifelike - 31 maja 2022 r. nakładem wydawnictwa Officyna ukaże się nowe wydanie "Dzie...

źródło: comment_1653136765SV3ycLY0aumUOqe5GlS9GX.jpg

Pobierz
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
sophisticated7
  • 0
Hello, jest tu jakiś magik od RabbitMQ?

Korzystajac z docker-compose postawiłem Rabbita na dwoch klastrach (3 nody per cluster). Teraz chce dodac federacje, na jedenym z clustrow federation ma status running. Na drugim clustrze jest
"Error detail: econnrefused"

version: '3.8'
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Queen14K
Queen14K
  • 0
Potrzebuję pomocy w użyciu kafki i avro w pythonie - podstawy. Chodzi o proste zadanie polegające na przesyłaniu i odbieraniu formatu danych w avro. Mam problem z napisaniem producera, który wysyła wiadomości.
Aby wysyłać w formacie avro muszę użyć avroproducera czy może to być kafkaproducer i w value_serializer wartośc avro.schema.parse(json.dumps(schema))) ?

#programowanie #python #kafka
  • 5
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
j.....6
j.....6
  • 3
@MrFisherman: nauka Kafki z kursów to jak nauka pływania w wannie, znajdź projekt jakiś gdzie Kafki używają najlepsza opcja imo i jak działa to na prodzie, począwszy od topologii poprzez partycje i failover strategy. A jak chcesz się samemu nauczyć to napisz może jakiegos prostego, może być nawet konsolowy manager do Kafki z poziomu Javy. Więcej samemu ciężko się coś pouczyć

No i strona confluent io poczytaj
  • Odpowiedz
Generyczny_nick
Generyczny_nick
  • 3
Mireczki mam pytanie czym zastąpić kafkę w infrastrukturze mikroserwisowej?
Problem w tym, że kafka jest zbyt grubym i problematycznym narzędziem a sumarycznie tych eventów które przez nią przechodzą jest bardzo mało (szacuję w porywach do 100 dziennie).

Zastosowanie np. rabbitmq raczej nic nie zmieni bo to analogicznie jak z kafką: armata na wróbla.

Może możecie polecić jakąś ultralekką i szybką implementację message brokera?
  • 9
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
p.....2
p.....2
  • 0
Koliedzy, jak mam se api, do którego se strzelam RESTem i ciałbym se zasymulować z tego strumienie danych to jak najlepiej to zrobić?
Na githubie inni robili:
while(true) { GET http://... } i wrzucali to do Kafki.

Może jakoś lepiej by to zrobić? Nie wiem, kilka wątków naraz niech odpytuje? I ponawianiem zarządzałbym jakiś ExecutorService? A potem nie do kafki tylko do socketa?
#programowanie #kafka
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
p.....k
p.....k
  • 1
Tak to jest się uczyć z książki w której przykłady nie działają, bo są bez konfiguracji.
Próbuję zapodać przykładowy structured streaming sparkiem do kafki i same problemy. Większość już rozwiązałem, teraz mam na drodze ten:

org.apache.spark.AnalysisException: value attribute unsupported type bigint. value must be a(n) string or binary;
at org.apche.spark.sql.kafka010.KafkaWriter ...

kod:
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mk321
mk321
via Wykop Mobilny (Android)
  • 0
#kafka #programowanie

Jedno z najprostszych realnych zastosowań Apache Kafka: wysyłka emaili.

Sklep internetowy, który potrzebuje wysyłać email o zakupionym towarze. Nie chce sam wysyłać tego emaila, tylko zlecić to innemu mikroserwisowi. Dlatego po zakupieniu towaru przez użytkownika wrzuca tą informację na kolejkę.

-
  • 11
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach

Powiązane tagi