Wszystko
Najnowsze
Archiwum
31 maja 2022 r. nakładem wydawnictwa Officyna ukaże się nowe wydanie "Dzienników" Franza Kafki.
Po co nam kolejny Kafka? Choćby po to, by przekonać się, że wbrew pozorom wcale go dobrze nie znaliśmy. Przygotowując "Dzienniki" do druku po raz pierwszy, wydawcy pośmiertnej spuścizny pisarza znacząco zmodyfikowali wszystko, co ich zdaniem „psuło” tekst. Co zaś wydawało się błahe, banalne, nieistotne – po prostu usuwali. Kompletne niemieckie wydanie "Dzienników", w wersji zgodnej z rękopisami, ukazało
Po co nam kolejny Kafka? Choćby po to, by przekonać się, że wbrew pozorom wcale go dobrze nie znaliśmy. Przygotowując "Dzienniki" do druku po raz pierwszy, wydawcy pośmiertnej spuścizny pisarza znacząco zmodyfikowali wszystko, co ich zdaniem „psuło” tekst. Co zaś wydawało się błahe, banalne, nieistotne – po prostu usuwali. Kompletne niemieckie wydanie "Dzienników", w wersji zgodnej z rękopisami, ukazało
źródło: comment_1653136765SV3ycLY0aumUOqe5GlS9GX.jpg
Pobierz
Hello, jest tu jakiś magik od RabbitMQ?
Korzystajac z docker-compose postawiłem Rabbita na dwoch klastrach (3 nody per cluster). Teraz chce dodac federacje, na jedenym z clustrow federation ma status running. Na drugim clustrze jest
"Error detail: econnrefused"
Korzystajac z docker-compose postawiłem Rabbita na dwoch klastrach (3 nody per cluster). Teraz chce dodac federacje, na jedenym z clustrow federation ma status running. Na drugim clustrze jest
"Error detail: econnrefused"
version: '3.8'
#programowanie #kafka
Zna ktoś jakiś godny polecenia kurs/książkę dotycząca Kafki, od samych podstaw do poziomu, powiedzmy, 3-4/6? Potrzebuje czegoś obok dokumentacji.
Zna ktoś jakiś godny polecenia kurs/książkę dotycząca Kafki, od samych podstaw do poziomu, powiedzmy, 3-4/6? Potrzebuje czegoś obok dokumentacji.
@herbatkaZCukremBezCytrynki: Stephan maarek na udemy, confluent ma bardzo fajna serio 100 days of code i ogólnie cały confluent learn. Z książek Effective kafka jest bdb
@herbatkaZCukremBezCytrynki: kafka the definite guide. Z tego co pamiętam ksiażkę pisali ludzie którzy pracowali nad kafką.
Potrzebuję pomocy w użyciu kafki i avro w pythonie - podstawy. Chodzi o proste zadanie polegające na przesyłaniu i odbieraniu formatu danych w avro. Mam problem z napisaniem producera, który wysyła wiadomości.
Aby wysyłać w formacie avro muszę użyć avroproducera czy może to być kafkaproducer i w value_serializer wartośc avro.schema.parse(json.dumps(schema))) ?
#programowanie #python #kafka
Aby wysyłać w formacie avro muszę użyć avroproducera czy może to być kafkaproducer i w value_serializer wartośc avro.schema.parse(json.dumps(schema))) ?
#programowanie #python #kafka
Komentarz usunięty przez moderatora
Chciałbym się nauczyć Kafki, czy kursy od tego zioma są spoko: https://www.udemy.com/course/apache-kafka/
(Oczywiście nie za 299 tylko za ok.50-60zł). Może macie jakieś inne polecane kursy? #programowanie #apache #kafka #java
(Oczywiście nie za 299 tylko za ok.50-60zł). Może macie jakieś inne polecane kursy? #programowanie #apache #kafka #java
@MrFisherman: jezeli placisz za kursy to dzielisz swoja wyplate przez 4
@MrFisherman: nauka Kafki z kursów to jak nauka pływania w wannie, znajdź projekt jakiś gdzie Kafki używają najlepsza opcja imo i jak działa to na prodzie, począwszy od topologii poprzez partycje i failover strategy. A jak chcesz się samemu nauczyć to napisz może jakiegos prostego, może być nawet konsolowy manager do Kafki z poziomu Javy. Więcej samemu ciężko się coś pouczyć
No i strona confluent io poczytaj
No i strona confluent io poczytaj
1323 + 1 = 1324
Tytuł: Przemiana
Autor: Franz Kafka
Gatunek: literatura piękna
Ocena: ★★★★★
Tytuł: Przemiana
Autor: Franz Kafka
Gatunek: literatura piękna
Ocena: ★★★★★
źródło: comment_16268133400q9ScRiMdahiPig78yrZ4d.jpg
Pobierz@zranoI: ale wysryw
Mireczki mam pytanie czym zastąpić kafkę w infrastrukturze mikroserwisowej?
Problem w tym, że kafka jest zbyt grubym i problematycznym narzędziem a sumarycznie tych eventów które przez nią przechodzą jest bardzo mało (szacuję w porywach do 100 dziennie).
Zastosowanie np. rabbitmq raczej nic nie zmieni bo to analogicznie jak z kafką: armata na wróbla.
Może możecie polecić jakąś ultralekką i szybką implementację message brokera?
Problem w tym, że kafka jest zbyt grubym i problematycznym narzędziem a sumarycznie tych eventów które przez nią przechodzą jest bardzo mało (szacuję w porywach do 100 dziennie).
Zastosowanie np. rabbitmq raczej nic nie zmieni bo to analogicznie jak z kafką: armata na wróbla.
Może możecie polecić jakąś ultralekką i szybką implementację message brokera?
@Generyczny_nick: redis
@Generyczny_nick zeroMQ
Change Data Capture - Zmień Bazę W Strumień (Debezium) - Wiadro Danych
Myślałeś/aś kiedyś o utworzeniu strumienia z operacji w bazie danych? W tym wpisie dowiesz się czym jest Change Data Capture i jak go wykorzystać planując architekturę naszego systemu.
z- 0
- #
- #
- #
- #
- #
- #
Koliedzy, jak mam se api, do którego se strzelam RESTem i ciałbym se zasymulować z tego strumienie danych to jak najlepiej to zrobić?
Na githubie inni robili:
while(true) { GET http://... } i wrzucali to do Kafki.
Może jakoś lepiej by to zrobić? Nie wiem, kilka wątków naraz niech odpytuje? I ponawianiem zarządzałbym jakiś ExecutorService? A potem nie do kafki tylko do socketa?
#programowanie #kafka
Na githubie inni robili:
while(true) { GET http://... } i wrzucali to do Kafki.
Może jakoś lepiej by to zrobić? Nie wiem, kilka wątków naraz niech odpytuje? I ponawianiem zarządzałbym jakiś ExecutorService? A potem nie do kafki tylko do socketa?
#programowanie #kafka
Tak to jest się uczyć z książki w której przykłady nie działają, bo są bez konfiguracji.
Próbuję zapodać przykładowy structured streaming sparkiem do kafki i same problemy. Większość już rozwiązałem, teraz mam na drodze ten:
org.apache.spark.AnalysisException: value attribute unsupported type bigint. value must be a(n) string or binary;
at org.apche.spark.sql.kafka010.KafkaWriter ...
kod:
Próbuję zapodać przykładowy structured streaming sparkiem do kafki i same problemy. Większość już rozwiązałem, teraz mam na drodze ten:
org.apache.spark.AnalysisException: value attribute unsupported type bigint. value must be a(n) string or binary;
at org.apche.spark.sql.kafka010.KafkaWriter ...
kod:
Сo znaczy „kafkowski”? [PL]
![Сo znaczy „kafkowski”? [PL]](https://wykop.pl/cdn/c3397993/link_1607266235A9LwCCI2eAqnKOduSL9TJ2,w220h142.jpg)
Słowo „kafkowski” opisuje niepotrzebnie skomplikowane i frustrujące doświadczenia, szczególnie w zderzeniu z biurokracją. Jednak czy stanie w długiej kolejce, żeby wypełnić niezrozumiałe papiery, rzeczywiście oddaje wizję Kafki? Kiedy tak naprawdę coś jest kafkowskie? Wyjaśnia to Noah Tavlin.
z- 1
- #
- #
- #
- #
- #
- #
#kafka #programowanie
Jedno z najprostszych realnych zastosowań Apache Kafka: wysyłka emaili.
Sklep internetowy, który potrzebuje wysyłać email o zakupionym towarze. Nie chce sam wysyłać tego emaila, tylko zlecić to innemu mikroserwisowi. Dlatego po zakupieniu towaru przez użytkownika wrzuca tą informację na kolejkę.
-
Jedno z najprostszych realnych zastosowań Apache Kafka: wysyłka emaili.
Sklep internetowy, który potrzebuje wysyłać email o zakupionym towarze. Nie chce sam wysyłać tego emaila, tylko zlecić to innemu mikroserwisowi. Dlatego po zakupieniu towaru przez użytkownika wrzuca tą informację na kolejkę.
-
@cevilo: ziomek ja z kolejkami pracuje. nic normalnego nie napisałeś tylko wylałeś swoją frustrację. end
Komentarz usunięty przez moderatora
Kafka I / Rozpoczynamy całą serię wykładów Kafki.
Gdyby ktoś chciał posłuchać na temat twórczości Kafki. Wykład prowadzi Rabin Sacha Pecaric z internetowej Jesziwy Pardes.
z- 0
- #
- #
- #
- #
- #
- #
Mireczki potrzebuję się poradzić w temacie CI/CD.
Na openshifcie (z helmem) mam postawioną kafkę z zookeeperem (obrazy od bitnami).
Prosta konfiguracja, dwa topici, po jednym podzie (replicaset na 1)
Problem w tym, że zookeeper często pada (przynajmniej raz na dobę) w efekcie czego serwisy które wysyłają/odbierają wiadomości z kafki nie pracują poprawnie bo kafka nie odbiera/wysyła.
Na openshifcie (z helmem) mam postawioną kafkę z zookeeperem (obrazy od bitnami).
Prosta konfiguracja, dwa topici, po jednym podzie (replicaset na 1)
Problem w tym, że zookeeper często pada (przynajmniej raz na dobę) w efekcie czego serwisy które wysyłają/odbierają wiadomości z kafki nie pracują poprawnie bo kafka nie odbiera/wysyła.
@Generyczny_nick: Ja bym radził skupić się na znalezieniu przyczyny dlaczego to pada a nie maskował problemy restartami
@Generyczny_nick: https://github.com/wurstmeister/kafka-docker/issues/389
prawdopodobnie nie ustawiasz prawidlowo broker id.
tutaj widac ze ten obraz jak nie ma podane to sam sobie wygeneruje https://github.com/bitnami/bitnami-docker-kafka/blob/master/2/debian-10/rootfs/opt/bitnami/scripts/kafka/setup.sh
wiec najsprosciej zrobic statefulset i ustawiac broker id na
prawdopodobnie nie ustawiasz prawidlowo broker id.
tutaj widac ze ten obraz jak nie ma podane to sam sobie wygeneruje https://github.com/bitnami/bitnami-docker-kafka/blob/master/2/debian-10/rootfs/opt/bitnami/scripts/kafka/setup.sh
wiec najsprosciej zrobic statefulset i ustawiac broker id na
Mireczki pytanie z kategori CI/CD
Mam kafkę z zookeeperem postawioną na kubernetesie (okd, helm itp) i chciałbym po starcie poda z kafką stworzyć nowy topic.
W dokumentacji pod linkiem:
github.com/bitnami/bitnami-docker-kafka
Mam kafkę z zookeeperem postawioną na kubernetesie (okd, helm itp) i chciałbym po starcie poda z kafką stworzyć nowy topic.
W dokumentacji pod linkiem:
github.com/bitnami/bitnami-docker-kafka
@Generyczny_nick: to moze to: https://stackoverflow.com/a/44146351 i wtedy w lifecycle wywolujesz te komende?
Spróbuję aczkolwiek testowo dostałem approved na zmianę obrazu ;)
Mireczki szybkie pytanie: w mini serwisie uruchomionym za pośrednictwem node.js korzystam z kafki (kafka-node) w taki sposób, że z konkretnego topicu czytam eventy.
W momencie startu serwisu, gdy na kafce nie ma topicu który chcę obserwować (bo np. serwis który dany topic tworzy wstał później) dostaję error o treści:
ERROR: TopicsNotExistError: The topic(s) kafkaTopic3 do not exist
Chciałbym zastosować tam w takim wypadku próbę jakiegoś reconnecta bo niestety z automatu to się nie dzieje i
W momencie startu serwisu, gdy na kafce nie ma topicu który chcę obserwować (bo np. serwis który dany topic tworzy wstał później) dostaję error o treści:
ERROR: TopicsNotExistError: The topic(s) kafkaTopic3 do not exist
Chciałbym zastosować tam w takim wypadku próbę jakiegoś reconnecta bo niestety z automatu to się nie dzieje i
@Generyczny_nick: glupoty popisalem mireczku, tutaj masz 100% pewne soluszyn ( ͡° ͜ʖ ͡°)
const kafka = require('kafka-node');
const Consumer =
const kafka = require('kafka-node');
const Consumer =
@4191727801:
dzięki mireczku, po dostosowaniu do swoich potrzeb działa bardzo fajnie.
Wirtualne piwerko dla Ciebie ( ͡~ ͜ʖ ͡°)
dzięki mireczku, po dostosowaniu do swoich potrzeb działa bardzo fajnie.
Wirtualne piwerko dla Ciebie ( ͡~ ͜ʖ ͡°)
Wszystko startuje, mogę tworzyć topiki, zapisywać i czytać, ale działa ale osobno. Po prostu nie wiem, co robię nie tak.
Wyczyściłem maszyny, więc to nie zaszłości konfiguracji.
Wszystko działa na tej konfiguracji:
@pyroxar: pls, nie taguj wpisów devops
@pyroxar: a tak jak wyżej tylko bez devops. Devops to wyższa forma sysadmina. Twoje pytanie to nie jest ten poziom w ogóle i trochę zaśmiecasz tag przez to (piszę to pod względem wcześniejszych wpisów).