Wszystko

Najnowsze

Archiwum

assninja
  • 0
Miałem gotową, sprawdzoną, działającą oh ah apkę do przeglądania i wyszukiwania danych z postgres+sphinxsearch ale nie miałem jakiegoś indeksera który przemieli nowy typ danych i je powsadza jak trzeba. To wziąłem gotowego indeksera (fscrawler) pod elasticsearch gdzie nie mam apki i nie mam nic. Uznałem że łatwiej i szybciej napiszę byle jak pod ES i będzie działało. Spędziłem cały dzień na pisaniu pod elastica, ale małpa dostała szmyrgla jak zobaczyła client.indices.get(index: "idx").body["idx"]["mappings"]["properties"]["file"]["properties"]
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
SendMeAnAngel
  • 0
Ktoś ma pomysł, dlaczego jak w Elastic szukam:

NOT ((NOT _exists_:pole) OR (pole:""))
to znajduje dokumenty, gdzie pole pole jest pustym ciągiem znaków ""? Ma znaleźć niepuste wartości.

Natomiast testuję też
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
kamillus
  • 1
#programowanie chcę się pobawić jakimś nowym językiem i frameworkiem. Co polecacie do postawienia sobie proxy z zapisywaniem danych z serwisu zewnętrznego i serwującego te dane lokalnie aż do inwalidacji.
Zapisywałbym dokumenty do jakiegoś #elasticsearch i serwował. High usage (100M requestów miesięcznie),

Standardowo bym użył jakiegoś #symfony #php, ale chcę się pobawić i poczuć jak student ponownie.
#nodejs? #expressjs
  • 4
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Krolik
Krolik
  • 1
A może #golang? Bo chyba #rustlang #rust się do tego nie nadaje?


@kamillus: Nadaje się i to bardzo, ale tak jak napisał @Saly jest trochę więcej nauki, bo Rust jest bardziej rozbudowany i bardziej pryncypialny niż Go. Za to potem idzie szybciej bo kompilator więcej kontroluje za programistę i mniej bugów do naprawiania jest ;) W przypadku bardzo krótkiego projektu, jak nie
  • Odpowiedz
pulaas
  • 1
@kamillus: Do Elastica pasuje Java i Spring (masz tam rozbudowane liby pod tę bazę/silnik). Sam Elasticsearch jest napisany w Javie.
A teraz czekam aż się zlecą sekciarze spod znaku "Java zua!" xD
  • Odpowiedz
WhiskyRomeo
  • 2
@villager cos mi sie wydaje ze AWS trochę nadużył terminu serverless. Bo to chyba najdroższa usługa z tego co widze, szczególnie w sytuacji kiedy jej sie nie uzywa. wychodzi tak samo jak kilka ec2.
  • Odpowiedz
Fedain
  • 2
@mk321: Jeszcze parę dni temu napisałbym elaborat na temat pamięci, różnicy pomiędzy ECC a non ECC. Ale dziś i tak nikt tego nie przeczyta.
  • Odpowiedz
ska87
  • 0
Czesc,

Czy ktos z Was ma moze sprawdzony parser dla logow z vcenter (vcsa 7.0) pod logstasha? Siedze już nad tym 3 dni i końca nie widać....

Bazowałem na tym: https://www.bujarra.com/recopilando-los-logs-de-vmware-vcsa-en-elasticsearch-y-visualizandolos-en-grafana/, ale co rusz coś się w***rdala. Powoli moja frustracja sięga zenitu, więc może któryś z Was drogie Mirki wspomoglby kolege w potrzebie ( ͡° ͜ʖ ͡°)?

#sysadmin #vmware #elasticsearch
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Priya
  • 0
Jak wygląda u was dokumentowanie albo opisywanie acceptance criteria dla złożonych zapytań w aplikacjach np korzystających z ElasticSearch?

Załóżmy że w systemie jest wyszukiwarka zamówień z jednym polem tekstowym. User może wpisując tam jeden lub kilka wyrazów może wyszukiwać między innymi po numerze zamówienia, adresie dostawy, nazwach produktów itd itp.

Czy macie to w jakiś usystematyzowany sposób spisane, jak ma działać taka wyszukiwarka? Czy są na to jakieś sprawdzone sposoby/wzorce/narzędzia? Chodzi mi
  • 15
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Priya
  • 2
@LazyInitializationException: masz bardzo wąskie horyzonty myślowe.
Po pierwsze świat nie kończy się na scrumie, a piszesz, jakby każdy w nim pracował.
Po drugie nie pisałem, że muszę takie kryteria stworzyć, tylko pytałem jak to wygląda w innych projektach. Ty założyłeś, że się tym zajmuje i że to nie powinno być moje zmartwienie.
Po trzecie wiedza na temat różnych notacji albo modelowania procesów jest istotna, zrozumiesz to jeśli kiedyś wyjdziesz poza
  • Odpowiedz
Bolo_Yeung
Bolo_Yeung
  • 1
@LazyInitializationException: @Priya: jezu, faktycznie masz strasznie waskie horyzonty. Programista jest zatrudniany po to, zeby dostarczac wartosc biznesowa klientowi. Typowe podejscie polskiego seniora, nie narobic sie, nie probowac zrozumiec potrzeb klienta, zamykamy us i zapraszamy w kolejnym sprincie. Ha tfu.
  • Odpowiedz
oink_oink
  • 0
Czy ktos moze ma doswiadczenie w robieniu canvas w kibanie ? Bardzo ciezko mi odkrywa sie to z pomoca dokumentacji. Czy to jest do zrobienia zeby np. wyswietlil mi sie inny obraz jesli mam dana w dokumencie Elastic np. 'bad', zamiast 'good'.
Np. wstawic obrazek ale zeby wysietlal sie tylko kiedy rekord z bazy wskazuje x.
Jeszcze myslalem ze jesli to nie mozliwe zeby to robic za pomoca 'image' to zeby to zrobic
  • 2
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
oink_oink
  • 0
filters
| essql query="SELECT 'zly' AS \"mojstatus\""
| markdown
content={
string value = "{{rows.0.mojstatus}} "
value=" xx "
  • Odpowiedz
oink_oink
  • 0
drugi asset byl corrupted , wymienilem i dziala.ale mniejsza o to, jesli ktos sie zna na ES/Kibana, to z checia bym poznal, bym zadal pare nurtujacych mnie pytan jesli ktos jest z taka wiedza.
  • Odpowiedz
cochese
cochese
  • 3
daje wydajna mozliwosc przeszukiwania bardzo duzych zbiorow danych


@filozof900: @victordeleco2: Dodam jeszcze, że:
- przez "bardzo dużych" rozumiemy zarówno ilość rekordów jak i objętość pojedynczego rekordu,
- format tych danych nie jest sztywno zdefiniowany (nie musisz "dodawać kolumny" tak jak w SQLu żeby móc zapisywać jeszcze jedną informację),
- wyszukiwanie jest pełnotekstowe i uwzględnia scoring, czyli jak bardzo wynik pasuje do zapytania.
  • Odpowiedz
lemek3
  • 19
Treść przeznaczona dla osób powyżej 18 roku życia...
  • 8
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
loginek0
loginek0
  • 1
Mam prostą bazę w #mysql, gdzie zbieram sobie dane z czujnika. Są to:
idurządzenia, temp, wilgotność, coś tam jeszcze.
Wpisów mam już dość dużo (około 100mln - nie pytać czemu, tak ma być :) ). Zastanawiam się nad zmianą silnika bazodanowego, aby w przyszłości to działało szybko. Aktualnie gdy pobieram dane do wykresów czy jakiś obliczeń to trwa to już coraz dłużej. Co byście polecili? Myślałem o NoSQL
  • 7
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Crisu
  • 0
Janusz elastica here ( ͡° ͜ʖ ͡°)

Mirki jak ładujecie dane do elastica.
Mam bazę na sql serverze z logami (~15 mln) i chciałbym załadować logi przynajmniej za ostatni miesiąc a następnie ładować je non stop i najlepiej procesem ciągłym (tak aby mi się ładnie cyferki w kibanie zmieniały)

Jak to najlepiej zrobić?. Widzę, że w logstash można podać sql statement ale te logi będą przyrostowe więc gdzie trzymać
  • 6
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
mordechaj_blumstein
  • 0
@metaforyczny_kierowca:

A po co iteracja po availableDaysOfWeek?

Może źle to ująłem. Zmatchowany availability_period w połączeniu z querowaną datą, musiałby zawierać któryś z available_days_of_week. Pewnie do zrobienia, ale czy tak rozbudowany skrypt to nie anty-pattern?

AvailabilityPeriod jest typu object czy nested?

Nested.
  • Odpowiedz
metaforyczny_kierowca
  • 0
@mordechaj_blumstein: czyli to nie tylko data, która jest w przedziale i nie jest excluded, ale też dzień tygodnia musi się zgadzać? Pokręcone mocno. Rozbudowanie skryptu i jego wydajność to już trade-off i zależy jak często będzie wykonywany.

Może rozwiązaniem byłaby zmiana indeksów? Każdy schedule miałby swój indeks i routowanie byłoby w aplikacji.
  • Odpowiedz
eehhh
eehhh
  • 0
#java #elasticsearch
Hejka, bawie sie w starym kodzie - spring boot i elasticserach. Widze, ze wykorzystywane jest high level api - z configu moge wyciagnac usera, haslo, host i port.
Jakie jest najlepsze narzedzie do podpatrzenia danych, indeksow i ogolnie struktury? W przypadku mongoDB korzystam z robo3t, w przypadku baz sql uzywam IntelliJ, a tutaj chcialbym od razu dobrze zaczac ʕ•ᴥ•ʔ
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Gruba_kluska
  • 0
Halo halo, czy jest na sali ekspert? Potrzebuję wyszukać podobnych/zduplikowanych ludzi, używam do tego more like this, tylko chciałbym, żeby to działało jak fuzzy like this (które niestety jest usunięte), bo może być literówka w imieniu/nazwisku itd. Czy ktoś może wie jak to osiągnąć?

#elasticsearch #programowanie
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Burkhard
  • 0
Jakis mireczek ogarnia #elasticsearch? Bo mam do napisania kilka zapytan i jakos mi nie wychodzi :/

Generalnie mam mapping nastepujacy:

"location": {
"properties":
  • 3
  • Odpowiedz

  • Otrzymuj powiadomienia
    o nowych komentarzach
Burkhard
  • 0
@ckczm: To widzialem w docsach elasticsearcha, pierwotnie chodzilo mi o to jak to ubrac w dwa floaty. Bo to query ktore podales nie zadzialalaloby dla mojego mappingu float, float. Zmienilem mapping na geo_point i uzylem dokladnie takie zapytanie jakie podales wiec problem w sumie rozwiazany. Dzieki :)
  • Odpowiedz

Powiązane tagi