Ktoś ma pomysł, dlaczego jak w Elastic szukam:

NOT ((NOT _exists_:pole) OR (pole:""))
to znajduje dokumenty, gdzie pole pole jest pustym ciągiem znaków ""? Ma znaleźć niepuste wartości.

Natomiast testuję też
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

#programowanie chcę się pobawić jakimś nowym językiem i frameworkiem. Co polecacie do postawienia sobie proxy z zapisywaniem danych z serwisu zewnętrznego i serwującego te dane lokalnie aż do inwalidacji.
Zapisywałbym dokumenty do jakiegoś #elasticsearch i serwował. High usage (100M requestów miesięcznie),

Standardowo bym użył jakiegoś #symfony #php, ale chcę się pobawić i poczuć jak student ponownie.
#nodejs? #expressjs
  • 4
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

A może #golang? Bo chyba #rustlang #rust się do tego nie nadaje?


@kamillus: Nadaje się i to bardzo, ale tak jak napisał @Saly jest trochę więcej nauki, bo Rust jest bardziej rozbudowany i bardziej pryncypialny niż Go. Za to potem idzie szybciej bo kompilator więcej kontroluje za programistę i mniej bugów do naprawiania jest ;) W przypadku bardzo krótkiego projektu, jak nie
  • Odpowiedz
@kamillus: Do Elastica pasuje Java i Spring (masz tam rozbudowane liby pod tę bazę/silnik). Sam Elasticsearch jest napisany w Javie.
A teraz czekam aż się zlecą sekciarze spod znaku "Java zua!" xD
  • Odpowiedz
Wiecie, że AWS ma ElastcSearcha serverless? Oh, pardon.. OpenSearch Serverless? Tylko czemu to g---o chce ode mnie 700 USD na miesiąc?! Obojętnie czy używam czy nie. Co to za nowe standardy? Jako startup domagam się wszystkiego za darmo - to uczciwa cena.
#programista15k #aws #elasticsearch #cloud
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

  • 2
@villager cos mi sie wydaje ze AWS trochę nadużył terminu serverless. Bo to chyba najdroższa usługa z tego co widze, szczególnie w sytuacji kiedy jej sie nie uzywa. wychodzi tak samo jak kilka ec2.
  • Odpowiedz
@mk321: Jeszcze parę dni temu napisałbym elaborat na temat pamięci, różnicy pomiędzy ECC a non ECC. Ale dziś i tak nikt tego nie przeczyta.
  • Odpowiedz
Czesc,

Czy ktos z Was ma moze sprawdzony parser dla logow z vcenter (vcsa 7.0) pod logstasha? Siedze już nad tym 3 dni i końca nie widać....

Bazowałem na tym: https://www.bujarra.com/recopilando-los-logs-de-vmware-vcsa-en-elasticsearch-y-visualizandolos-en-grafana/, ale co rusz coś się w***rdala. Powoli moja frustracja sięga zenitu, więc może któryś z Was drogie Mirki wspomoglby kolege w potrzebie ( ͡° ͜ʖ ͡°)?

#sysadmin #vmware #elasticsearch
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Jak wygląda u was dokumentowanie albo opisywanie acceptance criteria dla złożonych zapytań w aplikacjach np korzystających z ElasticSearch?

Załóżmy że w systemie jest wyszukiwarka zamówień z jednym polem tekstowym. User może wpisując tam jeden lub kilka wyrazów może wyszukiwać między innymi po numerze zamówienia, adresie dostawy, nazwach produktów itd itp.

Czy macie to w jakiś usystematyzowany sposób spisane, jak ma działać taka wyszukiwarka? Czy są na to jakieś sprawdzone sposoby/wzorce/narzędzia? Chodzi mi
  • 15
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@LazyInitializationException: masz bardzo wąskie horyzonty myślowe.
Po pierwsze świat nie kończy się na scrumie, a piszesz, jakby każdy w nim pracował.
Po drugie nie pisałem, że muszę takie kryteria stworzyć, tylko pytałem jak to wygląda w innych projektach. Ty założyłeś, że się tym zajmuje i że to nie powinno być moje zmartwienie.
Po trzecie wiedza na temat różnych notacji albo modelowania procesów jest istotna, zrozumiesz to jeśli kiedyś wyjdziesz poza
  • Odpowiedz
@LazyInitializationException: @Priya: jezu, faktycznie masz strasznie waskie horyzonty. Programista jest zatrudniany po to, zeby dostarczac wartosc biznesowa klientowi. Typowe podejscie polskiego seniora, nie narobic sie, nie probowac zrozumiec potrzeb klienta, zamykamy us i zapraszamy w kolejnym sprincie. Ha tfu.
  • Odpowiedz
Czy ktos moze ma doswiadczenie w robieniu canvas w kibanie ? Bardzo ciezko mi odkrywa sie to z pomoca dokumentacji. Czy to jest do zrobienia zeby np. wyswietlil mi sie inny obraz jesli mam dana w dokumencie Elastic np. 'bad', zamiast 'good'.
Np. wstawic obrazek ale zeby wysietlal sie tylko kiedy rekord z bazy wskazuje x.
Jeszcze myslalem ze jesli to nie mozliwe zeby to robic za pomoca 'image' to zeby to zrobic
  • 2
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

drugi asset byl corrupted , wymienilem i dziala.ale mniejsza o to, jesli ktos sie zna na ES/Kibana, to z checia bym poznal, bym zadal pare nurtujacych mnie pytan jesli ktos jest z taka wiedza.
  • Odpowiedz
daje wydajna mozliwosc przeszukiwania bardzo duzych zbiorow danych


@filozof900: @victordeleco2: Dodam jeszcze, że:
- przez "bardzo dużych" rozumiemy zarówno ilość rekordów jak i objętość pojedynczego rekordu,
- format tych danych nie jest sztywno zdefiniowany (nie musisz "dodawać kolumny" tak jak w SQLu żeby móc zapisywać jeszcze jedną informację),
- wyszukiwanie jest pełnotekstowe i uwzględnia scoring, czyli jak bardzo wynik pasuje do zapytania.
  • Odpowiedz
- Bądź elasticsearch
- Hajsy się nie zgadzają bo AWS is bad >:c
- Zmień licencję na SSPL
- W---w wszystkich kontrybutorów, którzy po godzinach ulepszali twój codebase za free, abyś ty teraz mógł trzepać na tym hajs
- Plan doskonały, już widzisz mannę z nieba
- Amazon mówi, że zaraz jebnie forka twojej śmiesznej libki i będzie ją rozwijał na starej licencji
  • 8
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@lemek3: AWS to chuje. Sprzedają appki open source pod pretekstem że płacisz za serwery... Tylko że serwery to mały ułamek ceny. Do tego chuje nie pomagają w tworzeniu opensourca nic a nic. Wszystkie poprawki co robią są prywatne.
  • Odpowiedz
@Klopsztanga: No zgodzę się, że AWS to chuje, ale że tak nic nie wnoszą to półprawda. Wedle stanowiska Elastica, wnoszą nieproporcjonalnie mało w stosunku do tego co zarabiają. Nie zgodzę się też z tym, że serwery to mały ułamek ceny. Infrastrukturę serwerową też trzeba utrzymywać, to nie tak że kupisz sprzęt, podłączysz i on już działa wiecznie :D Jednak nie bez powodu firmy wolą przepłacać za rozwiązania cloud zamiast bawić
  • Odpowiedz
Mam prostą bazę w #mysql, gdzie zbieram sobie dane z czujnika. Są to:
idurządzenia, temp, wilgotność, coś tam jeszcze.
Wpisów mam już dość dużo (około 100mln - nie pytać czemu, tak ma być :) ). Zastanawiam się nad zmianą silnika bazodanowego, aby w przyszłości to działało szybko. Aktualnie gdy pobieram dane do wykresów czy jakiś obliczeń to trwa to już coraz dłużej. Co byście polecili? Myślałem o NoSQL
  • 7
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Janusz elastica here ( ͡° ͜ʖ ͡°)

Mirki jak ładujecie dane do elastica.
Mam bazę na sql serverze z logami (~15 mln) i chciałbym załadować logi przynajmniej za ostatni miesiąc a następnie ładować je non stop i najlepiej procesem ciągłym (tak aby mi się ładnie cyferki w kibanie zmieniały)

Jak to najlepiej zrobić?. Widzę, że w logstash można podać sql statement ale te logi będą przyrostowe więc gdzie trzymać
  • 6
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@metaforyczny_kierowca:

A po co iteracja po availableDaysOfWeek?

Może źle to ująłem. Zmatchowany availability_period w połączeniu z querowaną datą, musiałby zawierać któryś z available_days_of_week. Pewnie do zrobienia, ale czy tak rozbudowany skrypt to nie anty-pattern?

AvailabilityPeriod jest typu object czy nested?

Nested.
  • Odpowiedz
@mordechaj_blumstein: czyli to nie tylko data, która jest w przedziale i nie jest excluded, ale też dzień tygodnia musi się zgadzać? Pokręcone mocno. Rozbudowanie skryptu i jego wydajność to już trade-off i zależy jak często będzie wykonywany.

Może rozwiązaniem byłaby zmiana indeksów? Każdy schedule miałby swój indeks i routowanie byłoby w aplikacji.
  • Odpowiedz
#java #elasticsearch
Hejka, bawie sie w starym kodzie - spring boot i elasticserach. Widze, ze wykorzystywane jest high level api - z configu moge wyciagnac usera, haslo, host i port.
Jakie jest najlepsze narzedzie do podpatrzenia danych, indeksow i ogolnie struktury? W przypadku mongoDB korzystam z robo3t, w przypadku baz sql uzywam IntelliJ, a tutaj chcialbym od razu dobrze zaczac ʕʔ
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Halo halo, czy jest na sali ekspert? Potrzebuję wyszukać podobnych/zduplikowanych ludzi, używam do tego more like this, tylko chciałbym, żeby to działało jak fuzzy like this (które niestety jest usunięte), bo może być literówka w imieniu/nazwisku itd. Czy ktoś może wie jak to osiągnąć?

#elasticsearch #programowanie
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

Jakis mireczek ogarnia #elasticsearch? Bo mam do napisania kilka zapytan i jakos mi nie wychodzi :/

Generalnie mam mapping nastepujacy:

"location": {
"properties":
  • 3
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@ckczm: To widzialem w docsach elasticsearcha, pierwotnie chodzilo mi o to jak to ubrac w dwa floaty. Bo to query ktore podales nie zadzialalaloby dla mojego mappingu float, float. Zmienilem mapping na geo_point i uzylem dokladnie takie zapytanie jakie podales wiec problem w sumie rozwiazany. Dzieki :)
  • Odpowiedz
mam do przefiltrowania logi z apache, chciałbym wyszukać dane tylko dla konkretnych pul adresowych:

{
"query": {
"wildcard": {
"clientip": {
  • 5
  • Odpowiedz
  • Otrzymuj powiadomienia
    o nowych komentarzach

@carryON_: a może OR zamiast ||

Przepraszam ale obecnie nawet nie mam ELKa żadnego nawet pod ręką i trochę czasu mineło ale jestem pewien że tak działało. Patrząc na https://discuss.elastic.co/t/or-filter-with-kibana-5-0/65699 myślę że to właśnie ma być OR a nie jakieś tam patyczki xD
edit: cały czas mam na myśli Kibanę - do gołego elastica były zapytania term i bool które mogły robić match na wiele różnych wartości, ale ja zawsze
  • Odpowiedz