Wszystko

Wszystkie

Archiwum

kamillus
kamillus
  • 1
#programowanie chcę się pobawić jakimś nowym językiem i frameworkiem. Co polecacie do postawienia sobie proxy z zapisywaniem danych z serwisu zewnętrznego i serwującego te dane lokalnie aż do inwalidacji.
Zapisywałbym dokumenty do jakiegoś #elasticsearch i serwował. High usage (100M requestów miesięcznie),

Standardowo bym użył jakiegoś #symfony #php, ale chcę się pobawić i poczuć jak student ponownie.
#nodejs? #expressjs?
A może #golang? Bo chyba #rustlang #rust się do tego
Krolik
Krolik
  • 1
A może #golang? Bo chyba #rustlang #rust się do tego nie nadaje?


@kamillus: Nadaje się i to bardzo, ale tak jak napisał @Saly jest trochę więcej nauki, bo Rust jest bardziej rozbudowany i bardziej pryncypialny niż Go. Za to potem idzie szybciej bo kompilator więcej kontroluje za programistę i mniej bugów do naprawiania jest ;) W przypadku bardzo krótkiego projektu, jak nie znacie Rusta, to jednak bym go nie wybrał.
Priya
Priya
  • 0
Jak wygląda u was dokumentowanie albo opisywanie acceptance criteria dla złożonych zapytań w aplikacjach np korzystających z ElasticSearch?

Załóżmy że w systemie jest wyszukiwarka zamówień z jednym polem tekstowym. User może wpisując tam jeden lub kilka wyrazów może wyszukiwać między innymi po numerze zamówienia, adresie dostawy, nazwach produktów itd itp.

Czy macie to w jakiś usystematyzowany sposób spisane, jak ma działać taka wyszukiwarka? Czy są na to jakieś sprawdzone sposoby/wzorce/narzędzia? Chodzi mi
Priya
Priya
  • 2
@LazyInitializationException: masz bardzo wąskie horyzonty myślowe.
Po pierwsze świat nie kończy się na scrumie, a piszesz, jakby każdy w nim pracował.
Po drugie nie pisałem, że muszę takie kryteria stworzyć, tylko pytałem jak to wygląda w innych projektach. Ty założyłeś, że się tym zajmuje i że to nie powinno być moje zmartwienie.
Po trzecie wiedza na temat różnych notacji albo modelowania procesów jest istotna, zrozumiesz to jeśli kiedyś wyjdziesz poza klepanie
oink_oink
oink_oink
  • 0
Czy ktos moze ma doswiadczenie w robieniu canvas w kibanie ? Bardzo ciezko mi odkrywa sie to z pomoca dokumentacji. Czy to jest do zrobienia zeby np. wyswietlil mi sie inny obraz jesli mam dana w dokumencie Elastic np. 'bad', zamiast 'good'.
Np. wstawic obrazek ale zeby wysietlal sie tylko kiedy rekord z bazy wskazuje x.
Jeszcze myslalem ze jesli to nie mozliwe zeby to robic za pomoca 'image' to zeby to
oink_oink
oink_oink
  • 0
drugi asset byl corrupted , wymienilem i dziala.ale mniejsza o to, jesli ktos sie zna na ES/Kibana, to z checia bym poznal, bym zadal pare nurtujacych mnie pytan jesli ktos jest z taka wiedza.
cochese
cochese
  • 3
daje wydajna mozliwosc przeszukiwania bardzo duzych zbiorow danych


@filozof900: @victordeleco2: Dodam jeszcze, że:
- przez "bardzo dużych" rozumiemy zarówno ilość rekordów jak i objętość pojedynczego rekordu,
- format tych danych nie jest sztywno zdefiniowany (nie musisz "dodawać kolumny" tak jak w SQLu żeby móc zapisywać jeszcze jedną informację),
- wyszukiwanie jest pełnotekstowe i uwzględnia scoring, czyli jak bardzo wynik pasuje do zapytania.
lemek3
lemek3
  • 19
- Bądź elasticsearch
- Hajsy się nie zgadzają bo AWS is bad >:c
- Zmień licencję na SSPL
- #!$%@? wszystkich kontrybutorów, którzy po godzinach ulepszali twój codebase za free, abyś ty teraz mógł trzepać na tym hajs
- Plan doskonały, już widzisz mannę z nieba
- Amazon mówi, że zaraz jebnie forka twojej śmiesznej libki i będzie ją rozwijał na starej licencji
- O #!$%@? pikachu face
- Przypominasz sobie, że
lemek3
lemek3
  • 2
@Klopsztanga: No zgodzę się, że AWS to #!$%@?, ale że tak nic nie wnoszą to półprawda. Wedle stanowiska Elastica, wnoszą nieproporcjonalnie mało w stosunku do tego co zarabiają. Nie zgodzę się też z tym, że serwery to mały ułamek ceny. Infrastrukturę serwerową też trzeba utrzymywać, to nie tak że kupisz sprzęt, podłączysz i on już działa wiecznie :D Jednak nie bez powodu firmy wolą przepłacać za rozwiązania cloud zamiast bawić się
IT-Leaders_pl2018
IT-Leaders_pl2018
  • 5
@IT-Leaders_pl2018: Nowa rekrutacja
Poszukiwany #phpdeveloper
Firma: PROEXE
Gdzie: Warszawa lub 100% zdalnie
Wynagrodzenie : do 13K PLN netto + vat (B2B) / m-c
Technologie : #php, #laravel, #postgre SQL, #mysql, #elasticsearch, #redis, #docker, #git
Minimalna liczba lat doświadczenia w IT: 1

✔️Od kandydatów oczekujemy:
◽️ Dobrej znajomości PHP 7 oraz Laravel / Lumen
◽️ Dobrej znajomości baz danych MySQL lub Postgres SQL
◽️ Praktycznej znajomośc
IT-Leaderspl2018 - @IT-Leaderspl2018: Nowa rekrutacja Poszukiwany #PHPDeveloper Fi...

źródło: comment_1610720692nvTjIgLBuSW4UiWfhke2NV.jpg

Pobierz
loginek0
loginek0
  • 1
Mam prostą bazę w #mysql, gdzie zbieram sobie dane z czujnika. Są to:
idurządzenia, temp, wilgotność, coś tam jeszcze.
Wpisów mam już dość dużo (około 100mln - nie pytać czemu, tak ma być :) ). Zastanawiam się nad zmianą silnika bazodanowego, aby w przyszłości to działało szybko. Aktualnie gdy pobieram dane do wykresów czy jakiś obliczeń to trwa to już coraz dłużej. Co byście polecili? Myślałem o NoSQL lub #
Crisu
Crisu
  • 0
Janusz elastica here ( ͡° ͜ʖ ͡°)

Mirki jak ładujecie dane do elastica.
Mam bazę na sql serverze z logami (~15 mln) i chciałbym załadować logi przynajmniej za ostatni miesiąc a następnie ładować je non stop i najlepiej procesem ciągłym (tak aby mi się ładnie cyferki w kibanie zmieniały)

Jak to najlepiej zrobić?. Widzę, że w logstash można podać sql statement ale te logi będą przyrostowe więc gdzie
mordechaj_blumstein
mordechaj_blumstein
  • 0
Jest tu jakiś mirek wymiatający w #elasticsearch ?

Potrzebuję znaleźć wszystkie eventy w zakresie np. od 2020-02-02 do 2020-03-01
Event ma taki schemat:

schedule: {
availability_period: [{from: "2020-01-01", to: "2020-01-31"}, {"from": "2020-03-01", "to": "2020-03-30"}],
available_days_of_week: [{"3": ["15:00"], "4": ["12:00", "17:00"}]
excluded_dates: "2020-03-05"
}
Jak uwzględnić wszystkie te pola w jednym query? Da się to w ogóle zrobić? Jedyne na co wpadłem i działa to brute-force który robi tyle bool query co dni
mordechaj_blumstein
mordechaj_blumstein
  • 0
@metaforyczny_kierowca:

A po co iteracja po availableDaysOfWeek?

Może źle to ująłem. Zmatchowany availability_period w połączeniu z querowaną datą, musiałby zawierać któryś z available_days_of_week. Pewnie do zrobienia, ale czy tak rozbudowany skrypt to nie anty-pattern?

AvailabilityPeriod jest typu object czy nested?

Nested.
metaforyczny_kierowca
metaforyczny_kierowca
  • 0
@mordechaj_blumstein: czyli to nie tylko data, która jest w przedziale i nie jest excluded, ale też dzień tygodnia musi się zgadzać? Pokręcone mocno. Rozbudowanie skryptu i jego wydajność to już trade-off i zależy jak często będzie wykonywany.

Może rozwiązaniem byłaby zmiana indeksów? Każdy schedule miałby swój indeks i routowanie byłoby w aplikacji.
eehhh
eehhh
  • 0
#java #elasticsearch
Hejka, bawie sie w starym kodzie - spring boot i elasticserach. Widze, ze wykorzystywane jest high level api - z configu moge wyciagnac usera, haslo, host i port.
Jakie jest najlepsze narzedzie do podpatrzenia danych, indeksow i ogolnie struktury? W przypadku mongoDB korzystam z robo3t, w przypadku baz sql uzywam IntelliJ, a tutaj chcialbym od razu dobrze zaczac ʕ•ᴥ•ʔ
Gruba_kluska
Gruba_kluska
  • 0
Halo halo, czy jest na sali ekspert? Potrzebuję wyszukać podobnych/zduplikowanych ludzi, używam do tego more like this, tylko chciałbym, żeby to działało jak fuzzy like this (które niestety jest usunięte), bo może być literówka w imieniu/nazwisku itd. Czy ktoś może wie jak to osiągnąć?

#elasticsearch #programowanie
Burkhard
Burkhard
  • 0
Jakis mireczek ogarnia #elasticsearch? Bo mam do napisania kilka zapytan i jakos mi nie wychodzi :/

Generalnie mam mapping nastepujacy:

"location": {
"properties": {
"lat": {
"type": "float"
},
"lon": {
"type": "float"
}
}
}
I potrzebuje napisac zapytanie, ktore filtruje mi rekordy dla podanych koordynatow oraz maksymalnego promienia. W docsach elastica wszyskto jest fajnie z przykladem ale dla geopoint, a u mnie sa dwa floaty i nie chce
Burkhard
Burkhard
  • 0
@ckczm: To widzialem w docsach elasticsearcha, pierwotnie chodzilo mi o to jak to ubrac w dwa floaty. Bo to query ktore podales nie zadzialalaloby dla mojego mappingu float, float. Zmienilem mapping na geo_point i uzylem dokladnie takie zapytanie jakie podales wiec problem w sumie rozwiazany. Dzieki :)
carryON_
carryON_
  • 0
mam do przefiltrowania logi z apache, chciałbym wyszukać dane tylko dla konkretnych pul adresowych:

{
"query": {
"wildcard": {
"clientip": {
"value": "10.10.10*"
}
}
}
}
i fajnie, filtruje tylko logi dla adresów z puli 10.10.10.*, ale chciałbym, żeby to query zwróciło również dla 10.10.20.* oraz 10.10.30.*.

Jak to wrzucić w ten jeden query? Bo jak robię:
"value": ["10.10.10*", "10.10.20*", "10.10.30*"]

to niestety sie wysypuje. Adresy IP są u mnie w
paranoiddd
paranoiddd
  • 0
@carryON_: a może OR zamiast ||

Przepraszam ale obecnie nawet nie mam ELKa żadnego nawet pod ręką i trochę czasu mineło ale jestem pewien że tak działało. Patrząc na https://discuss.elastic.co/t/or-filter-with-kibana-5-0/65699 myślę że to właśnie ma być OR a nie jakieś tam patyczki xD
edit: cały czas mam na myśli Kibanę - do gołego elastica były zapytania term i bool które mogły robić match na wiele różnych wartości, ale ja zawsze wyszukiwałem
carryON_
carryON_
  • 0
@paranoiddd:

{

"query": {
"wildcard": {
"clientip": {
"value":"10.10.10." OR "value":"10.10.20." OR "value":"10.10.30.*"
}
}
}
}

niestety zwraca, że oczekuje przecinka zamiast 'O', czyli OR też mu się niestety nie podoba :D walczę dalej

Powiązane tagi