Hej Mirki, mam taką zagwozdkę. Posiadam klienta, który bardzo poważnie traktuje jakiekolwiek udostępnianie swoich danych zewnętrznym firmom. Stawiamy teraz pewne rzeczy na azure. Jednak ciągle nas blokują ze wgl. na bezpieczeństwo.
Znacie może narzędzie, które
a) szyfruje prompt llma generowany przez klienta, i
b) szyfruje output tego prompta.
Musi to działać tak, żeby ani Azure, ani nikt inn,y poza klientem nie miał wglądu ani w input ani output. Sprawdzałem Private.AI i Protopia AI, ale to chyba nie to.
Bawiłem się też z hashowaniem i finetuningiem llmów pod anonimizację, ale nie wiem czy to dobra droga. Znacie coś wartego polecenia?
@JamesJoyce jedyny pomysł jaki mam, to fork llama 3, w którym wysyłasz zaszyfrowanego prompta, odszyfrowujesz w trakcie inferencji i zwracasz znowu zaszyfrowane, i odszyfrowujesz na kliencie/urzadzeniu. Wszystko robisz na replicate.com Odpadną koszty utrzymania całego hardware i płacisz jedynie za czas trwania inferencji + cold boot. Będzie to wolniejsze ale powinno zaspokoić wymagania twojego klienta
Edit: wsadzanie hasha zamiast czystego prompta wg mnie nie ma sensu: ogromna entropia, no i jak byś
@tylkosieturozgladam: oo, dzięki, przetestuję ten pomysł. W sumie ma to sens, jeśli spora część narzędzi nie będzie zablokowana. Co do hashów, to do podobnych wniosków doszedłem. Ślepa uliczka.
Posiadam klienta, który bardzo poważnie traktuje jakiekolwiek udostępnianie swoich danych zewnętrznym firmom. Stawiamy teraz pewne rzeczy na azure
@JamesJoyce: Jako konsultant (ekspert) lepiej stwierdzić, że realizacja projektu jest w takich warunkach niemożliwa. Inaczej bierzesz na siebie ryzyko. Przekonaj ich, żeby zainwestowali w lokalną infrastrukturę albo, lepiej, opracowali strategię chmurową.
@pa6lo: Robię to. Jestem w trakcie wycen i planowania architektury. Tylko architektura potrzebuje nie tylko sprzętu, ale też ludzi, których im brak.
No i uwzięli się na tę chmurę. 2 lata potrzebował ich Legal, żeby wgl. to klepnąć. Komedia. Ale jako konsultant doradzam im zgodnie ze swoją wiedzą, którą uważam za ekspercką. Mam czyste sumienie. Jak się nie da, to nie.
@JamesJoyce: Dokładnie. Nie ma sensu brać na siebie odpowiedzialności mając klienta, który uważa, że Big Brother będzie podglądał ich dane. Niech sobie dostawią kolejny serwer w piwnicy. Bezpieczeństwo danych to kwestia dobrze opracowanej i wdrożonej strategii chmurowej. W UK klienci i kontraktorzy w sektorze nuklearnym i obronnym pracują na Azure. Microsoft ma nawet ofertę dla rządu USA.
Nie rozumiem trochę problemu kiedy klient i tak ma wszystko oparte na microsofcie i 365 - azure to jest to samo środowisko. To wszystko i tak jest on premise. Wszystko łącznie z inferencjami gpt odbywa się w infrastrukturze MS. No chyba, że klient w ogóle nie korzysta z offica itd?
@JamesJoyce: ja się też z tym boksowałem jakiś czas temu, ale doszliśmy do wniosku po rozmowach z kanadyjskim teamem ms/azure, że to nie ma sensu za bardzo. Tzn jeśli klient ma swoje tajne dane w jakikolwiek sposób na chmurze 365 czyli chociażby w mailach, to jest ta sama chrmura, w której jest azure i gpt. Kminiliśmy nad postawieniem llamy 3.1 lokalnie, ale z tym z jest mnóstwo niepotrzebnej zabawy i
W wieku 30 lat odkryłem dwie rzeczy. Tostami nie najesz się choćbyś zjadł 6-7, krokietami również. Jem już chyba 5 krokieta i czuję, że muszę coś zjeść innego, żeby się najeść ( ͡°͜ʖ͡°)
Hej Mirki,
mam taką zagwozdkę. Posiadam klienta, który bardzo poważnie traktuje jakiekolwiek udostępnianie swoich danych zewnętrznym firmom.
Stawiamy teraz pewne rzeczy na azure. Jednak ciągle nas blokują ze wgl. na bezpieczeństwo.
Znacie może narzędzie, które
a) szyfruje prompt llma generowany przez klienta, i
b) szyfruje output tego prompta.
Musi to działać tak, żeby ani Azure, ani nikt inn,y poza klientem nie miał wglądu ani w input ani output. Sprawdzałem Private.AI i Protopia AI, ale to chyba nie to.
Bawiłem się też z hashowaniem i finetuningiem llmów pod anonimizację, ale nie wiem czy to dobra droga. Znacie coś wartego polecenia?
Edit: wsadzanie hasha zamiast czystego prompta wg mnie nie ma sensu: ogromna entropia, no i jak byś
@JamesJoyce: Jako konsultant (ekspert) lepiej stwierdzić, że realizacja projektu jest w takich warunkach niemożliwa. Inaczej bierzesz na siebie ryzyko. Przekonaj ich, żeby zainwestowali w lokalną infrastrukturę albo, lepiej, opracowali strategię chmurową.
No i uwzięli się na tę chmurę. 2 lata potrzebował ich Legal, żeby wgl. to klepnąć. Komedia. Ale jako konsultant doradzam im zgodnie ze swoją wiedzą, którą uważam za ekspercką. Mam czyste sumienie. Jak się nie da, to nie.
@JamesJoyce: Dokładnie. Nie ma sensu brać na siebie odpowiedzialności mając klienta, który uważa, że Big Brother będzie podglądał ich dane. Niech sobie dostawią kolejny serwer w piwnicy. Bezpieczeństwo danych to kwestia dobrze opracowanej i wdrożonej strategii chmurowej. W UK klienci i kontraktorzy w sektorze nuklearnym i obronnym pracują na Azure. Microsoft ma nawet ofertę dla rządu USA.
Kminiliśmy nad postawieniem llamy 3.1 lokalnie, ale z tym z jest mnóstwo niepotrzebnej zabawy i