#programista15k #programowanie #cybersecurity #sztucznainteligencja #p... (@JamesJoyce)

#programista15k #programowanie #cybersecurity #sztucznainteligencja #python #it

Hej Mirki,
mam taką zagwozdkę. Posiadam klienta, który bardzo poważnie traktuje jakiekolwiek udostępnianie swoich danych zewnętrznym firmom.
Stawiamy teraz pewne rzeczy na azure. Jednak ciągle nas blokują ze wgl. na bezpieczeństwo.

Znacie może narzędzie, które

a) szyfruje prompt llma generowany przez klienta, i

b) szyfruje output tego prompta.

Musi to działać tak, żeby ani Azure, ani nikt inn,y poza klientem nie miał wglądu ani w input ani output. Sprawdzałem Private.AI i Protopia AI, ale to chyba nie to.

Bawiłem się też z hashowaniem i finetuningiem llmów pod anonimizację, ale nie wiem czy to dobra droga. Znacie coś wartego polecenia?

Najlepsze
Wszystkie komentarze

kraszanator

kraszanator 2 l.

@JamesJoyce: Może postawienie lokalnie tego llma przez jakieś ollama czy inny vllm? Nic nie jest wysyłane na zewnątrz jak nie ma zewnętrza.

tylkosieturozgladam

tylkosieturozgladam 2 l.

@JamesJoyce jedyny pomysł jaki mam, to fork llama 3, w którym wysyłasz zaszyfrowanego prompta, odszyfrowujesz w trakcie inferencji i zwracasz znowu zaszyfrowane, i odszyfrowujesz na kliencie/urzadzeniu. Wszystko robisz na replicate.com Odpadną koszty utrzymania całego hardware i płacisz jedynie za czas trwania inferencji + cold boot. Będzie to wolniejsze ale powinno zaspokoić wymagania twojego klienta

Edit: wsadzanie hasha zamiast czystego prompta wg mnie nie ma sensu: ogromna entropia, no i jak byś

pa6lo

pa6lo 2 l.

Posiadam klienta, który bardzo poważnie traktuje jakiekolwiek udostępnianie swoich danych zewnętrznym firmom. Stawiamy teraz pewne rzeczy na azure

@JamesJoyce: Jako konsultant (ekspert) lepiej stwierdzić, że realizacja projektu jest w takich warunkach niemożliwa. Inaczej bierzesz na siebie ryzyko. Przekonaj ich, żeby zainwestowali w lokalną infrastrukturę albo, lepiej, opracowali strategię chmurową.

JamesJoyce

JamesJoyce Autor 2 l.

@pa6lo: Robię to. Jestem w trakcie wycen i planowania architektury. Tylko architektura potrzebuje nie tylko sprzętu, ale też ludzi, których im brak.

No i uwzięli się na tę chmurę. 2 lata potrzebował ich Legal, żeby wgl. to klepnąć. Komedia. Ale jako konsultant doradzam im zgodnie ze swoją wiedzą, którą uważam za ekspercką. Mam czyste sumienie. Jak się nie da, to nie.

pa6lo

pa6lo 2 l.

Mam czyste sumienie. Jak się nie da, to nie.

@JamesJoyce: Dokładnie. Nie ma sensu brać na siebie odpowiedzialności mając klienta, który uważa, że Big Brother będzie podglądał ich dane. Niech sobie dostawią kolejny serwer w piwnicy. Bezpieczeństwo danych to kwestia dobrze opracowanej i wdrożonej strategii chmurowej. W UK klienci i kontraktorzy w sektorze nuklearnym i obronnym pracują na Azure. Microsoft ma nawet ofertę dla rządu USA.

Z151

Z151 2 l.

Nie rozumiem trochę problemu kiedy klient i tak ma wszystko oparte na microsofcie i 365 - azure to jest to samo środowisko. To wszystko i tak jest on premise. Wszystko łącznie z inferencjami gpt odbywa się w infrastrukturze MS. No chyba, że klient w ogóle nie korzysta z offica itd?

JamesJoyce

JamesJoyce Autor 2 l.

@kraszanator: Nie ma do tego infrastruktury.

JamesJoyce

JamesJoyce Autor 2 l.

@tylkosieturozgladam: oo, dzięki, przetestuję ten pomysł. W sumie ma to sens, jeśli spora część narzędzi nie będzie zablokowana. Co do hashów, to do podobnych wniosków doszedłem. Ślepa uliczka.

JamesJoyce

JamesJoyce Autor 2 l.

@Z151: Korzysta. Ale nie chce danych swoich klientów wrzucić w chmurę.

Z151

Z151 2 l.

@JamesJoyce: ja się też z tym boksowałem jakiś czas temu, ale doszliśmy do wniosku po rozmowach z kanadyjskim teamem ms/azure, że to nie ma sensu za bardzo. Tzn jeśli klient ma swoje tajne dane w jakikolwiek sposób na chmurze 365 czyli chociażby w mailach, to jest ta sama chrmura, w której jest azure i gpt.
Kminiliśmy nad postawieniem llamy 3.1 lokalnie, ale z tym z jest mnóstwo niepotrzebnej zabawy i