Microsoft Azure AI Content Safety introduce metodi avanzati per il rilevamento di contenuti dannosi

Oggi, Microsoft ha fatto annunci significativi riguardanti le funzionalità di sicurezza dell’IA generativa. Tra queste, è stato introdotto un nuovo strumento all’interno del framework Azure AI Content Safety , mirato a rilevare e correggere i contenuti allucinati generati dall’IA. Inoltre, Microsoft ha rivelato che il suo Azure OpenAI Service inizierà a implementare filigrane invisibili nelle immagini generate tramite il modello DALL-E 3.

Inoltre, Microsoft continua a concentrarsi sulla sicurezza dell’IA con l’anteprima pubblica della sua innovativa API Multimodal all’interno del servizio Azure AI Content Safety. Questa API è progettata per identificare contenuti dannosi o inappropriati, indipendentemente dal fatto che provengano da creatori umani o da strumenti di IA.

Secondo un post sul blog di Microsoft:

L’API multimodale accoglie sia input di testo che di immagini. È progettata per il rilevamento multi-classe e multi-gravità, consentendo di classificare i contenuti in varie categorie e assegnare un punteggio di gravità a ciascuna. Per ogni categoria, il sistema fornisce un livello di gravità che va da 0, 2, 4 e 6. Un numero più alto indica una maggiore gravità del contenuto.

Questa API Multimodal appena lanciata può identificare contenuti dannosi sia nel testo che nelle immagini, inclusi gli emoji, che potrebbero contenere argomenti non sicuri o inappropriati. Ciò comprende contenuti espliciti, incitamento all’odio, violenza, autolesionismo e contenuti sessuali. Microsoft sottolinea che l’API può rilevare tali contenuti, anche quando appaiono in una combinazione di testo e immagini, che potrebbero altrimenti essere innocui se analizzati individualmente.

Nella sua dichiarazione, Microsoft ha evidenziato:

Raggiungendo questi obiettivi, la funzionalità di rilevamento multimodale promuove un’esperienza utente più sicura e rispettosa, consentendo la generazione di contenuti creativi e al tempo stesso responsabili.

Inoltre, Microsoft ha sottolineato che la nuova API multimodale è in grado di rilevare rapidamente i contenuti dannosi, impedendone la diffusione agli utenti di varie applicazioni o servizi.

Fonte