Servizi · AI e dati
Il punteggio è la parte facile. La risposta difendibile è il lavoro.
Costruiamo sistemi di classificazione e rilevamento per contesti in cui qualcuno deve agire sull’output e poi giustificare l’azione — davanti a un’autorità di vigilanza, a un comitato compliance, a un cliente il cui messaggio è stato bloccato. In quei contesti "lo ha detto il modello" non è una risposta, e un sistema che non sa fare di meglio è un rischio con un buon punteggio di validazione.
Due dei quattro casi presenti su questo sito sono costruiti così: un motore di rilevamento per il traffico SMS e un sistema di compliance che compila la normativa finanziaria in regole eseguibili. Il metodo che segue è ciò che hanno in comune.
Non negoziabile
Quattro cose su cui insistiamo prima di costruire qualsiasi cosa
- Provenienza fino alla fonte, non al set di addestramento. Un output deve indicare l’evidenza che lo ha prodotto — i caratteri della norma da cui proviene, le feature che hanno spostato il punteggio, i messaggi che hanno formato la campagna. La "spiegabilità" come pannello di una dashboard è decorazione; una traccia che qualcuno può seguire fino a un documento è un deliverable.
- Una persona le cui decisioni diventano il modello successivo. I giudizi dell’analista — questa è una frode, questo è un falso positivo, questo template è marketing legittimo — devono tornare indietro come dati etichettati. Prevedetelo dall’inizio, oppure il sistema toccherà il suo massimo il giorno della consegna.
- I dati restano dentro il vostro perimetro. Contenuti, stato del modello e registro delle decisioni da parte vostra; in uscita un insieme definito di aggregati. Nei settori regolamentati questa è una precondizione, non una preferenza.
- Un’anomalia non è la conferma di nulla. Questa frase appartiene al linguaggio del prodotto stesso, non a una nota in calce. Un sistema che chiama una deviazione "frode" insegna ai suoi utenti a smettere di leggere, e il giorno in cui conterà non leggeranno.
La forma del sistema
Un ciclo, dentro il vostro perimetro
Ogni sistema di questo tipo che abbiamo costruito ha le stesse quattro stazioni e lo stesso confine attorno a esse. La quarta stazione è quella che i progetti saltano, e saltarla è la ragione per cui tanti sistemi di rilevamento vengono spenti in silenzio nel loro secondo anno.
La domanda che tutti fanno per seconda
Dove un modello linguistico ha senso, e dove no
I modelli linguistici sono straordinariamente capaci di leggere testo scritto per esseri umani e trasformarlo in qualcosa di strutturato. È una capacità reale e la usiamo. Non sono un substrato per una decisione che deve poter essere ricostruita in seguito, e trattarli come tale è oggi l’errore costoso più comune in questa categoria.
Nel sistema di compliance presente su questo sito la divisione è esplicita. Un modello linguistico aiuta a convertire il testo giuridico — nella sua lingua nazionale, non tradotto prima in inglese — in una rappresentazione tipizzata che conserva span a livello di carattere verso la fonte. Il ragionamento che produce effettivamente un alert gira su un solver, con sCASP ed Event Calculus, così ogni alert porta con sé un albero di giustificazione che indica le parole esatte della norma da cui proviene.
Costruire il livello di ragionamento con un modello linguistico sarebbe stato più rapido e si sarebbe dimostrato meglio. Avrebbe però prodotto un sistema incapace di rispondere all’unica domanda che conta in una conversazione con il regolatore: quale regola, e dove è scritto.
Un numero misurato
Pubblicato con il metodo, perché altrimenti è decorazione
La maggior parte dei numeri che ci farebbero bella figura appartiene ai nostri clienti ed è coperta dai loro accordi. Questo è nostro, dal nostro banco di prova, ed è qui con abbastanza metodo allegato perché possiate non essere d’accordo.
Misurazione dell’aggiornamento posteriore bayesiano online di change-point su un batch di 10.000 righe — il componente che modella come si presenta il comportamento normale di un dato mittente e la probabilità che il comportamento attuale se ne sia discostato:
- R64: mediana CPU 16.7281 ms contro GPU 3.8999 ms — un fattore di 4.29.
- R256: mediana CPU 68.0209 ms contro GPU 16.4431 ms — un fattore di 4.14.
- Condizioni: Apple M5, PyTorch 2.14, float32, CPU a thread singolo, GPU sincronizzata, misurazione del 15 settembre 2026.
Che cosa quel numero non è
Esclude la decodifica del protocollo, lo scoring del rischio di coda, la correlazione delle campagne e qualsiasi azione intrapresa su una rete. È un test numerico locale su una macchina di classe laptop, non una postazione NVIDIA e non una cifra di throughput end-to-end, e non può essere confrontato con le dichiarazioni di transazioni al secondo dei fornitori di firewall inline.
Che è il senso di pubblicarlo così. Un fattore di accelerazione senza metodo sotto è un asset di marketing; lo stesso fattore con i suoi limiti scritti è un’evidenza.
Dove lo abbiamo fatto
Due sistemi, con il loro stato reale indicato
Normativa compilata in regole eseguibili
Per una holding finanziaria internazionale operante in più di venti paesi: normativa in lingua nazionale convertita in un’ontologia tipizzata con span a livello di carattere, e poi in regole che un solver può eseguire su un flusso di transazioni, producendo alert con alberi di giustificazione. Stato: in fase di implementazione — la pipeline di compilazione, l’ambiente delle regole ed entrambe le interfacce funzionano; la copertura delle giurisdizioni è in corso. Leggete il caso
Rilevamento sul traffico SMS
Classificazione dei contenuti, rilevamento della lingua, normalizzazione del testo che resiste all’offuscamento deliberato, collegamento delle campagne, un’API analitica e la pipeline di etichettatura che trasforma le decisioni degli analisti nel modello successivo. Il lavoro bayesiano sul profilo del mittente descritto sopra è ricerca costruita sopra di esso ed è indicato come tale, non venduto come consegnato. Leggete il caso
Domande adiacenti
Quattro casi in cui siamo il fornitore sbagliato
Volete un chatbot sui vostri documenti
Un assistente di retrieval su un corpus interno è una cosa ragionevole da volere e un mercato ben servito. Non è ciò che questa pagina descrive, e i fornitori che lo fanno tutto il giorno lo faranno meglio e a meno di quanto faremmo noi.
Non c’è uno storico etichettato e non c’è nessuno che etichetti
Allora il primo progetto non è un modello. È strumentare la decisione perché fra sei mesi ci sia qualcosa da cui imparare. Lo diremo, ed è una delusione meno costosa al primo mese che al nono.
Il numero deve salire e il perché non conta
A volte è una posizione commerciale perfettamente razionale — un motore di raccomandazione, un sistema di ranking pubblicitario. In quel mondo tutto il nostro metodo è sovraccarico, e dovreste comprare da qualcuno il cui metodo non lo è.
Deve girare nel cloud di un fornitore
Se i vostri contenuti devono uscire dal vostro perimetro perché il sistema funzioni, non siamo noi il fornitore — non perché non sappiamo costruirlo, ma perché passeremmo il progetto ad argomentare contro l’architettura che siamo stati assunti per costruire.
Domande
Quelle che decidono se valga la pena iniziare
Vi servono i nostri dati prima di poter dire qualcosa di utile?
Ci serve guardarli, non prenderli. La prima conversazione riguarda quale decisione il modello dovrebbe sostenere, chi prende oggi quella decisione e che cosa guarda mentre la prende. Quella conversazione è di solito più informativa del dataset, perché rivela se la cosa che volete prevedere è effettivamente registrata da qualche parte. Un numero sorprendente di progetti finisce lì, e finisce a basso costo.
Il sistema può funzionare interamente dentro la nostra infrastruttura?
Sì, e negli ambienti regolamentati è l’unica architettura che proponiamo. Il contenuto dei messaggi, lo stato del modello e il registro delle decisioni restano dentro il vostro perimetro; ciò che esce è un insieme concordato di aggregati — identificativo dell’installazione, versione, stato di salute, volume per la fatturazione. Non è una funzionalità, è una condizione per essere installabile: un’architettura che invia i contenuti al cloud di un fornitore non supera il primo questionario sulla protezione dei dati nella maggior parte dei processi di procurement.
Quale accuratezza potete promettere?
Nessuna, prima di aver visto i vostri dati, e diffideremmo di chiunque la promettesse. Ciò a cui ci impegniamo è un protocollo di misurazione concordato in anticipo: quale metrica, su quali dati tenuti da parte, contro quale baseline — compresa la baseline di ciò che le vostre persone ottengono oggi. Un modello che non batte niente in particolare è un numero, non un risultato.
Usate modelli linguistici di grandi dimensioni?
Dove sono lo strumento giusto, cioè leggere e strutturare testo in linguaggio naturale — e non come ciò che produce una decisione che qualcuno deve difendere. Nel sistema di compliance descritto in questa pagina un LLM aiuta a trasformare il testo giuridico nella sua stessa lingua in una rappresentazione strutturata, e il ragionamento che produce un alert gira su un solver, così l’output può essere ricondotto ai caratteri esatti della fonte. Usare un modello linguistico come livello di ragionamento sarebbe stato più rapido da costruire e impossibile da sottoporre ad audit.
Di chi sono i modelli?
Vostri, insieme alla pipeline di addestramento, ai dati etichettati e all’impianto di valutazione. I modelli addestrati sui vostri dati sono vostri, restano nel vostro repository, e la pipeline che li ha prodotti è documentata abbastanza bene perché un altro team possa riaddestrarli senza di noi. Lo standard di passaggio di consegne è qui lo stesso di qualunque altro sistema che costruiamo.
Che cosa succede dopo la consegna, quando i dati cambiano?
È previsto in progetto, non scoperto dopo. Un sistema come questo dà il meglio il giorno in cui viene consegnato e peggiora ogni mese successivo, a meno che le decisioni degli analisti continuino a tornarvi dentro come dati etichettati. Quel ciclo è parte della costruzione e non una fase successiva — senza di esso avete comprato un’istantanea delle frodi dell’anno scorso, o della normativa dell’anno scorso.
Prossimo passo
Descrivete la decisione, non il dataset
Chi decide oggi, che cosa guarda mentre decide e che cosa succede quando sbaglia. Quelle tre risposte decidono se un modello serva a qualcosa qui.
Partite dalla decisione
Una risposta da qualcuno che vi dirà se la cosa che volete prevedere non è registrata da nessuna parte — che è il risultato abituale.
ProveLeggete i due casi
Entrambi i sistemi, con ciò che è stato consegnato, ciò che è ancora in fase di implementazione e le cifre che non ci è permesso pubblicare.