Già qualche tempo fa, ci siamo occupati di capire quali fossero le regole adottate dalle riviste cliniche e medico-scientifiche sull’utilizzo dell’AI (Leggi qui: Le regole dei Journals sull’uso dell’AI nella scrittura degli articoli scientifici – Clariscience) e quali fossero i principali AI-detector utilizzati dalle stesse per poterne rilevare l’utilizzo (Leggi qui: Integrità accademica sotto la lente di ingrandimento – Clariscience), evidenziandone vantaggi e limitazioni. Sebbene l’editoria scientifica abbia adottato queste misure a tutela dell’integrità accademica, la discussa affidabilità di questi strumenti nel rilevare con assoluta precisione contenuti generati da AI rimane un punto particolarmente delicato. La questione assume ancor più rilevanza se si considera che alcune riviste adottano gli strumenti di AI-detection nella fase preliminare del processo di valutazione di un manoscritto, precludendo ogni possibile valutazione umana qualora tale step non venga superato.
Vista la rilevanza che questo tema sta assumendo nel contesto accademico-scientifico, abbiamo voluto approfondire la questione partendo dalla domanda più semplice: Come capire se un testo è stato effettivamente scritto da ChatGPT?
Lo abbiamo chiesto al diretto interessato, e questo è quello che ci ha risposto: “In realtà non si può capire con certezza se un testo è stato scritto da ChatGPT o da un essere umano. Esistono alcuni indizi, ma nessuno è affidabile al 100%”.
Tra i diversi indizi, ci ha fornito quelli che possono essere, a suo dire, alcuni “possibili segnali di un testo generato da AI”.
Vediamoli insieme:
- Linguaggio molto fluido e grammaticalmente corretto.
- Struttura ordinata con introduzione, sviluppo e conclusione.
- Tono neutrale e bilanciato.
- Uso frequente di elenchi puntati.
- Pochi errori di battitura o refusi.
- Frasi che sembrano plausibili ma che possono contenere inesattezze fattuali.
- Ripetizione di certe formule (“In conclusione”, “È importante sottolineare che”, ecc.).
A leggerli, sembrerebbero far parte della buona prassi dello scrittore. D’altronde, l’obiettivo di chi scrive è proprio quello di mantenere una struttura ordinata, utilizzare un linguaggio fluido e comprensibile ed evitare refusi e ripetizioni, così da facilitare la lettura e renderla piacevole ed accessibile al lettore.
Ma, allora, e ancora, come capire se un testo è stato scritto effettivamente da ChatGPT?
Un altro modo è quello di avvalersi degli AI-detector (GPTZero, Originality AI, Copyleaks AIdetector, ecc) che, addestrati su modelli generati con AI e non, sono in grado di identificare, quando sottoposti a test, quali sarebbero, appunto, i testi generati da AI.
Tuttavia, ricordiamo, che anche gli AI detector non sono perfetti – come dichiarato dagli stessi sviluppatori – ed esiste il rischio di falsi positivi (testi umani classificati come AI) e falsi negativi (testi AI classificati come umani),
A questo si aggiunge, come già riportato nei nostri precedenti articoli, l’incapacità di questi strumenti di distinguere un contenuto interamente generato dall’AI da un contenuto semplicemente corretto grammaticalmente o migliorato nella readability. Questione non banale se consideriamo che – come riportato da un sondaggio pubblicato su Nature – la maggior parte degli autori che si avvale dall’AI, la utilizza per il miglioramento del linguaggio, e non per generare l’intero contenuto.
Il fatto che alcune case editrici utilizzino questi strumenti di rilevazione come primo step nella valutazione di un manoscritto può destare non poche perplessità. Questo sistema di filtraggio rischia, infatti, di compromettere la divulgazione di evidenze scientifiche – anche potenzialmente rilevanti – basandosi esclusivamente su un algoritmo che, per quanto ben addestrato, porta con sé un rischio di errore.
È chiaramente comprensibile che, anche l’editoria scientifica, così come altre realtà minacciate da un utilizzo smodato dell’AI, abbia messo in atto una serie di azioni volte a tutelare l’integrità accademica e la paternità dei contenuti. Tuttavia, l’attuale affidabilità degli strumenti di rilevazione non sembra ancora sufficiente per attribuire loro un ruolo così determinante nel processo editoriale. Un manoscritto rappresenta, spesso, il risultato di anni di ricerca, costi, e competenze, motivi per cui meriterebbe almeno una lettura umana.
L’auspicio è che il futuro dell’editoria scientifica non sia una caccia alle streghe, ma una valutazione il più possibile obiettiva e consapevole, capace di andare oltre la sola forma del testo scritto e di giudicare il reale valore e impatto di un’evidenza scientifica. Un giudizio che – almeno per ora – rimane profondamente umano.
Se siete curiosi di leggere il sondaggio pubblicato su Nature, lo trovate qui: AI and science: what 1,600 researchers think – PubMed
