Il 10 agosto 2026 Vass Bednar pubblica su The Walrus Google Search Is Dying. What Comes Next Is Worse, aggiornato l’11. Il sottotitolo dice la tesi: «As AI eats the web, the internet’s collective memory is disappearing». L’articolo mette in fila il degrado dei risultati, il traffico che Wikipedia perde perché i sistemi di AI ne riusano i contenuti senza rimandare al sito, le difficoltà dell’Internet Archive e la cancellazione di archivi editoriali; e propone che il Canada tratti la ricerca come infrastruttura, «rather than a “free” consumer service».

L’articolo non riporta le cifre sulla portata della crisi della ricerca. Propone inoltre di trattare la ricerca come infrastruttura pubblica a livello del motore predefinito; il livello dell’indice resta secondario nell’analisi. Di seguito le misure della crisi e lo stato dell’indice aperto europeo.

Le cifre

Link rot. Il Pew Research Center ha esaminato circa un milione di pagine, novantamila per ciascun anno dal 2013 al 2023: il 38% delle pagine esistenti nel 2013 non è più raggiungibile, e così il 25% dell’intero campione. Fra le pagine di siti di notizie, il 23% contiene almeno un link morto; fra quelle governative, il 21%. Su 50.000 voci di Wikipedia in inglese il 54% ha almeno un riferimento che punta a una pagina scomparsa, e l’11% dei riferimenti è irraggiungibile. Il campione viene da uno snapshot di Common Crawl del marzo-aprile 2023, dettaglio che conta per il seguito.

Wikipedia. Il 17 ottobre 2025 la Wikimedia Foundation pubblica il dato dopo aver corretto il rilevamento dei bot: le visualizzazioni umane di maggio e giugno 2025 calano di «roughly 8% as compared to the same months in 2024». Marshall Miller lo lega al fatto che «search engines are increasingly using generative AI to provide answers directly to searchers rather than linking to sites like ours».

FiveThirtyEight. Il sito chiude nel marzo 2025 con il licenziamento della redazione. A metà maggio 2026 sparisce l’archivio, e il 19 maggio Nate Silver ne fa il conto: «about 200,000 person-hours of work that ABC News just deleted». La verifica costa una riga di curl: il 13 agosto 2026 fivethirtyeight.com, gli indirizzi dei progetti e quelli dei singoli articoli rispondono 200 dopo un reindirizzamento su abcnews.com/politics. Al posto di ogni pezzo c’è la home della sezione politica, quindi nemmeno un 404 che segnali a un crawler la scomparsa.

Il motore predefinito

Il 4 giugno 2026 il Parlamento europeo ha cambiato il motore predefinito nei browser istituzionali, Edge e Firefox, da Google a Qwant: 720 deputati più il personale amministrativo, con Google reimpostabile a mano. È la mossa che Bednar propone per il Canada.

In parallelo si è mosso il piano della responsabilità. Il 28 maggio 2026 il Landgericht München I, causa 26 O 869/26, ha stabilito che le risposte di AI Overview sono contenuto proprio di Google — «an independent presentation for which [Google] is responsible» — e ha escluso le esenzioni degli articoli 4-6 del Digital Services Act, perché il sistema «independently compiles the information» invece di limitarsi a mostrare contenuti altrui. La decisione non è definitiva.

Chi tiene l’indice

Il motore predefinito determina chi formula la risposta. L’indice su cui la risposta è costruita sta un livello sotto, e lì la sostituzione è più lenta: Qwant ha un proprio crawler, forte sui contenuti francesi ed europei, e per la copertura globale ha integrato a lungo i risultati di Bing.

Dal 2025 quella dipendenza si riduce per via commerciale. Qwant ed Ecosia hanno costituito European Search Perspective e costruito Staan, indice interamente europeo che dall’agosto 2025 serve circa il 30% delle interrogazioni in Francia e da luglio 2026 opera anche in Germania, con accesso via API aperto ad altri motori e ad applicazioni di AI.

Gli artefatti aperti

Al livello dell’indice gli artefatti aperti sono due, e fanno cose diverse.

Common Crawl è un corpus. Una fondazione 501(c)(3) nata nel 2007 pubblica oltre 300 miliardi di pagine su quindici anni, con 3-5 miliardi di pagine nuove al mese, scaricabili liberamente. È la materia prima da cui si costruisce, ed è la base su cui Pew ha misurato il link rot: senza quel corpus quella misura non esisterebbe, e nemmeno la discussione che ne segue.

Open Web Index è un indice. Nasce dal progetto OpenWebSearch.eu, programma Horizon Europe, convenzione 101070014, coordinato dall’Università di Passavia con undici partecipanti e finanziato con 8.502.621,75 euro. Mette a disposizione circa un petabyte di dati web, con accesso via interfaccia programmatica su openwebindex.eu sotto una licenza riservata a progetti di ricerca e sviluppo.

Su CORDIS il progetto risulta chiuso dal 28 febbraio 2026. L’indice resta in fase di test e continua a essere aggiornato, e la pagina di stato del progetto non pubblica alcun piano di continuazione. Le amministrazioni europee stanno cambiando il motore predefinito nello stesso semestre in cui l’unico indice aperto del continente ha esaurito la convenzione che lo pagava.

Una proposta

Sull’apertura ho una posizione vecchia e non neutrale, e la tengo anche qui: fra le due strade la seconda mi sembra quella che regge, e non perché sia più economica. Un indice commerciale europeo risolve la dipendenza geografica e lascia in piedi quella strutturale, perché chi interroga a pagamento un indice altrui non può verificarne le omissioni. Un indice aperto si può interrogare, contare e contestare, che è la stessa proprietà per cui un artefatto conta solo se qualcuno può verificarlo.

Quattro cose sono già disponibili e chiedono una decisione, non un’invenzione.

  • Rifinanziare l’indice aperto. L’infrastruttura esiste, gira e produce un petabyte; la convenzione è scaduta a febbraio dopo tre anni e mezzo e 8,5 milioni. Rimetterla in bilancio è una decisione amministrativa, e il costo tecnico di ripartire da fermi sarebbe più alto di quello di non fermarsi.
  • Allargare la licenza. L’accesso riservato a ricerca e sviluppo tiene fuori proprio chi costruirebbe i motori che dovrebbero usarlo. Il precedente utile è Common Crawl, aperto anche all’uso commerciale, ed è per questo che ci si costruisce sopra da quindici anni.
  • Metterlo dove si conserva. Le biblioteche nazionali hanno già mandato e bilancio per il deposito legale, compresa la parte digitale. Un indice pubblico del web appartiene a quel perimetro, accanto a chi archivia, non a un consorzio a termine.
  • Comprare guardando l’indice. Un’amministrazione che cambia il motore predefinito può chiedere nel capitolato quale indice risponde e a quali condizioni. È la stessa domanda che in altri contesti distingue una policy da un’architettura, e cambia gli incentivi di chi vende.

Nel frattempo la parte che dipende da ciascuno è piccola e concreta: archiviare quello che si cita. Le pagine di FiveThirtyEight che sopravvivono sono quelle che qualcuno aveva mandato alla Wayback Machine prima del reindirizzamento.

Limiti

Le cifre di Pew misurano il 2013-2023 e descrivono il web di allora. Il calo dell’8% di Wikipedia è un confronto fra due mesi dopo una revisione del rilevamento dei bot, quindi indica una direzione e non una serie storica; la Fondazione stessa lo presenta così. Sulla sentenza di Monaco ho letto la decisione riportata e non il fascicolo, e non è definitiva. Non ho eseguito interrogazioni sull’Open Web Index, quindi sulla qualità e sulla copertura di quell’indice non dico nulla: ho verificato lo stato amministrativo del progetto, la licenza dichiarata e la mole annunciata. Se dopo febbraio è stato deciso un finanziamento di continuazione e non è pubblicato dove ho guardato, questa parte dell’articolo invecchia bene e volentieri.

Immagine di copertina: schedario della Biblioteca Roncioniana di Prato, foto di Sailko, 2020 — CC BY-SA 4.0 — https://commons.wikimedia.org/wiki/File:Prato,_biblioteca_roncioniana,_scalone,_schedario_02.jpg