Big Data : problème, opportunité, gageure... ?

Imaginons de créer une bibliothèque totale qui contiendrait tous les livres : ceux déjà publiés et ceux à venir, ceux dont les mots forment des phrases et ont du sens, et ceux dont les mots ne seraient que des suites aléatoires de caractères. Cette idée n'est pas neuve puisque c'est celle de J.-L. Borgès (voir Wikipedia ici), qui s'était lui-même inspiré d'une nouvelle de K. Lasswitz.
Umberto Eco, fasciné par les bibliothèques (et c'est bien normal ! lire ici) l'a reprise en la modifiant dans son roman Le nom de la Rose, dont le film a contribué à le faire connaître du grand public.

Imaginons à présent, puisque nous sommes en 2014, de créer cette bibliothèque uniquement en version digitale, une bibliothèque numérique ne contenant que des e-books : ceux qui ont du sens et ceux qui n'en ont pas, ceux qui existent déjà, ceux qui existeront et ceux qui n'ont aucune raison d'exister puisqu'ils ne veulent rien dire. Alors inexorablement, de braves internautes inventeraient des mots comme Big Data, comme cyber-attaques, etc. pour évoquer les problèmes (technologiques) relatifs à cette immense base de données que constituerait cette e-bibliothèque.

Mais est-ce que le problème réside vraiment dans la capacité à stocker (physiquement) ces données, à les gérer habilement en optimisant l'accès à ces données dans cette immense base ? Il y a fort à parier, compte tenu des progrès constants en électronique notamment, que l'on parviendra un jour prochain (à plus ou moins brève échéance) à miniaturiser suffisamment les composants, à augmenter les vitesses de flux, ainsi que le nombre d'opérations par secondes dans un ordinateur, pour savoir gérer une telle base (toujours dans l'hypothèse qu'elle existe). Ce n'est qu'une question de délais.

Le problème est plutôt qu'une telle bibliothèque est juste... une chimère ! Il n'est pas possible qu'une telle base de données existe, pour des raisons conceptuelles en fait. En effet, même en listant tous les livres (avec un ordre ou sans ordre - on peut convenir que l'ordre serait une règle de rangement, ou même un système de règles de rangement), il existe un moyen de prouver qu'il existe encore un livre non catalogué dans cette liste en utilisant un argument tout simple, appelé argument diagonal (lire ici). Pour aller un peu plus loin, on pourrait d'ailleurs dire que cette immense bibliothèque, infinie, pourrait en fait être contenue dans un seul livre quitte à faire des pages de plus en plus fines, ou si l'on décide de fixer une fois pour toute le nombre de pages de ce livre total, il suffirait alors de réduire (à l'infini) la taille des caractères utilisés sur ce nombre fini des pages...

Et donc, puisqu'une base de données ne pourra être infinie, il reste deux options :
- inventer (pour la première fois) de l'infini, créer des modes de générations de l"infini (on risquerait de froisser Dieu si l'on y parvient !) sur des supports physiques finis éventuellement même de petit format ;
- ne pas envisager des bases de données toujours plus grandes susceptibles de créer des soucis techniques engendrés par leurs trop grandes tailles, mais plutôt des systèmes de base de données à la bonne taille (faciles à gérer, à maîtriser), compatibles, astucieusement interconnectés (tous les neurones ne sont pas reliés directement entre eux !).