Big Data

–> Liste des bases de don­nées en Open Data
–> Voir les SGBD traditionnels

News:

• Uni­ver­sité de Delft: un disque dur capa­ble de manip­uler de sim­ple atom­es. Ce disque dur atom­ique a une den­sité de stock­age 500 fois supérieure à ceux de tech­nolo­gie actuelle.
• Com­ment l’alimenter son IA ? Une réponse: L’ Open Data !
• Mai 2016: Un cours sous la forme d’un MOOC sur le Big Data réal­isé par l’é­cole des Mines Télé­com Paris­Tech. C’est la 4ième ses­sion, à quand la prochaine ? Voici un petit extrait sur NoSQL/newSQL.

Le BIG DATA en quelques mots:

• Quand ? Quand cela devient trop dur à traiter par une seule machine (>100 To). Mais le réseau reste une bar­rière (1To, c’est 2H30 à 1Gb/s et 1 Po, c’est 100J à 1 Gb/s). Ex: 2.9 M emails/sec. Amazon:72,9 achats/s. Google : 25 Po/jour. Youtube : 20h uploadés/min. En astronomie, LSST, c’est 100 Po d’images.
• Map-Reduce est un tem­plate d’ar­chi­tec­ture infor­ma­tique, inven­té par Google, dans lequel sont effec­tués des cal­culs parallèles/distribués, de don­nées volu­mineuses (>1 To).  En gros, la base est découpée et la requête est traitée par plusieurs machines simultanément.
• Hadoop par Apache Soft­ware Foun­da­tion: Stock­age des don­nées : HDFS (Hadoop Dis­trib­uted File Sys­tem) et Map-Reduce. Voir machine virtuelle pré­con­fig­urée à cette adresse (3.2Go).