Big Data

–> Liste des bases de don­nées en Open Data
–> Voir les SGBD tra­di­tion­nels

News:

  • Uni­ver­sité de Delft: un disque dur capa­ble de manip­uler de sim­ple atom­es. Ce disque dur atom­ique a une den­sité de stock­age 500 fois supérieure à ceux de tech­nolo­gie actuelle.
  • Com­ment l’alimenter son IA ? Une réponse: L’ Open Data !
  • Mai 2016: Un cours sous la forme d’un MOOC sur le Big Data réal­isé par l’école des Mines Télé­com Paris­Tech. C’est la 4ième ses­sion, à quand la prochaine ? Voici un petit extrait sur NoSQL/newSQL.

Le BIG DATA en quelques mots:

  • Quand ? Quand cela devient trop dur à traiter par une seule machine (>100 To). Mais le réseau reste une bar­rière (1To, c’est 2H30 à 1Gb/s et 1 Po, c’est 100J à 1 Gb/s). Ex: 2.9 M emails/sec. Amazon:72,9 achats/s. Google : 25 Po/jour. Youtube : 20h uploadés/min. En astronomie, LSST, c’est 100 Po d’images.
  • Map-Reduce est un tem­plate d’architecture infor­ma­tique, inven­té par Google, dans lequel sont effec­tués des cal­culs parallèles/distribués, de don­nées volu­mineuses (>1 To).  En gros, la base est découpée et la requête est traitée par plusieurs machines simul­tané­ment.
  • Hadoop par Apache Soft­ware Foun­da­tion: Stock­age des don­nées : HDFS (Hadoop Dis­trib­uted File Sys­tem) et Map-Reduce. Voir machine virtuelle pré­con­fig­urée à cette adresse (3.2Go).

Fièrement propulsé par WordPress | Thème : Baskerville 2 par Anders Noren.

Retour en haut ↑

%d blogueurs aiment cette page :