大數據包括什么?
大數據技術龐大而復雜,基礎技術包括數據采集、數據預處理、分布式存儲、NoSQL數據庫、數據倉庫、機器學習、并行計算、可視化等技術類別和不同技術層次。
大數據主要技術組件:Hadoop、Hbase、kafka、Hive、MongoDB、Redis、Spark、Storm、Flink等。
大數據技術包括數據采集、數據管理、數據分析、數據可視化、數據安全等。數據收集包括傳感器收集、系統日志收集和網絡爬蟲。數據管理包括傳統數據庫技術、nosql技術,以及針對大規模數據的大數據平臺,如hadoop、spark、storm等。數據分析的核心是機器學習,當然包括深度學習和強化學習,還有自然語言處理、圖形和網絡分析。