软件下载网站cms现代农业园网站建设方案

1. 大数据

  大数据的定义：一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。
  特征：
  1.海量的数据规模
  2.快速的数据流转
  3.多样的数据类型
  4.价值密度低
  上述特征可以缩小成5个特点：大量、高速、多样、价值、真实性。

2. Hadoop简介

  Hadoop是一个由Apache软件基金会开发的分布式系统基础架构，它实现了一个分布式文件系统HDFS。HDFS具有高容错性，可以部署在价格低廉的硬件上，能提供高吞吐量来访问应用程序的数据。Hadoop的另一个核心设计就是MapReduce，MapReduce为海量的数据提供了计算。

3. Hadoop伪分布式安装

  我推荐看Hadoop官网的单点伪分布式安装，一定要完成Pseudo-Distributed Operation中的配置。
  这里我推荐使用Docker，我已经制作好了一个单点伪分布式的Hadoop镜像。拉取该镜像的命令：docker pull mengsui/single_node_hadoop:4.0。
  使用该镜像运行容器的命令：docker run -d --gpus all -p 8080:8080 -p 8088:8088 -p 9870:9870 mengsui/single_node_hadoop:4.0(我在其中配置了nvidia-container-toolkit，可以使用宿主机的GPU)。
  9870是WebHDFS的端口，8088是 YARN ResourceManager Web UI的端口，8080是code-server(vscode网页版的端口)。

4. Hadoop启动

  启动命令：start-dfs.sh start-yarn.sh。
  关闭命令：stop-dfs.sh stop-yarn.sh。
  检查启动是否成功：jps。启动成功，在jps命令下会显示ResourceManager、DataNode、SecondaryNameNode、NameNode、NodeManager。

  启动完后，直接点击8088和9870端口的连接，即可进入如下界面。

参考

吴章勇 杨强著 大数据Hadoop3.X分布式处理实战