虚拟化与云计算实验报告 doc

二．安装openssh:

同样的，以ubuntu为例，用户名为u： 第一步，确认已经连接上互联网，输入命令： sudo apt-get install ssh 第二步，配置可以无密码登陆本机: 首先查看在u用户下是否存在.ssh文件夹（注意ssh前面有“.”，这是一个隐藏文件夹），输入命令：ls –a /home/u。一般来说，安装ssh时会自动在当前用户下创建这个隐藏文件夹，如果没有的，可以手动创建一个。接下来，输入命令： ssh-keygen -t dsa -P '' –f ~/.ssh/id_dsa 在ubuntu中,~代表当前用户文件夹，这里即/home/u。

这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是ssh的一对私钥和公钥，类似于钥匙及锁，把id_da.pub（公钥）追加到授权的key里面去，输入命令：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 至此无密码登陆本机以安装完成。

第三步，验证ssh已安装成功及无密码登陆本机，输入命令： ssh localhost 如果可以登录，说明已经安装成功 第四步，将authorized_keys拷贝到其他主机 实际上，在hadoop的安装过程中，是否无密码登陆不是必须的，但是如果不配置无密码登陆的话，每次启动hadoop，都需要输入密码以登陆到每台daotanode，考虑到一般的hadoop集群动辄数十数百台机器，因此一般来说都会配置ssh的无密码登陆。

三．安装hadoop：

在安装hadoop前，我们需要先修改主机的几个配置文件：

在下面这个文件，添加你的主机需要识别的主机名及其对应的ip地址 /etc/hosts: 127.0.0.1 localhost 10.37.128.2 master 10.37.128.3 slave1 10.37.128.4 slave2 在下面这个文件修改你的主机名 /etc/hostname: 你的主机名（如master，slave1等） 同时根据需要，我们要在 /home/你的用户名 这个文件夹下创立tmp文件夹作为hdfs的存储文件夹。

在master上，下载hadoop-0.20.2.tar.gz并将其解压，这里将其解压到用户目录下，一般为/home/[你的用户名]/，这里假设用户名为u，进入conf文件夹，修改配置文件：

conf/Hadoop-env.sh: export JAVA_HOME=“你的java安装地址” 指定java位置 conf/core-site.xml: fs.default.name hdfs://master:9000 hadoop.tmp.dir /home/u/tmp 这是hadoop核心的配置文件，这里配置的是hdfs（hadoop的分布式文件系统）的地址及端口号，后一项配置为hdfs的存储文件夹，这个文件夹需要你自己创建。 conf/hdfs-site.xml: dfs.replication 2 dfs.name.dir /home/u/hdfs/name dfs.data.dir /home/u/hdfs/data 这是hadoop中hdfs的配置，配置的备份方式，默认为3。 conf/mapred-site.xml: mapred.job.tracker master:9001 这是hadoop中mapreduce的配置文件，配置的是jobtracker的地址及端口 conf/masters: master 这个文件指明了谁是master，也可以填写ip地址，填写主机名是为了便于区分。 conf/slaves: slave1 slave2 这个文件指明了谁是slave，同样也可以填写ip地址。

需要注意的是，如果安装的是0.20之前的版本，那么只有一个配置文件，即为hadoop-site.xml。

另一个需要注意的是hadoop的配置不仅仅这几项，hadoop在启动时，会用这几项的配置去修改默认配置，也就是说，hadoop有完整的默认配置，你在这里进行配置只是相当于修改hadoop的默认配置，这种做法既可以保证程序的安全性，不易出错，对于用户来说，这种做法也很方便。如果你想查看hadoop的默认配置，可以到docs中查看core-default.html, hdfs-default.html,和mapred-default.html这三个文件（0.20版本）.

修改完这几个文件之后，通过scp命令将hadoop文件夹发送到其他节点上（slave1，slave2），用户名为u scp –r /home/u/hadoop slave1:/home/u/ scp –r /home/u/hadoop slave2:/home/u/ 至此，hadoop就可以说是安装完成了

启动hadoop前，需格式化hadoop的文件系统hdfs（这点与windows是一样的，重新分区后的卷总是需要格式化的），在master上，进入hadoop文件夹

输入命令：bin/hadoop namenode –format

格式化文件系统，接下来，启动hadoop，输入命令：

bin/start-all.sh（全部启动） 最后，验证hadoop是否安装成功。 打开浏览器，分别输入网址 http://localhost:50030 (mapreduce的web页面) http://localhost:50070 (hdfs的web页面) 如果都能查看，说明hadoop已经安装成功。

对于hadoop来说，mapreduce及hdfs都是必须的，但是如果有必要的话，你依然可以只启动hdfs（start-dfs.sh）或mapreduce（start-mapred.sh）

如果你的hadoop并没有正常工作，那你可查看log文件加下的日志内容一查看哪里出现问题。

五．向hadoop集群添加新的节点

Hadoop的管理机制很灵活，你可以动态的添加节点，配置新添加的三个节点，我们先给他们分配ip地址

10.37.128.5—slave,datanode,tasktracker—slave3（主机名） 10.37.128.6—slave,datanode,tasktracker—slave4（主机名） 10.37.128.7—slave,datanode,tasktracker—slave5（主机名） 同样的，在新添加的节点上安装jdk1.6及openssh。

同样进行hadoop的配置，当然你也可以直接从master拷贝，修改masters及slaves文件（经测试，如果不修改，也可以连接上，但是你下次启动时需要再次手动连入集群）。

输入以下命令：

bin/hadoop-daemon.sh --config ./conf start datanode bin/hadoop-daemon.sh --config ./conf start tasktracker 这样就可以把新的节点联入集群中。

从上面这个你可以很明显的看出，第一步是启动datanode，第二步是启动tasktracker。 这里在介绍两个命令，就是重启坏死的节点，排除问题后，在坏死的节点上输入命令： bin/hadoop-daemon.sh start datanode bin/hadoop-daemon.sh start jobtracker 其实，参照上例，你可以看出，这个命令就是重启节点，也就是说，在重启的节点上输入启动命令，就可以把节点重新联入hadoop集群。

以上就是我们配置hadoop及日常使用时遇到的一些小问题。同时我们搭建了一个用于mapreduce编程的网站，你可以在上面练习编写mapreduce程序，网站的地址是cloudcomputing.ruc.edu.cn。现在开放注册。想要学习mapreduce编程的朋友可以先到这个网站上练习一下。

你对云计算的感想以及认识

认识：

云计算（Cloud Computing）是网格计算（Grid Computing ）、分布式计算（Distributed

Computing）、并行计算（Parallel Computing）、效用计算（Utility Com puting）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。Cloud Computing的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力！ 云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。云计算的基本原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。这可是一种革命性的举措，打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电的模式。它意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不同在于，它是通过互联网进行传输的。云计算的蓝图已经呼之欲出：在未来，只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。从这个角度而言，最终用户才是云计算的真正拥有者。云计算的应用包含这样的一种思想，把力量联合起来，给其中的每一个成员使用。

感想：

云计算为我们使用网络提供了几乎无限多的可能 ：为存储和管理数据提供了几乎无限多的空间，也为我们完成各类应用提供了几乎无限强大的计算能力。想像一下，当你驾车出游的时候，只要用手机连入网络，就可以直接看到自己所在地区的卫星地图和实时的交通状况，可以快速查询自己预设的行车路线，可以请网络上的好友推荐附近最好的景区和餐馆，可以快速预订目的地的宾馆，还可以把自己刚刚拍摄的照片或视频剪辑分享给远方的亲友?? 离开了云计算，单单使用个人电脑或手机上的客户端应用，我们是无法享受这些便捷的。个人电脑或其他电子设备不可能提供无限量的存储空间和计算能力，但在“云”的另一端，由数千台、数万台甚至更多服务器组成的庞大的集群却可以轻易地做到这一点。个人和单个设备的能力是有限的，但云计算的潜力却几乎是无限的。当你把最常用的数据和最重要的功能都放在“云”上时，我们相信，你对电脑、应用软件乃至网络的认识会有翻天覆地的变化，你的生活也会因此而改变。

互联网的精神实质是自由、平等和分享。作为一种最能体现互联网精神的计算模型，云计算必将在不远的将来展示出强大的生命力，并将从多个方面改变我们的工作和生活。无论是普通网络用户，还是企业员工，无论是IT管理者，还是软件开发人员，他们都能亲身体验到这种改变。