hadoop学习之Linux使用

时间:2021-10-13 22:48:30

Hadoop学习前准备工作

1、安装虚拟机(常用虚拟机:VirtualBox、VMWare)
2、安装Linux操作系统(可以直接将打包好的Linux操作系统的镜像文件拿来用,鼠标右键打开,打开方式选择一个虚拟机即可。)
常见Linux操作系统:Redhat、centos、ubuntu
3、打开虚拟机后,要进行虚拟机的设置:
内存设置:512M
网络设置:这里选用仅主机模式。(仅主机模式:虚拟机和Windows在一个单独的网段中。桥接模式:虚拟机和Windows在同一个网段中)
打开网络中心,找到设配器设置,会看到两个虚拟网卡,VMnet1和VMnet8,VMnet1是仅主机模式要用到的虚拟网卡,所以要启用这个网卡。右键打开网卡属性,
可以对其中的IPv4进行设置:例如:192.168.80.1 255.255.255.0 192.168.80.1 设置好后,可以在cmd中输入ipconfig进行查看。
注:有时打开镜像文件时,老是加载到最后就是进入不到界面,可以在虚拟机设置-->网络设配器-->高级-->在这里将MAC地址重新生成一下。
4、开启虚拟机
要在Linux里面,将其网络也要设置成仅主机模式
点击网络图标-->edit connections-->勾选上available to all user,点击IPv4 Settings-->将Method设置成手动(Manual),Add 192.168.80.100 255.255.255.0
192.168.80.1(这个ip是外面windows上虚拟网卡设置的那个)。
检查是否设置成功:
在Linux桌面右键打开命令行,输入ifconfig(跟Windows下不同),可以查看刚刚的相关设置。
注:有时候设置没有立即生效,可以重启网卡,在命令行中输入service network restart。都显示ok后,再次查看即可。

usename:hadoop password:hadoop (root hadoop)

检查Windows和Linux之间能不能相互访问
在Windows下, cmd->ping 192.168.80.100
在Linux下,Terminal-->ping 192.168.80.1
出现的问题:Windows下能ping通Linux,但是Linux不能ping同Windows?
解决办法:到Windows下,将Windows里面的网络防火墙关闭即可。

*************************************************************************
1.通过远程工具(PieTTY:在这个工具中输入远程Linux的ip地址就能登录到Linux的命令行中)登陆到linux后,所在的位置是当前登录用户的家目录(或主目录)(home directory)。
2.家目录的符号用~表示。家目录不是根目录。
3.linux的文件系统是一个树结构。
  linux文件系统的树根成为根目录,使用符号"/"表示。
  linux文件系统中使用符号".."表示上级目录。
  linux文件系统中使用符号"."表示当前目录。
  linux文件系统中,如果文件使用“.”开头,就表示隐藏文件
  linux的路径表示方式有两种,一种是绝对路径(以”/“开头的路径),一种是相对路径(从当前位置)
4.命令cd(change directory):跳转到其他目录 cd / cd ~
5.命令ls:查看目录下包含什么东西
  ls -l:显示详细信息
  ls -a:显示隐藏文件
6.命令pwd:显示当前所处位置的
7.命令clear:清屏
8.命令mkdir:创建文件夹 mkdir d1
  mkdir -p :递归创建上级文件夹 mkdir -p p1/p2/p3
9.命令touch:创建空白文件 touch f1
10.命令more:查看文件内容 more f1
11.命令rm:删除文件
  命令rmdir:删除文件夹
  命令rm -rf:删除文件(夹),不论层级多深,一概删除,并且不给出提示
12.命令cp(copy):复制文件,还有一个功能是创建新文件 cp install.log d1 cp f1 install.log.syslog 在f1同级目录下新建了一个install.log.syslog文件
13.命令mv(move): 移动文件,还有个功能是重命名 mv install.log d1
*********************************
VI操作:
(1)当使用命令vi f1回车时,进入了vi编辑器内,处于只读状态(只能看不能写);
(2)按字母”i“(insert)或者”a“(append)就可以进入编辑状态;
(3)按键盘上的”Esc“键,再按Shift+:(shift键+冒号),进入命令状态
如果输入命令wq,意味着保存退出;
如果输入命令q!,意味着不保存退出;
*********************************
linux的权限使用9位字符表示,rwx rwx rwx
这里面r表示读权限,w表示写权限,x表示执行权限,-表示没有权限

这9位字符,每3位一组,分为3组。
第一组表示创建者的权限;
第二组表示创建者所在组的权限;
第三组表示其他人的权限;

权限还可以使用数字表示。rwx用数字表示为4+2+1=7。
新创建文件的默认权限是644;新创建文件夹的默认权限是755.

命令chmod:修改权限,三个组分别使用u、g、o表示,赋权限使用“+”,去掉权限使用“-”。
chmod u+x f1 //表示文件f1的创建者增加执行权限
chmod o-r f1 //表示文件f1的其他人去掉读权限

hadoop学习之Linux使用的更多相关文章

  1. Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...

  2. Hadoop学习笔记—2&period;不怕故障的海量存储:HDFS基础入门

    一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多 ...

  3. Hadoop学习1--解决启动过程中的问题

    方法:http://www.aboutyun.com/thread-12694-1-1.html http://www.linuxidc.com/topicnews.aspx?tid=13 http: ...

  4. Hadoop学习笔记&lpar;2&rpar;

    Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...

  5. Hadoop学习笔记&lpar;5&rpar; ——编写HelloWorld&lpar;2&rpar;

    Hadoop学习笔记(5) ——编写HelloWorld(2) 前面我们写了一个Hadoop程序,并让它跑起来了.但想想不对啊,Hadoop不是有两块功能么,DFS和MapReduce.没错,上一节我 ...

  6. Hadoop学习笔记&lpar;3&rpar;——分布式环境搭建

    Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里, ...

  7. Hadoop学习笔记&lpar;2&rpar; ——解读Hello World

    Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...

  8. Hadoop学习笔记&lpar;1&rpar; ——菜鸟入门

    Hadoop学习笔记(1) ——菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户可以在不了解分布式底层细节的情况下,开发分布式程序. ...

  9. Hadoop学习笔记(两)设置单节点集群

    本文描写叙述怎样设置一个单一节点的 Hadoop 安装.以便您能够高速运行简单的操作,使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS). 參考官方文档:Hadoo ...

随机推荐

  1. oracle 行转列、列转行

    最近做数据处理,经常遇到需要行转列.列转行的场景,记录个非常简单实用的oracle  列转行.行转的列方法 1.行转列,基础数据如下 做行转列处理 处理SQL select user_name,max ...

  2. linux cron计划任务

    说明:Crontab是Linux系统中在固定时间执行某一个程序的工具,类似于Windows系统中的任务计划程序 下面通过详细实例来说明在Linux系统中如何使用Crontab 操作系统:CentOS ...

  3. Python之Flask Web开发

    下载python包管理工具Pip: 访问网址:https://pip.pypa.io/en/stable/installing/    下载文件get-pip.py到本地计算机 定位到get-pip. ...

  4. 图论(网络流):&lbrack;SDOI2010&rsqb; 星际竞速

    Description 10 年一度的银河系赛车大赛又要开始了.作为全银河最盛大的活动之一,夺得这个项目的冠军无疑是很多人的梦想,来自杰森座 α星的悠悠也是其中之一. 赛车大赛的赛场由 N 颗行星和M ...

  5. STM8S---IO复用配置&lpar;STVP方式&rpar;

    1 说明 STM8S的IO复用用程序代码配置起来比較麻烦.通常是操作flash来操作option byte字节.配置寄存器更加麻烦,能够使用STM 标准外设驱动库来设置. 本文使用一种界面配置的方式来 ...

  6. SVM阅读资料

    1,Andrew Ng机器学习公开课笔记 -- 支持向量机 2,http://blog.pluskid.org/?page_id=683 3,支持向量机SVM(一) 4,机器学习中的算法(2)-支持向 ...

  7. K3数据字典备查

    select distinct f.FNumber as 系统代码, f.FName AS 系统名称,  d.FTableName AS 表名,d.FDescription AS 表说明,a.[nam ...

  8. &lbrack;转载&rsqb; C&num; DllImport用法和路径问题

    DllImport是System.Runtime.InteropServices命名空间下的一个属性类,其功能是提供从非托管DLL导出的函数的必要调用信息. DllImport属性应用于方法,要求最少 ...

  9. 【uoj&num;280】&lbrack;UTR &num;2&rsqb;题目难度提升 对顶堆&plus;STL-set

    题目描述 给出 $n$ 个数 $a_1,a_2,...,a_n$ ,将其排为序列 $\{p_i\}$ ,满足 $\{前\ i\ 个数的中位数\}$ 单调不降.求字典序最大的 $\{p_i\}$ . 其 ...

  10. centOS7 apache ssl证书安装配置

    背景说明:服务器是centOS7.4 七牛申请的免费ssl证书 默认apache是没有安装SSL模块的,所以需要安装,接着使用命令: yum install -y mod_ssl apache目录 / ...