定义： linux：Linux是一套免费使用和*传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的 操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核 心的设计思想，是一个性能稳定的多用户网络操作系统。 hdfs：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分 布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适 合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用——————————————————————————————————————————————————————————————————————————————————————————————————————— *******************************************************linux******************************************* ——————————————————————————————————————————————————————————————————————————————————————————————————————— ①命令格式： 命令 -选项 参数 单个选项：ls -l /us 多个选项：ls –la /root ②快捷键： ctrl + c（停止当前进程） ctrl + z 挂起当前进程，放后台 ctrl + l（清屏，与clear命令作用相同） 对当前命令行的操作： ctrl + a 行首 ctrl + e 行尾 ③基础命令 —————————————————————————————————————————— 、帮助 —————————————————————————————————————————— man help --help which cd //查看命令所在位置 whereis cd //查看命令所在位置 —————————————————————————————————————————— 、路劲切换 —————————————————————————————————————————— cd ~ //回到当前用户home中 cd / //回到根下 cd - //回到上一次目录下 —————————————————————————————————————————— 、目录 —————————————————————————————————————————— mkdir //新建目录 mkdir -p //递归新建目录 touch //新建文件 pwd //当前目录（绝对路劲） ls //简略显示目录信息，如不加目录，则表示当前目录 ls -l //详细显示 <==>ll ls -a //包括隐藏文件 ls -h //包括文件大小 例子： touch ./a.txt ./b.txt //新建文件 ls /etc //显示详细信息 —————————————————————————————————————————— 、复制、粘贴、移动 —————————————————————————————————————————— cp -r : 递归处理，复制目录 -p : 保留文件属性 （原文件的时间不变） eg: cp –R /ect /root mv eg: mv /ect /root · rm -r : 删除目录及其所有文件 -f : 强制删除 eg: rm –rf /ect —————————————————————————————————————————— 、其他命令 —————————————————————————————————————————— cat -a : 包括隐藏字符 -n : 并查看行号 head -n : 查看文件前几行（n为具体的数字） eg : head – ./txt tail -n : 查看文件后几行（n为具体的数字） ln ln -s /etc ./etc_1 //创建文件/etc的软链接etc_1 —————————————————————————————————————— vim/vi Unix / Linux上 常用的文本编辑器而且功能非常强大。 a //进入编辑状态 esc //退出 —————————————————————————————————————— tar eg: tar -zcvf dir1.tar.gz dir1 //将目录dir1打包并压缩 eg: tar -zxvf dir1.tar.gz -C(大写的) /root //解压到指定的/root目录 —————————————————————————————————————— find(文件查找) —————————————————————————————————————— -name //按名称查找 区分大小写 -iname //按名称查找 不区分大小写 ————————————————————————————————— *：匹配所有 ？：匹配单个字符 eg:find /etc -name “init???” ————————————————————————————————— -size eg:find /etc -size - eg:find /etc -size //在etc目录下找出小于(大于)100MB的文件 ————————————————————————————————— -type f 二进制文件 l 软连接文件 d 目录 c 字符文件 eg: find /dev -type c ————————————————————————————————— ————————————————————————————————————— grep(内容查找) -c ：输出匹配行的次数（是以行为单位，不是以出现次数为单位） -i ：忽略大小写，所以大小写视为相同 -n ：显示匹配行及行号 -v ：反向选择，显示不包含匹配文本的所有行。 eg: grep “init”/etc/inittab //显示在inittab文件中，init匹配行 eg: grep -n “init”/etc/inittab //显示在inittab文件中，init匹配行及行号 eg: grep -c“init”/etc/inittab //显示在inittab文件中，init匹配了多少次 —————————————————————————————————————— netstat（网络端口、连接信息） -a : all显示所有连接和监听端口 -t : (tcp)仅显示tcp相关选项 -u : (udp)仅显示udp相关选项 -n : 使用数字方式显示地址和端口号 -p : 显示socket的PID和进程的名字 -l ：（listening） 显示监控中的服务器的socket eg : netstat -nltp //查看端口信息 eg : netstat -nltp | grep //查看端口80的信息 —————————————————————————————————————— ps（进程信息） -a：显示所有用户的进程 -u：显示用户名和启动时间 -x：显示没有控制终端的进程 -e：显示所有进程，包括没有控制终端的进程 -l：长格式显示 -f: 进程的详细信息 eg : ps -ef //查看所有进程及详细信息（常用） Kill kill - 进程号 //（强行关闭） 常用 kill - 进程号 //（重启进程） —————————————————————————————————————— shutdown -h:关机 -r:重启 shutdown -h now 立即关机 shutdown -h : 定时关机 —————————————————————————————————————— —————————————————————————————————————————— ④配置命令： —————————————————————————————————————————— service network restart //重启网络，配置ip使用 source /etc/profile //刷新环境变量 vi /etc/hostname //配置主机名称，配置之后不需要刷新 vi /etc/hosts //配置主机映射 vi /etc/profile //环境变量 cd /etc/sysconfig/network //ip配置目录 scp -r /opt/app/hadoop s11:/opt/app/ //递归分发 sudo chown -R hadoop:hadoop /opt/app/zookeeper-/ //更改所属 —————————————————————————————————————————— ⑤用户管理命令： —————————————————————————————————————————— useradd 用户名 passwd 用户名 userdel 用户名 userdel -r 用户名 //删除用户以及home下的文档 chown root:root ./dir //修改dir的所有者和所属组 chown –R root:root ./dir //修改dir及其子目录的所有者和所属组 （必须大写R） 用户权限：u(所属者:)，g(所属组:)，o(其他:) chmod u+x,o-x a.txt //给所属者增加执行权限， //其他减去执行权限 chmod a.txt ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— *******************************************************HDFS命令**************************************************************************************************** ——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— 、DFS命令（最好写绝对路劲） ———————————————————————————————————————————————————————————————————— ———————————————————————————————————————————————————————————————————— [-mkdir [-p] <path> ...] //创建文件夹 [-rmdir [--ignore-fail-on-non-empty] <dir> ...] //删除一个文件、非空文件夹， [-rm [-f] [-r|-R] [-skipTrash] <src> ...] //递归删除文件及文件夹 [-put [-f] [-p] [-l] <localsrc> ... <dst>] //上传文件到HDFS [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //下载文件到本地 [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] //从本地拷贝文件到HDFS上 [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] //从HDFS上拷贝文件到本地 [-moveFromLocal <localsrc> ... <dst>] //从本地剪切文件到HDFS上 [-moveToLocal <src> <localdst>] //从HDFS上剪切文件到本地 [-cat [-ignoreCrc] <src> ...] //只能查看普通的文件，不能查看二进制的文件 [-text [-ignoreCrc] <src> ...] //text 可以查看所有类型的文件 [-df [-h] [<path> ...]] //查看HDFS上可用空间 [-du [-s] [-h] <path> ...] //统计文件或者文件夹的大小 [-chgrp [-R] GROUP PATH...] //修改权限 [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] //修改权限 [-chown [-R] [OWNER][:[GROUP]] PATH...] //修改权限 _________________________________________________________________________________________________________________ eg: hdfs dfs //查看所有dfs命令 hdfs dfs -help cat //帮助命令，命令参数没有- hdfs dfs -mkdir -p /input/input2/input3 //创建文件夹 hdfs dfs -rm -r -f /input/input2/input3 //强制递归删除文件 hdfs dfs -put -p /root/local2 / //上传文件夹 hdfs dfs -put -P /root/local2/* /input //上传文件 hdfs dfs -put -P /root/1.txt /1.xml //上传文件并改名 hdfs dfs -get -p /input /root/local2 //下载文件夹 hdfs dfs -get -p /input/* /root/local2 //下载文件 copyFromLocal copyToLocal moveFromLocal moveToLocal hdfs dfs -cat /input/1.txt //查看内容,不能查看二进制文件 hdfs dfs -text /input/1.txt //查看内容 hdfs dfs -df /input //产看可用空间 hdfs dfs -du /input/1.txt //统计文件或者文件夹的大小 hdfs dfs -chown -R hadoop:hadoop /input //递归修改权限 hdfs dfs -chomd -R 777 /input //递归修改权限 hdfs dfsadmin -safemode <enter | leave | get | wait> //设置安全模式，刚开始启动HDFS时，前30s是安全模式，只读 hdfs dfsadmin -enter //进入安全模式 hdfs dfsadmin -leave //离开安全模式 hdfs dfsadmin -refreshNodes //刷新hdfs yarn rmadmin -refreshNodes //刷新yarn ———————————————————————————————————————————————————————————————————— ————————————————————————————————————————————————————————————————————