《OD学hadoop》第一周0625

时间:2023-03-09 15:13:33
《OD学hadoop》第一周0625

一、实用网站

1. linux内核版本 www.kernel.org

2. 查看网站服务器使用的系统  www.netcraft.com

二、推荐书籍

1. 《Hadoop权威指南》

1-3版: Hadoop1系列

4版(目前仅有英文原版):Hadoop2系列

yarn高可用性,HA

2. 《Hive权威指南》

3. 《MapReduce设计模式》

4. 《HBase权威指南》

5. 《鸟哥的Linux私房菜》

6. 《Vim使用技巧》、《学习vi和Vim编辑器》

三、Linux基础

无线网密码: kang1234

1. centos用户名密码 root 123456

2. 常用命令

1)ifconfig查看网络信息

清屏  clear 或者ctrl+l

2)Linux系统下设置静态IP或自动获取动态IP的简单方法

vi /etc/sysoconfig/network-scripts/ifcfg-eth0

DNS1=192.168.189.2(网关地址)

service network restart

more /etc/resolv.conf

mac中的linux需要修改mac地址

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata-senior01.ibeifeng.com

ping通外网需要增加DNS

3)copy的Linux虚拟机网卡问题

http://www.dabu.info/vmware-clone-or-copy-the-linux-virtual-machine-eth0-not-find-the-solution-vmware-copy-copy-or-clone-clone-no-card-rpm.html

http://www.cnblogs.com/yiru/archive/2012/12/03/2799079.html

4)远程连接

SecurityCRT,xshell,xmanager, filezilla, notepad++

5)linux一切皆文件,目录也是文件

6)etc目录

ls -la /etc/

more

ONBOOT=yes

BOOTPROTO=none、DHCP、static(实际工作用的较多)

7)root目录

root用户的主目录(家目录)

8)home目录

9)bin sbin

10)boot 系统启动时加载的文件

11)ls命令

ls -l (long)

ls -a (all)

ls -la

ls -d 查看目录本身属性

ls -ld

12)mkdir

mkdir -p 级联创建目录

13)touch

touch "program files" 创建带空格的文件

14)rmdir

rmdir 删除空的目录

15)

rm 删除一个文件

rm -r 删除一个目录,有提示

rm -rf 删除非空目录,无提示

16)cp

cp -r

17)mv

18)

增:

删:

改:

查: Linux 查看文件内容的命令

cat:

more: 分页显示   空格分页查看,回车逐行查看

head: 查看文件开始行 head -n

tail:查看文件末尾行  tail -n

find: 查找

第一种:根据文件名来查找

在搜索的时候,尽量缩小搜索的范围,减少搜索的时间和资源消耗。

* 代表任意字符

? 代表任意单个字符

find / -name init

find /etc/ -name init

find /etc/ -name *init*

find /etc/ -name init*

find /etc/ -name init???

-i 不区分大小写

find /etc/ -iname init???

第二种,根据文件的大小来查找

find / -size

+ 表示大小

- 表示小于

不加 表示等于

-size  后面跟的大小是按照数据块的大小来进行缓存的

Linux中数据块大小是512字节,0.5K

100MB, 1MB = 1024KB, 100MB = 102400 KB

find / -size +204800

第三种,根据文件所有者查找

find /root/ -user root

第四种,根据文件所有组查找

find /root/ -group root

-a and

-o or

-type f  d

大于80M且小于100M

find /etc/ -size +163860 -a -size -204800

小于80M或者大于100M

find /etc/ -size -163860 -o -size +204800

find /etc/ -name init* -a -type f

19) Linux权限

drwxr-xr-x

d 代表data,表示目录,可以理解为一个占位符

rwx: 所有者(user,u)

r-x:所属组(group, g)

r-x:  其他人(other, o)

r: 读 cat、head、more、tail

w: 写 mkdir、touch、vi、rm、cp、mv

x:执行 cd

第一种用字母表示: u,g,o

第二种用数字表示:

r:4

w:2

x: 1

-rwxr-xr-x 755

-rw-r--r-- 644

示例:

(1)用字母赋予权限

修改权限命令:chmod

赋予权限用加号+表示:chmod u+x program

同时赋予权限 chmod g+x,o+x program

撤销权限chmod g-x progam

(2)用数字赋予权限(工作中用数字较多)

chmod 777 program

(3)目录有权限,则目录中的文件也会有文件

20)

root:x:0:0:root:/root:/bin/bash

每一列以冒号隔开,其中第三列和第四列:UID和GID

组:teacher组中t1,t2,t3...

cat /etc/passwd

cat /etc/group

创建用户: user add xxx

创建组: groupadd xxx

设置密码:

第一种设置密码方式 passwd username

第二种设置密码方式 echo 'beifeng' | passwd --stdin username

不仅切换了用户而且联通shell环境也一起切换: su - username

切换的仅仅是用户: su username

id root

uid=0(root) gid=0(root) groups=0(root)

uid=500(beifeng) gid=500(beifeng) groups=500(beifeng)

删除用户:

userdel username

userdel -r username

sudo username

21)man

man visudo

man 5 sudoers

四、VI编辑器

linux下vi命令大全

1. VI的三种模式

(1)命令模式

esc 进入命令模式

(2)插入模式

(3)最后行模式

shift + :

w  写入保存

q  退出

wq 保存并退出

! 强制操作

q! 不保存修改直接退出

2. 快捷键

(1)光标快速移动到最后一行  大写G

(2)显示行数 shift + :       set nu

(3)光标快速移动到第一行  小写gg

(4)删除光标所在行  小写dd

(5)删除多行,比如三行,小写3dd

(6)撤回修改   小写u

(7)粘贴 小写p

(8)赋值,复制yy

(9)替换,:1$s/nologin/88888/g

1代表第一行

$代表最后一行

s代表替换

/nologin  被替换内容

/88888 替换内容

g代表通行替换

1,$ 就是一个范围,