linux系统编程-内存管理day05

linux实现了 请求页面调度 （在需要时将页面从硬盘交换进来，当不再需要时再交换出去），这使得系统中进程的虚拟地址空间与实际的物理内存大小没有直接的关系。

交换对进程来说是透明的，应用程序一般都不需要关心内核页面调度的行为。然而在下面 两种 情况下，应用程序可能希望影响系统的页面调度：

POSIX1003.1b-1993定义两个接口将一个或多个页面“锁定”在物理内存，来保证它们不会被交换到磁盘。

调用mlock( )将锁定addr开始长度为len个字节的虚拟内存。成功时函数返回0,失败返回-1,并适当设置errno。

mlockall( )函数锁定一个进程现有的地址空间在物理内存中的所有页面。

flags参数，是下面两个值的 按位或 *** 作，用以控制函数行为：（大部分应用程序会同时设定这两个值）

POSIX标准提供了两个接口用来将页从内存中解锁，允许内核根据需要将页换出至硬盘中。

内存锁定并不会重叠，所以不管mlock( )或mlockall( )了几次，仅一个munlock( )或munlockall( )会解除一个页面的锁定。

linux对于一个进程能锁定的页面数进行了限制：拥有 CAP_IPC_LOCK 权限的进程能锁定 任意多 的页面。没有这个权限的进程只能锁定 RLIMIT_MEMLOCK 个字节，默认情况下，该限制是 32KB 。

mincore( )函数，用来确定一个给定范围的内存是在物理内存中还是被交换到了硬盘中：

函数通过vec来返回向量，这个向量描述start（必须页面对齐）开始长为length（不需要对齐）字节的内存中的页面的情况。

Linux使用 投机性分配策略 ：当一个进程向内核请求额外的内存-如扩大它的数据段，或者创建一个新的存储器映射-内核作出了分配承诺但 实际上并没有分给进程任何的物理存储 。

这样处理有如下几个 优点 ：

超量使用的好处：和在应用请求页面就分配物理存储相比， 在使用时刻才分配物理存储的过量使用机制允许系统运行更多，更大的应用程序 。

但是，如果系统中的进程为满足超量使用而申请的内存大于物理内存和交换空间之和，内核只能杀死另一个进程并释放它的内存，以此来满足下一次的分配需求。

内核允许通过文件/proc/sys/vm/overcommit_memory关闭超量使用，和此功能相似的还有sysctl的vm.overcommit_memory参数。

在严格审计模式中，承诺的内存大小被严格限制在交换空间的大小加上 可调比例 的物理内存大小。

使用严格审计策略时要非常小心！许多系统设计者认为严格审计策略才是解决之道，然而， 应用程序常常进行一些不必要的、且只有使用超量使用才能满足的分配请求，而允许这种行为也是设计虚拟内存的主要动机之一。

“内存并不一定总是快”

Linux 中内存主要有匿名内存和 Page Cache 两种。

Linux *** 作系统内存管理策略是会尽可能的利用内存来做各种缓存，所以一般来说服务器所谓的free内存都会较少，当应用alloc申请内存的时候，如果free内存不足就会引发内存回收，这就是所谓的PageFault缺页，这时候系统会先使用异步方式的后台回收来提高应用申请内存这个 *** 作的响应速度。但是如果应用申请内存的速度大于系统后台回收的速度的话，就会进入所谓直接回收（Direct Reclaim）模式，这是一个同步的过程，应用会自旋等待内存回收完毕，产生比较大的延迟。见下图：

另一方面，内核会回收匿名内存页，并将其置换到磁盘里（这是Linux所谓虚拟内存的管理方式，磁盘上的这部分用来跟内存做交换的空间称为swap空间），匿名内存页一旦被换出然后再次被访问的时候，就会产生文件IO了（要从swap空间里把页加载回内存里），这也会导致比较大的延迟。见下图：

vm.extra_free_kbytes 和 vm.swappiness 两个内核参数可以针对PageFault和SwapOut两种内存访问延迟做调优。mlock 系统调用可以让应用程序“锁定”一块内存空间而不被内核swap出去。

万亿级数据洪峰下的分布式消息引擎-InfoQ

后记：

这篇小文来自于学习RocketMQ开发团队的技术分享文章（见参考），里边的“内存没那么快”观点笔者认为更确切说法应该是“内存并不总是那么快”，里边的Linux内存管理的一小段说明加深了笔者对之前了解的概念的理解，这些东西可能平时工作未必有什么用，但了解底层的东西总是会让人产生求知求所得的愉悦感受。看了阿里褚霸的个人背景简介，“14年c开发经验, 12年网络开发经验, 3年Linux内核开发”，他也遇到过“底层 IO(Input/Output) 技术。IO 技术涉及面非常广，驱动，块设备，文件系统，内存关系等等” ，做专家终归是要走入底层，到最后考验的是对系统、对计算机的理解。本文很水，而脚下这条路不知能走多远，但是想想不为什么就算只为求知的喜悦我也是愿意走下去的啊。这也是我为什么要建“系统底层”这个专题

以下是Linux系统调用的一个列表，包含了大部分常用系统调用和由系统调用派生出的的函数。这可能是你在互联网上所能看到的唯一一篇中文注释的Linux系统调用列表，即使是简单的字母序英文列表，能做到这么完全也是很罕见的。

按照惯例，这个列表以man pages第2节，即系统调用节为蓝本。按照笔者的理解，对其作了大致的分类，同时也作了一些小小的修改，删去了几个仅供内核使用，不允许用户调用的系统调用，对个别本人稍觉不妥的地方作了一些小的修改，并对所有列出的系统调用附上简要注释。

其中有一些函数的作用完全相同，只是参数不同。（可能很多熟悉C++朋友马上就能联想起函数重载，但是别忘了Linux核心是用C语言写的，所以只能取成不同的函数名）。还有一些函数已经过时，被新的更好的函数所代替了（gcc在链接这些函数时会发出警告），但因为兼容的原因还保留着，这些函数我会在前面标上“*”号以示区别。

一、进程控制：

fork 创建一个新进程

clone 按指定条件创建子进程

execve 运行可执行文件

exit 中止进程

_exit 立即中止当前进程

getdtablesize 进程所能打开的最大文件数

getpgid 获取指定进程组标识号

setpgid 设置指定进程组标志号

getpgrp 获取当前进程组标识号

setpgrp 设置当前进程组标志号

getpid 获取进程标识号

getppid 获取父进程标识号

getpriority 获取调度优先级

setpriority 设置调度优先级

modify_ldt 读写进程的本地描述表

nanosleep 使进程睡眠指定的时间

nice 改变分时进程的优先级

pause 挂起进程，等待信号

personality 设置进程运行域

prctl 对进程进行特定 *** 作

ptrace 进程跟踪

sched_get_priority_max 取得静态优先级的上限

sched_get_priority_min 取得静态优先级的下限

sched_getparam 取得进程的调度参数

sched_getscheduler 取得指定进程的调度策略

sched_rr_get_interval 取得按RR算法调度的实时进程的时间片长度

sched_setparam 设置进程的调度参数

sched_setscheduler 设置指定进程的调度策略和参数

sched_yield 进程主动让出处理器,并将自己等候调度队列队尾

vfork 创建一个子进程，以供执行新程序，常与execve等同时使用

wait 等待子进程终止

wait3 参见wait

waitpid 等待指定子进程终止

wait4 参见waitpid

capget 获取进程权限

capset 设置进程权限

getsid 获取会晤标识号

setsid 设置会晤标识号

二、文件系统控制

1、文件读写 *** 作

fcntl 文件控制

open 打开文件

creat 创建新文件

close 关闭文件描述字

read 读文件

write 写文件

readv 从文件读入数据到缓冲数组中

writev 将缓冲数组里的数据写入文件

pread 对文件随机读

pwrite 对文件随机写

lseek 移动文件指针

_llseek 在64位地址空间里移动文件指针

dup 复制已打开的文件描述字

dup2 按指定条件复制文件描述字

flock 文件加/解锁

poll I/O多路转换

truncate 截断文件

ftruncate 参见truncate

umask 设置文件权限掩码

fsync 把文件在内存中的部分写回磁盘

2、文件系统 *** 作

access 确定文件的可存取性

chdir 改变当前工作目录

fchdir 参见chdir

chmod 改变文件方式

fchmod 参见chmod

chown 改变文件的属主或用户组

fchown 参见chown

lchown 参见chown

chroot 改变根目录

stat 取文件状态信息

lstat 参见stat

fstat 参见stat

statfs 取文件系统信息

fstatfs 参见statfs

readdir 读取目录项

getdents 读取目录项

mkdir 创建目录

mknod 创建索引节点

rmdir 删除目录

rename 文件改名

link 创建链接

symlink 创建符号链接

unlink 删除链接

readlink 读符号链接的值

mount 安装文件系统

umount 卸下文件系统

ustat 取文件系统信息

utime 改变文件的访问修改时间

utimes 参见utime

quotactl 控制磁盘配额

三、系统控制

ioctl I/O总控制函数

_sysctl 读/写系统参数

acct 启用或禁止进程记账

getrlimit 获取系统资源上限

setrlimit 设置系统资源上限

getrusage 获取系统资源使用情况

uselib 选择要使用的二进制函数库

ioperm 设置端口I/O权限

iopl 改变进程I/O权限级别

outb 低级端口 *** 作

reboot 重新启动

swapon 打开交换文件和设备

swapoff 关闭交换文件和设备

bdflush 控制bdflush守护进程

sysfs 取核心支持的文件系统类型

sysinfo 取得系统信息

adjtimex 调整系统时钟

alarm 设置进程的闹钟

getitimer 获取计时器值

setitimer 设置计时器值

gettimeofday 取时间和时区

settimeofday 设置时间和时区

stime 设置系统日期和时间

time 取得系统时间

times 取进程运行时间

uname 获取当前UNIX系统的名称、版本和主机等信息

vhangup 挂起当前终端

nfsservctl 对NFS守护进程进行控制

vm86 进入模拟8086模式

create_module 创建可装载的模块项

delete_module 删除可装载的模块项

init_module 初始化模块

query_module 查询模块信息

*get_kernel_syms 取得核心符号,已被query_module代替

四、内存管理

brk 改变数据段空间的分配

sbrk 参见brk

mlock 内存页面加锁

munlock 内存页面解锁

mlockall 调用进程所有内存页面加锁

munlockall 调用进程所有内存页面解锁

mmap 映射虚拟内存页

munmap 去除内存页映射

mremap 重新映射虚拟内存地址

msync 将映射内存中的数据写回磁盘

mprotect 设置内存映像保护

getpagesize 获取页面大小

sync 将内存缓冲区数据写回硬盘

cacheflush 将指定缓冲区中的内容写回磁盘

五、网络管理

getdomainname 取域名

setdomainname 设置域名

gethostid 获取主机标识号

sethostid 设置主机标识号

gethostname 获取本主机名称

sethostname 设置主机名称

六、socket控制

socketcall socket系统调用

socket 建立socket

bind 绑定socket到端口

connect 连接远程主机

accept 响应socket连接请求

send 通过socket发送信息

sendto 发送UDP信息

sendmsg 参见send

recv 通过socket接收信息

recvfrom 接收UDP信息

recvmsg 参见recv

listen 监听socket端口

select 对多路同步I/O进行轮询

shutdown 关闭socket上的连接

getsockname 取得本地socket名字

getpeername 获取通信对方的socket名字

getsockopt 取端口设置

setsockopt 设置端口参数

sendfile 在文件或端口间传输数据

socketpair 创建一对已联接的无名socket

七、用户管理

getuid 获取用户标识号

setuid 设置用户标志号

getgid 获取组标识号

setgid 设置组标志号

getegid 获取有效组标识号

setegid 设置有效组标识号

geteuid 获取有效用户标识号

seteuid 设置有效用户标识号

setregid 分别设置真实和有效的的组标识号

setreuid 分别设置真实和有效的用户标识号

getresgid 分别获取真实的,有效的和保存过的组标识号

setresgid 分别设置真实的,有效的和保存过的组标识号

getresuid 分别获取真实的,有效的和保存过的用户标识号

setresuid 分别设置真实的,有效的和保存过的用户标识号

setfsgid 设置文件系统检查时使用的组标识号

setfsuid 设置文件系统检查时使用的用户标识号

getgroups 获取后补组标志清单

setgroups 设置后补组标志清单

八、进程间通信

ipc 进程间通信总控制调用

1、信号

sigaction 设置对指定信号的处理方法

sigprocmask 根据参数对信号集中的信号执行阻塞/解除阻塞等 *** 作

sigpending 为指定的被阻塞信号设置队列

sigsuspend 挂起进程等待特定信号

signal 参见signal

kill 向进程或进程组发信号

*sigblock 向被阻塞信号掩码中添加信号,已被sigprocmask代替

*siggetmask 取得现有阻塞信号掩码,已被sigprocmask代替

*sigsetmask 用给定信号掩码替换现有阻塞信号掩码,已被sigprocmask代替

*sigmask 将给定的信号转化为掩码,已被sigprocmask代替

*sigpause 作用同sigsuspend,已被sigsuspend代替

sigvec 为兼容BSD而设的信号处理函数,作用类似sigaction

ssetmask ANSI C的信号处理函数,作用类似sigaction

2、消息

msgctl 消息控制 *** 作

msgget 获取消息队列

msgsnd 发消息

msgrcv 取消息

3、管道

pipe 创建管道

4、信号量

semctl 信号量控制

semget 获取一组信号量

semop 信号量 *** 作

5、共享内存

shmctl 控制共享内存

shmget 获取共享内存

shmat 连接共享内存

shmdt 拆卸共享内存

---