Linux里面什么线性内存？

Linux内存线性地址空间格局解析

实用平台：i386

Linux内存线性地址空间大小为4GB，分为2个局部：用户空间局部(等闲是3G)和内核空间局部(等闲是1G)。在此我们重要关怀内核地址空间局部。

内核穿越内核页大局目录来管教所有的物理内存，由于线形地址前3G空间为用户利用，内核页大局目录前768项(刚好3G)除0、1两项外全副为0，后256项(1G)用来管教所有的物理内存。内核页大局目录在编译时静态地定义为swapper_pg_dir数组，该数组从物理内存地址0x101000处开始储藏。

由图可见，内核线形地址空间局部从PAGE_OFFSET(等闲定义为3G)开始，为了将内核装入内存，从PAGE_OFFSET开始8M线形地址用来照射内核所在的物理内存地址；接下来是mem_map数组，mem_map的起始线形地址与系统构造相干，例如对于UMA构造，由于从PAGE_SIZE开始16M线形地址空间对应的16M物理地址空间是DMA区，mem_map数组等闲开始于PAGE_SIZE+16M的线形地址；从PAGE_SIZE开始到VMALLOC_START

–

VMALLOC_OFFSET的线形地址空间直接照射到物理内存空间(一一对应影射，物理地址=线形地址-PAGE_OFFSET)，这段区域的大小和机器切实具有的物理内存大小有关，这儿VMALLOC_OFFSET在x86上为8M，重要用来遏止越界讹谬；在内存比拟小的系统上，余下的线形地址空间(还要再扣除空白区即VMALLOC_OFFSET)被vmalloc()函数用来把不继续的物理地址空间照射到继续的线形地址空间上，在内存比拟大的系统上，vmalloc()利用从VMALLOC_START到VMALLOC_END(也即PKMAP_BASE扣除2页的空白页大小PAGE_SIZE)的线形地址空间，此刻余下的线形地址空间(还要再扣除2页的空白区即VMALLOC_OFFSET)又能够分成2局部：第一局部从PKMAP_BASE到FIXADDR_START用来由kmap()函数照射高端内存；第二局部，从FIXADDR_START到FIXADDR_TOP，这是一个安宁大小的线形地址空间，(引用：Fixed

virtual addresses are needed for subsystems that need to know the

virtual address at compile time such as the

APIC)，在x86系统构造上，FIXADDR_TOP被静态定义为0xFFFFE000,此刻这个安宁大小空间告终于全副线形地址空间最后4K前面，该安宁大小空间大小是在编译时计算出来并存储在__FIXADDR_SIZE变量中。真空断路器o:p>

正是由于vmalloc()利用区、kmap()利用区及安宁大小区的存在才使ZONE_NORMAL区大小受到局限，由于内核在运行时必需这些函数，因而在线形地址空间中起码要VMALLOC_RESERVE大小的空间。VMALLOC_RESERVE的大小与系统构造相干，在x86上，VMALLOC_RESERVE定义为128M，这即便为什么我们看到ZONE_NORMAL大小等闲是16M到896M的起因。

一个进程的虚拟地址空间主要由两个数据结来描述。一个是最高层次的：mm_struct，一个是较高层次的：vm_area_structs。最高层次的mm_struct结构描述了一个进程的整个虚拟地址空间。较高层次的结构vm_area_truct描述了虚拟地址空间的一个区间（简称虚拟区）。

1. MM_STRUCT结构

mm_strcut 用来描述一个进程的虚拟地址空间，在/include/linux/sched.h 中描述如下：

struct mm_struct {

struct vm_area_struct * mmap /* 指向虚拟区间（VMA）链表 */

rb_root_t mm_rb／*指向red_black树*/

struct vm_area_struct * mmap_cache/* 指向最近找到的虚拟区间*/

pgd_t * pgd ／*指向进程的页目录*/

atomic_t mm_users /* 用户空间中的有多少用户*/

atomic_t mm_count /* 对"struct mm_struct"有多少引用*/

int map_count /* 虚拟区间的个数*/

struct rw_semaphore mmap_sem

spinlock_t page_table_lock /* 保护任务页表和 mm->rss */

struct list_head mmlist /*所有活动（active）mm的链表 */

unsigned long start_code, end_code, start_data, end_data

unsigned long start_brk, brk, start_stack

unsigned long arg_start, arg_end, env_start, env_end

unsigned long rss, total_vm, locked_vm

unsigned long def_flags

unsigned long cpu_vm_mask

unsigned long swap_address

unsigned dumpable:1

/* Architecture-specific MM context */

mm_context_t context

}

对该结构进一步说明如下：

在内核代码中，指向这个数据结构的变量常常是mm。

每个进程只有一个mm_struct结构，在每个进程的task_struct结构中，有一个指向该进程的结构。可以说，mm_struct结构是对整个用户空间的描述。

一个进程的虚拟空间中可能有多个虚拟区间（参见下面对vm_area_struct描述），对这些虚拟区间的组织方式有两种，当虚拟区较少时采用单链表，由mmap指针指向这个链表，当虚拟区间多时采用“红黑树（red_black

tree）”结构，由mm_rb指向这颗树。在2.4.10以前的版本中，采用的是AVL树，因为与AVL树相比，对红黑树进行 *** 作的效率更高。

因为程序中用到的地址常常具有局部性，因此，最近一次用到的虚拟区间很可能下一次还要用到，因此，把最近用到的虚拟区间结构应当放入高速缓存，这个虚拟区间就由mmap_cache指向。

指针pgt指向该进程的页目录（每个进程都有自己的页目录，注意同内核页目录的区别）,当调度程序调度一个程序运行时，就将这个地址转成物理地址，并写入控制寄存器（CR3）。

由于进程的虚拟空间及其下属的虚拟区间有可能在不同的上下文中受到访问，而这些访问又必须互斥，所以在该结构中设置了用于P、V *** 作的信号量mmap_sem。此外，page_table_lock也是为类似的目的而设置。

虽然每个进程只有一个虚拟地址空间，但这个地址空间可以被别的进程来共享，如，子进程共享父进程的地址空间（也即共享mm_struct结构）。所以，用mm_user和mm_count进行计数。类型atomic_t实际上就是整数，但对这种整数的 *** 作必须是“原子”的。

另外，还描述了代码段、数据段、堆栈段、参数段以及环境段的起始地址和结束地址。这里的段是对程序的逻辑划分，与我们前面所描述的段机制是不同的。

mm_context_t是与平台相关的一个结构，对i386 几乎用处不大。

在后面对代码的分析中对有些域给予进一步说明。

2. VM_AREA_STRUCT 结构

vm_area_struct描述进程的一个虚拟地址区间，在/include/linux/mm.h中描述如下：

struct vm_area_struct

struct mm_struct * vm_mm /* 虚拟区间所在的地址空间*/

unsigned long vm_start/* 在vm_mm中的起始地址*/

unsigned long vm_end /*在vm_mm中的结束地址 */

/* linked list of VM areas per task, sorted by address */

struct vm_area_struct *vm_next

pgprot_t vm_page_prot /* 对这个虚拟区间的存取权限 */

unsigned long vm_flags/* 虚拟区间的标志. */

rb_node_t vm_rb

/*

* For areas with an address space and backing store,

* one of the address_space->i_mmap{,shared} lists,

* for shm areas, the list of attaches, otherwise unused.

*/

struct vm_area_struct *vm_next_share

struct vm_area_struct **vm_pprev_share

/*对这个区间进行 *** 作的函数 */

struct vm_operations_struct * vm_ops

/* Information about our backing store: */

unsigned long vm_pgoff/* Offset (within vm_file) in PAGE_SIZE

units, *not* PAGE_CACHE_SIZE */

struct file * vm_file /* File we map to (can be NULL). */

unsigned long vm_raend/* XXX: put full readahead info here. */

void * vm_private_data/* was vm_pte (shared mem) */

}

vm_flag是描述对虚拟区间的 *** 作的标志，其定义和描述如下

标志名描述

VM_DENYWRITE 在这个区间映射一个打开后不能用来写的文件。

VM_EXEC 页可以被执行。

VM_EXECUTABLE 页含有可执行代码。

VM_GROWSDOWN 这个区间可以向低地址扩展。

VM_GROWSUP 这个区间可以向高地址扩展。

VM_IO 这个区间映射一个设备的I/O地址空间。

VM_LOCKED 页被锁住不能被交换出去。

VM_MAYEXEC VM_EXEC 标志可以被设置。

VM_MAYREAD VM_READ 标志可以被设置。

VM_MAYSHAREVM_SHARE 标志可以被设置。

VM_MAYWRITEVM_WRITE 标志可以被设置。

VM_READ 页是可读的。

VM_SHARED 页可以被多个进程共享。

VM_SHM页用于IPC共享内存。

VM_WRITE页是可写的。

较高层次的结构vm_area_structs是由双向链表连接起来的，它们是按虚地址的降顺序来排列的，每个这样的结构都对应描述一个相邻的地址空间范围。之所以这样分割，是因为每个虚拟区间可能来源不同，有的可能来自可执行映象，有的可能来自共享库，而有的则可能是动态分配的内存区，所以对每一个由vm_area_structs结构所描述的区间的处理 *** 作和它前后范围的处理 *** 作不同。因此Linux

把虚拟内存分割管理，并利用了虚拟内存处理例程（vm_ops）来抽象对不同来源虚拟内存的处理方法。不同的虚拟区间其处理 *** 作可能不同，Linux在这里利用了面向对象的思想，即把一个虚拟区间看成一个对象，用vm_area_structs描述了这个对象的属性，其中的vm_operation结构描述了在这个对象上的 *** 作，其定义在／include／linux／mm.h中：

/*

* These are the virtual MM functions - opening of an area, closing and

* unmapping it (needed to keep files on disk up-to-date etc), pointer

* to the functions called when a no-page or a wp-page exception occurs.

*/

struct vm_operations_struct {

void (*open)(struct vm_area_struct * area)

void (*close)(struct vm_area_struct * area)

struct page * (*nopage)(struct vm_area_struct * area, unsigned long address, int unused)

}

vm_operations结构中包含的是函数指针；其中，open、close分别用于虚拟区间的打开、关闭，而nopage用于当虚存页面不在物理内存而引起的“缺页异常”时所应该调用的函数。

3．红黑树结构

Linux内核从2.4.10开始，对虚拟区的组织不再采用AVL树，而是采用红黑树，这也是出于效率的考虑，虽然AVL树和红黑树很类似，但在插入和删除节点方面，采用红黑树的性能更好一些，下面对红黑树给予简单介绍。

一颗红黑树是具有以下特点的二叉树：

每个节点着有颜色，或者为红，或者为黑

根节点为黑色

如果一个节点为红色，那么它的子节点必须为黑色

从一个节点到叶子节点上的所有路径都包含有相同的黑色节点数

Linux采用

虚拟

内存技术，系统中的所有进程之间以虚拟方式共享内存。对每个进程来说，它们好像都可以访问整个系统的所有物理内存。更重要的是，即使单独一个进程，它拥有的地址空间也可以远远大于系统物理内存。

进程地址空间由每个进程中的线性地址区组成，每个进程都有一个32位或64位的平坦（flat）空间，空间的具体大小取决于体系结构。“平坦”指地址空间范围是一个独立的连续区间。通常情况下，每个进程都有唯一的这种平坦空间，而且每个进程的地址空间之间彼此互不相干。两个不同的进程可以在它们各自地址空间的相同地址内存存放不同的数据。但是进程之间也可以选择共享地址空间，我们称这样的进程为线程。

在地址空间中，我们更为关心的是进程有权访问的虚拟内存地址区间，比如08048000~0804c000。这些可被访问的合法地址区间被成为内存区域（memory area），通过内核，进程可以给自己的地址空间动态地添加或减少内存区域。

进程只能访问有效范围内的内存地址。每个内存区域也具有相应进程必须遵循的特定访问属性，如只读、只写、可执行等属性。如果一个进程访问了不在有效范围中的地址，或以不正确的方式访问有效地址，那么内核就会终止该进程，并返回“段错误”信息。

?

内存区域可以包含各种内存对象，如下：

?

可执行文件代码的内存映射，成为代码段（text section）。

?

可执行文件的已初始化全局变量的内存映射，成为数据段（data section）。

?

包含未初始化全局变量的零页（也就是bss段）的内存映射。零页是指页面中的数据全部为0。

?

用于进程用户空间栈的零页的内存映射。

?

每一个诸如C库或动态链接程序等共享库的代码段、数据段和bss也会被载入进程的地址空间。

?

任何内存映射文件。

?

任何共享内存段。

?

任何匿名的内存映射，比如由malloc（）分配的内存。

进程地址空间的任何有效地址都只能位于唯一的区域，这些内存区域不能相互覆盖。可以看到，在执行的进程中，每个不同的内存片断都对应一个独立的内存区域：栈、对象代码、全局变量、被映射的文件等等。

内核使用内存描述符表示进程的地址空间。内存描述符由mm_struct结构体表示，定义在文件中，该结构包含了和进程地址空间有关的全部信息。

VMA

内存区域由vm_area_struct结构体描述，定义在文件中，内存区域在内核中也经常被称作虚拟内存区域或者VMA。

VMA标志是一种位标志，它定义在vm_area_struct结构中（该结构中的vm_flags子域）。和物理页的访问权限不同，VMA标志反映了内核处理页面索需要遵守的行为准则，而不是硬件要求。VM_IO标志内存区域中包含对设备I/O空间的映射。该标志通常在设备驱动程序执行 mmap()函数进行I/O空间映射时才被设置，同时该标志也表示该内存区域不能被包含在任何进程的存放转存（core dump）中。VM_RESERVED标志内存区域不能被换出，它也是在设备驱动程序进行映射时被设置。

vm_area_struct结构体中的vm_ops域指向与指定内存区域相关的 *** 作函数表，内核使用表中的方法 *** 作VMA。

mmap()和do_mmap()：创建地址区间

内核使用do_mmap()函数创建一个新的线性地址区间。但是说给函数创建一个新VMA并不非常准确，因为如果创建的地址区间和一个已经存在的地址区间相邻，并且它们具有相同的访问权限的话，那么两个区间将合并为一个。如果不能合并，那么就确实需要创建一个新的VMA了。但无论哪种情况，do_mmap()函数都会将一个地址区间加入到进程的地址空间中——无论是扩展已经存在的内存区域还是创建一个新的区域。

do_mmap()函数声明在文件中，原型如下：

unsigned long do_mmap(struct file *file, unsigned long addr,

unsigned long len, unsigned long prot,

unsigned long flag, unsigned long offset)

在用户空间可以通过mmap()函数调用获取内核函数do_mmap()的功能。mmap()系统调用原型如下：

void *mmap2(void *start, size_t length,

int prot, int flags,

int fd, off_t pgoff)

do_munmap()函数从特定的进程地址空间中删除指定地址区间，该函数在文件中声明：

int do_munmap(struct mm_struct *mm, unsigned long start, size_t len)

系统调用munmap()给用户空间程序提供了一种从自身地址空间中删除指定地址区间的方法，它和系统调用mmap()的作用相反：

int munmap(void *start, size_t length)

mmap设备 *** 作

对于驱动程序来说，内存映射可以提供给用户程序直接访问设备内存的能力。映射一个设备，意味着使用户空间的一段地址关联到设备内存上。无论何时，只要程序在分配的地址范围内进行读取或者写入，实际上就是对设备的访问。

并不是所有的设备都能进行mmap抽象。例如，串口设备和其他面向流的设备就无法实现这种抽象。mmap的另一个限制是映射都是以 PAGE_SIZE为单位的。内核只能在页表一级处理虚拟地址；因此，被映射的区域必须是PAGE_SIZE的整数倍，而且必须位于起始于 PAGE_SIZE整数倍地址的物理内存内。如果区域的大小不是页大小的整数倍，内核就通过生成一个稍微大一些的区域来容纳它。

mmap方法是file_operations结构中的一员，并且在执行mmap系统调用时就会调用该方法。在调用实际方法之前，内核会完成很多工作，而且该方法的原型与系统调用的原型由很大区别。关于Linux命令的介绍，看看《linux就该这么学》，具体关于这一章地址3w(dot)linuxprobe/chapter-02(dot)html

文件 *** 作声明如下：

int (*mmap) (struct file * filp, struct vm_area_struct *vma)

其中vma参数包含了用于访问设备的虚拟地址区间的信息。大部分工作已经由内核完成了，要实现mmap，驱动程序只要为这一地址范围构造合适的页表即可，如果需要的话，就用一个新的 *** 作集替换vma->vm_ops。

有两种建立页表的方法：使用remap_page_range函数可一次建立所有的页表，或者通过nopage VMA方法每次建立一个页表。

构造用于映射一段物理地址的新页表的工作是由remap_page_range完

---