操作系统-存储管理

发表于   |   分类于   |     |  
  |  

实验目的：

观察系统存储器使用情况
观察进程使用存储器的情况
掌握通过内存映像文件提高性能的方法
掌握动态内存分配技术

存储相关的命令

free 显示系统使用和未被使用的内存数量（可以实时执行）
输出包含的标题有 3 行信息：
Mem。此行包含了有关物理内存的信息。包括以下详细内容：
total。该项显示可用的物理内存总量，单位为 KB。该数字小于安装的物理内存的容量，是因为内核本身也要使用一小部分的内存。
used。该项显示了用于应用程序超速缓存数据的内存容量。
free。该项显示了此时未使用且有效的内存容量。

Shared/buffers/cached。这些列显示了有关内存如何使用的更为详细的信息。
-/+ buffers/cache。Linux 系统中的部分内存用来为应用程序或设备高速缓存数据。这部分内存在需要用于其他目的时可以释放。
free 列显示了调整的缓冲区行，显示释放缓冲区或高速缓存时可以使用的内存容量。
Swap。该行显示有关交换内存利用率的信息。该信息包含全部、已使用和释放的可用内存容量。
vmstat 报告进程、内存、分页、IO等多类信息（使用手册页）
size 列出目标文件段大小和总大小（使用手册页）

/proc文件系统（使用手册页man 5 proc）

/proc/meminfo 内存状态信息
/proc/stat 包含内存页、内存对换等信息。
/proc/pid/stat 某个进程的信息(包含内存使用信息)
/proc/pid/maps某个进程的内存映射区信息，包括地址范围、权限、偏移量以及主次设备号和映射文件的索引节点。
/proc/pid/statm 某个进程的内存使用信息，包括内存总大小、驻留集大小、共享页面数、文本页面数、堆栈页面数和脏页面数。

内存映像文件

内存映像文件是指把一个磁盘文件映像到内存中，二者存在逐字节的对应关系。这样做可以加速I/O操作，并可以共享数据。

mmap（建立内存映射）

表头文件

#include(unistd.h)
#include(sys/mman.h)

定义函数 void mmap(void start,size_t length,int prot,int flags,int fd,off_t offsize);
函数说明 mmap()用来将某个文件内容映射到内存中，对该内存区域的存取即是直接对该文件内容的读写。参数start指向欲对应的内存起始地址，通常设为NULL，代表让系统自动选定地址，对应成功后该地址会返回。参数length代表将文件中多大的部分对应到内存。
参数 prot代表映射区域的保护方式有下列组合
PROT_EXEC 映射区域可被执行
PROT_READ 映射区域可被读取
PROT_WRITE 映射区域可被写入
PROT_NONE 映射区域不能存取
参数 flags会影响映射区域的各种特性
MAP_FIXED 如果参数start所指的地址无法成功建立映射时，则放弃映射，不对地址做修正。通常不鼓励用此旗标。
MAP_SHARED对映射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。
MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制，即私人的“写入时复制”（copy on write）对此区域作的任何修改都不会写回原来的文件内容。
MAP_ANONYMOUS建立匿名映射。此时会忽略参数fd，不涉及文件，而且映射区域无法和其他进程共享。
MAP_DENYWRITE只允许对映射区域的写入操作，其他对文件直接写入的操作将会被拒绝。
MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。
在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。参数fd为open()返回的文件描述词，代表欲映射到内存的文件。参数offset为文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。
返回值 若映射成功则返回映射区的内存起始地址，否则返回MAP_FAILED(－1)，错误原因存于errno 中。
错误代码 EBADF 参数fd 不是有效的文件描述词
EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读，使用MAP_SHARED则要有PROT_WRITE以及该文件要能写入。
EINVAL 参数start、length 或offset有一个不合法。
EAGAIN 文件被锁住，或是有太多内存被锁住。
ENOMEM 内存不足。

munmap（解除内存映射）

表头文件 

#include(unistd.h)
#include(sys/mman.h)

定义函数 int munmap(void *start,size_t length);
函数说明 munmap()用来取消参数start所指的映射内存起始地址，参数length则是欲取消的内存大小。当进程结束或利用exec相关函数来执行其他程序时，映射内存会自动解除，但关闭对应的文件描述词时不会解除映射。
返回值 如果解除映射成功则返回0，否则返回－1，错误原因存于errno中错误代码EINVAL
参数 start或length 不合法。

动态内存分配

malloc（配置内存空间）

表头文件

#include(stdlib.h)

定义函数 void * malloc(size_t size);
函数说明 malloc()用来配置内存空间，其大小由指定的size决定。
返回值 若配置成功则返回一指针，失败则返回NULL。

free（释放原先配置的内存）

表头文件

#include(stdlib.h)

定义函数 void free(void *ptr);
函数说明 参数ptr为指向先前由malloc()、calloc()或realloc()所返回的内存指针。调用free()后ptr所指的内存空间便会被收回。假若参数ptr所指的内存空间已被收回或是未知的内存地址，则调用free()可能会有无法预期的情况发生。若参数ptr为NULL，则free()不会有任何作用。

calloc（配置内存空间）

表头文件

#include (stdlib.h)

定义函数 void calloc(size_t nmemb，size_t size);
函数说明 calloc()用来配置nmemb个相邻的内存单位，每一单位的大小为size，并返回指向第一个元素的指针。这和使用下列的方式效果相同:malloc(nmembsize);不过，在利用calloc()配置内存时会将内存内容初始化为0。
返回值 若配置成功则返回一指针，失败则返回NULL。

其他

getpagesize（取得内存分页大小）
表头文件

#include(unistd.h)

定义函数 size_t getpagesize(void);
函数说明 返回一分页的大小，单位为字节（byte）。此为系统的分页大小，不一定会和硬件分页大小相同。
返回值 内存分页大小。附加说明在Intel x86 上其返回值应为4096bytes。

实验要求:

分别使用命令和/proc文件系统列出系统当前内存的使用情况。

"图1"
"图2"

启动几个耗时较长的后台进程（多个grep），分别使用free和vmstat连续实时观察内存的使用情况。

通过后台运行多个”grep -r -i ‘a’ /“ 进程，观察内存的使用情况
"图3"
"图4"
"图5"

用size工具观察三个不同的可执行文件的大小以及它们段的大小。

"图6"

启动一个耗时较长的后台进程，通过/proc文件系统查看该进程所有内存使用相关信息，并列出。

后台运行程序是：vmstat 3。通过ps af 命令查看此后台进程pid。再在/proc/$PID中查看此进程所有内存使用的相关信息。
"图7"

编写一个程序，打印系统的页面大小。

"图8"

阅读并编译运行以下程序，总结内存映象文件的使用方法。

利用mmap()来读取/etc/passwd 文件内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<sys/mman.h>
int main()
	{
		int fd;
		void *start;
		struct stat sb;
		fd=open("/etc/passwd",O_RDONLY);
		fstat(fd,&sb);
		start=mmap(NULL,sb.st_size,PROT_READ,MAP_PRIVATE,fd,0);
		if(start= = MAP_FAILED)
		return;
		printf("%s",start);
		munmap(start,sb.st_size);
		closed(fd);
		return 0;
}

"图10"

编写一个程序，利用内存映象文件，实现less工具的功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
#include<stdio.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<sys/mman.h>
#include<string.h>
#include<memory.h>
#include<stdlib.h>
#include<stdio.h>
#include <termios.h>
int  lastrow(char * s,int d);
int  nextrow(char * s,int d);
int  onepage(char * s,int d);
int main()
{
  FILE *input;
  struct termios initial_settings, new_settings;
  int inputString;
  input = fopen("/dev/tty", "r");   //定位到终端输入
  if(!input)
  {
      fprintf(stderr, "Unable to open /dev/tty\n");
      exit(1);
  }
  tcgetattr(fileno(input), &initial_settings);
  new_settings = initial_settings;
  new_settings.c_lflag &= ~ICANON;
  new_settings.c_lflag &= ~ECHO;
  new_settings.c_cc[VMIN] = 1;
  new_settings.c_cc[VTIME] = 0;
  new_settings.c_lflag &= ~ISIG;
  if(tcsetattr(fileno(input), TCSANOW, &new_settings) != 0)
  {
      fprintf(stderr, "Could not set attributes\n");
  }
  
  int fd,play=0;
  char lab;
  char *start;
  struct stat sb;
  fd=open("test.txt",O_RDONLY); /*打开*/
  fstat(fd,&sb); 	/*获取文件大小*/
  start=mmap(NULL,sb.st_size,PROT_READ,MAP_PRIVATE,fd,0);
  if(start==MAP_FAILED) /*判断是否映射成功*/
  return(1);
  play=onepage(start,play)+1;
  lab=fgetc(input);
    while(lab!= 'q'&& lab!='Q')
    {
      if(play<40||play>sb.st_size)
      {
          lab = fgetc(input);
          break;
      }
      else if(lab==' ')
          play=play+1+onepage(start,play);
      else if(lab=='D'||lab=='d')
          play=play+1+nextrow(start,play);
      else if(lab=='U'||lab=='u')
          play=1+lastrow(start,play);
          
      lab = fgetc(input);
    }
    tcsetattr(fileno(input), TCSANOW, &initial_settings);
    exit(0);
    munmap(start,sb.st_size); /*解除映射*/
    close(fd);
    return 0;
}
int onepage(char * s,int d)
{
     int i,count=0;
     char * buffer=malloc(2048);//配置内存空间，由buffer指向该空间
     s+=d;
   /*每10行作为一页输出*/
     for(i=0;i<2048;i++)
     {
         if(s[i]=='\n')
             count++;
         if(count==10)
             break;
     }
     memcpy(buffer,s,i);
     buffer[i]='\0';
     printf("%s\n",buffer);
     return i;
}
int  nextrow(char * s,int d)	//输出下一行
{
     int i;
     char * buffer=malloc(100);
     s+=d;
     for(i=0;i<100;i++)
        if(s[i]=='\n')
           break;
     memcpy(buffer,s,i);
     buffer[i]='\0';
     printf("%s\n",buffer);
     return i;
}
int  lastrow(char * s,int d)	//输出上一行
{
     int i,count=0;
     char * buffer=malloc(100);
     int py=d;
     for(;d>0;d--)
     {
        if(s[d]=='\n')
           count++;
        if(count==2)
           break;
     }
     memcpy(buffer,s+d+1,py-d-2);
     buffer[py-d-2]='\0';
     printf("%s\n",buffer);
     return d;
}

"图11"