Linux OS缓存对程序性能影响

最近又出现了差姿一个问题：同样的一个C程序，在同样的数据集，单线程，在不同的机器上跑，性能差距高达30倍以上（30s/1000s）。程序内存消耗不足300MB，数据集大小近100GB。

这两台机器的配置分别是：

分别称A和B机器。

从主频来看，B机器的CPU反而更高一些（查阅CPU天梯表，Core i7型号的CPU跑分也高一些）。

那么问题应该出在内配告存上。通过free -h命令查看内存使用情况，发现A机器RAM的 buffered/cached 高达100GB以上。这立即引起了我的警觉，会不会是数据集被缓存进了系统内存？

于是释放缓存（syncecho 3 >/proc/sys/vm/drop_caches）

然后再执行程序，好了，A机器执行无比缓慢。

究其原因，我的程序是一个基于索引的查询算法，这个程序刚好运行在索引构建算法之后，因此查询时涉及到的源数据访问，全都在索引构建算法的访问范围之内，因此被缓存进内存。

这也提了个醒，任何比较效培庆明率的算法，首先要在程序运行前清空缓存，否则不能反映真实情况，因为I/O的代价可能都变成了内存访问，使得结果过于乐观。

Linux下DNS缓存实现通常知或有两种方式：

一种是用DNS缓存程序NSCD(name service cache daemon)负责管理DNS缓存。

一种实现DNS缓存则是用Bind来架设闭脊Caching Name Server来实现。

如果是清除NSCD上的Cache，可重新启动NSCD服务来达成清除DNS Cache的效果。用这个命令:

# service nscd restart

或是

#/etc/init.d/nscd restart

如果是清除BIND服务器上的CACHE，用这个命令:

# rndc flush

如果你的DNS服务器是用dnsmasq实现的，用下面这个命令:

$ sudo /etc/init.d/dnsmasq restart

注：DNSmasq是一个轻巧的，容易使用的DNS服务工具，它可以应用在内部网和Internet连接的时候的IP地址NAT转换，也可以用轿猛渗做小型网络的DNS服务。

在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，此时就需要执行释放内存（清理缓存）的 *** 作消漏了。

Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、Buffer Cache（针对磁盘块的读写）和Page Cache（针对文件inode的读写）进行缓存 *** 作。但是在进行了大量文件 *** 作之后，缓存会把内存资源基本用光。但实际上我们文件 *** 作已经完成，这部分缓存已经用不到了。这个时候，我们难道只能眼睁睁的看着缓存把内存空间占据掉么？

所以，我们还是有必要来手动进行Linux下释放内存的 *** 作，其实也就是释放缓存的 *** 作了。

要达到释放缓存的目的，我们首先需要了解下关键的配置文件/proc/sys/vm/drop_caches。这个文件中记录了缓存释放的参数，默认值为0，也就是不释放缓存。他的值可以为0~3之间的任意数拿枝烂字，代表着不同的含义：

0 – 不释放

1 – 释放页缓存

2 – 释放dentries和inodes

3 – 释放所有缓存

知道了参数后，我们就可以根据我们的需要，使用下面的指令来进行 *** 作。

首先我们需要使用sync指令，将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中，可能会丢失未保存的文件。

#sync

接下来，我们需要将需要的参数写进/proc/sys/vm/drop_caches文件中，比如我们需要释放所有缓存，就输入下面的命令：

#echo 3 >/proc/sys/vm/drop_caches

此指令输入后会立即生效，可以查询现在的可用内存明显的变多了。

要查询当前缓存释放的参数，可以输入下面的指令：

#cat /proc/sys/vm/drop_caches

#free -m

对于清除swap，只有先关闭swap了，用：

#swapoff -a

而后启用swap，因为只是清除，不是说不要用swap的嘛 ：

#swapon -a

http://blog.sina.com.cn/s/blog_539d6e0c0100ys3o.html

Linux 自动释放内存脚本

发表于119 天前 ? 技术文章 ? 暂无评论

脚本下载地址：Cached

脚本内容：

#! /bin/bash

# cache释放：

# To free pagecache:

sync

sync

#echo 1 >/proc/sys/vm/drop_caches

# To free dentries and inodes:

#echo 2 >/proc/sys/vm/drop_caches

# To free pagecache, dentries and inodes:

echo 3 >/proc/sys/vm/drop_caches

# 说明，释放前最好sync一下，防止丢数据。

利用系统crontab实现每天自动运行：

crontab -e

输入以下内容：

00 00 * * * /root/Cached.sh

每天0点释放一次内存，这个时间可以根据自己需要自行设置，我的服务器情况是每天自动释放一次就OK了

在设置这个脚本的时候，发搭档生了一系列的问题

在测试运行./Cached.sh时提示错误：Permission denied 权限的问题

解决方法：

chmod +x .Cached.sh

或

chmod 777 Cached.sh

接着又出现错误提示：/bin/bash^M: bad interpreter: No such file or directory

这是因为在windows下编辑的.sh文件编码格式和linux下不一样，转换一下编码格式即可：

dos2unix Cached.sh

http://blog.sinorain.com/archives/157

---