使用C比较巨大的文件

概述我有两个大文本文件,每个文件有超过1000万行.如何使用C比较文件并在文件中获取不同的行. 我尝试将一个文件加载到内存中并对内存进行排序,并使用二叉​​树逻辑来比较文件.它比较并给了我20秒的结果.但它消耗更多的内存. (文本文件大约500 MB). 我想比较两个文件而不消耗更多内存,良好的性能和对硬盘的影响最小. 你可以使用两遍法. 第一遍,你读取文件但只存储行的哈希值和行起始位置,然后你可以根 我有两个大文本文件,每个文件有超过1000万行.如何使用C比较文件并在文件中获取不同的行.

我尝试将一个文件加载到内存中并对内存进行排序,并使用二叉​​树逻辑来比较文件.它比较并给了我20秒的结果.但它消耗更多的内存. (文本文件大约500 MB).

我想比较两个文件而不消耗更多内存,良好的性能和对硬盘的影响最小.

解决方法 你可以使用两遍法.

第一遍,你读取文件但只存储行的哈希值和行起始位置,然后你可以根据哈希值比较文件,你只能在第二遍中读取行再次完成比较,当两行具有相同的哈希值时.这样可以节省内存消耗和cpu时间,两次读取一些行会有点损失.

总结

以上是内存溢出为你收集整理的使用C比较巨大的文件全部内容，希望文章能够帮你解决使用C比较巨大的文件所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。