7-3 词频统计_随笔

7-3 词频统计 7-3 词频统计

请编写程序，对一段英文文本，统计其中所有不同单词的个数，以及词频最大的前10%的单词。

所谓“单词”，是指由不超过80个单词字符组成的连续字符串，但长度超过15的单词将只截取保留前15个单词字符。而合法的 “单词字符”为大小写字母、数字和下划线，其它字符均认为是单词分隔符。

输入格式:
输入给出一段非空文本，最后以符号#结尾。输入保证存在至少10个不同的单词。

输出格式:
在第一行中输出文本中所有不同单词的个数。注意“单词”不区分英文大小写，例如 “PAT”和“pat”被认为是同一个单词。

随后按照词频递减的顺序，按照词频:单词的格式输出 词频最大的前10% 的单词。若有并列，则按递增字典序输出。

输入样例：

This is a test.
The word “this” is the word with the highest frequency.
Longlonglonglongword should be cut off, so is considered as the same as longlonglonglonee. But this_8 is different than this, and this, and this…#
this line should be ignored.

输出样例：（注意：虽然单词the也出现了4次，但因为我们只要输出前10%（即23个单词中的前2个）单词，而按照字母序，the排第3位，所以不输出。）

23
5:this
4:is

用 map 容器吧所有的单词读进去（按字母读）
把信息转入到 vector 中去进行排序
vector map set基础使用

#include
#include
#include
#include
#include

using namespace std;
typedef pair PII;
map mp;
map::iterator it;
vector q;

bool cmp(PII a,PII b)  //   自定义排序方式
{
    if(a.second!=b.second) return a.second>b.second;  //  出现的次数
    else
        return a.first='A'&&x<='Z') || (x>='a'&&x<='z') || (x>='0'&&x<='9') || x=='_')
        {
            if(x>='A'&&x<='Z') x=x-'A'+'a';   // 都转化成小写
            if(s.size()<15) s+=x;        //   如果大于 长度15   只要前十五个
        }
        else     //  遇到非合法字符
        {
            if(s.size()>0) mp[s]++,s.clear();   //  存到map 中去
        }
    }
    for(it=mp.begin();it!=mp.end();it++)      //  把map  中的信息转入到  vector中去   也可转到结构体中  用结构体解决
        q.push_back({it->first,it->second});
    
    sort(q.begin(),q.end(),cmp);    // 按定义的方式排序
    
    cout< 
结构体法 
#include
#include
#include
#include 

using namespace std;
int idx;

struct node
{
    string st;
    int num;
}p[10010];

bool cmp(node a,node b)  //   自定义排序方式
{
    if(a.num!=b.num) return a.num>b.num;  //  出现的次数
    else
        return a.st='0'&&x<='9') || x=='_')
        {
            if(isupper(x)) x= tolower(x);   // 都转化成小写
            if(s.size()<15) s+=x;        //   如果大于 长度15   只要前十五个
        }
        else     //  遇到非合法字符
        {
            if(s.size()>0)
            {
                int i;
                for(i=0;i欢迎分享，转载请注明来源：内存溢出
原文地址:https://54852.com/zaji/5611105.html

7-3 词频统计

发表评论

评论列表（0条）