再次神经短路，突然想看看宋词里面什么样的意象是最常见的，比如可以做个频率分析什么的。当然文本挖掘需要分词，我没法在其中花太多时间，于是想出了一个土办法。宋词的句子都很短，如果穷举可能的字的组合的话并不是太多，况且最常见的词语一般是两三个字，这样可能的组合就更少了。比如“犹解嫁东风”这句话，可能的二字组合是“犹解”“解嫁”“嫁东”“东风”，三字组合是“犹解嫁”“解嫁东”“嫁东风”，词的字数越多，可能的组合就越少。如果把每句话可能的字的组合都列举出来，就可以整体统计频率了。
当然里面会有很多无意义的字的组合，不过这类“词语”本身的出现就是一个偶然，所以可以预期的是它们整体的频数会很低，是入不了“大雅之堂”的。话不多说，直接上代码和结果。
数据：《全宋词》文本
代码：
l = scan("Ci.txt", "character", sep = "\n");
l.len = nchar(l);
# 某些行是作者和标题，所以选取长度大于10的行；
# 另外这个文本文件不太规整，有些网址什么的，
# 所以也要排除那些长度太长的。
ci = l[l.len > 10 & l.len < 500];
# 句子用标点符号分割。
sentences = strsplit(ci, "，|。|！|？|、");
sentences = unlist(sentences);
sentences = sentences[sentences != ""];
s.len = nchar(sentences);
# 单句太长了说明有可能是错误的字符，去除掉。
sentences = sentences[s.len <= 10];
s.len = nchar(sentences);
# 暴力挨个拆分，比如“犹解嫁东风”的所有二字组合为
# “犹解”“解嫁”“嫁东”“东风”，
# 无意义的词其频数自然就落在后面了。
splitwords = function(x, x.len) substring(x, 1:(x.len - 1), 2:x.len);
words = mapply(splitwords, sentences, s.len, SIMPLIFY = TRUE, USE.NAMES = FALSE);
words = unlist(words);
words.freq = table(words);
words.freq = sort(words.freq, decreasing = TRUE);
data.frame(Word = names(words.freq[1:100]), Freq = as.integer(words.freq[1:100]));
结果（排在第一的是无效字符，这跟数据源有关）：
Word Freq Word Freq
1 1485 51 天上 368
2 东风 1382 52 杨柳 362
3 何处 1230 53 西湖 356
4 人间 1202 54 桃花 354
5 风流 857 55 扁舟 353
6 归去 812 56 消息 351
7 春风 802 57 憔悴 344
8 西风 779 58 何事 339
9 归来 771 59 芙蓉 338
10 江南 765 60 神仙 334
11 相思 753 61 一片 334
12 梅花 732 62 桃李 333
13 千里 676 63 人生 332
14 回首 656 64 十分 331
15 明月 651 65 心事 329
16 多少 648 66 黄花 328
17 如今 642 67 一声 325
18 阑干 630 68 佳人 324
19 年年 613 69 长安 321
20 万里 590 70 东君 319
21 一笑 582 71 断肠 316
22 黄昏 550 72 而今 315
23 当年 542 73 鸳鸯 314
24 天涯 537 74 为谁 313
25 相逢 528 75 十年 310
26 芳草 527 76 去年 309
27 尊前 516 77 少年 308
28 一枝 512 78 海棠 307
29 风雨 505 79 寂寞 306
30 流水 472 80 无情 306
31 依旧 472 81 不是 305
32 风吹 471 82 时候 304
33 风月 461 83 肠断 303
34 多情 457 84 富贵 303
35 故人 451 85 蓬莱 303
36 当时 450 86 昨夜 303
37 无人 445 87 行人 302
38 斜阳 438 88 今夜 301
39 不知 430 89 谁知 300
40 不见 429 90 不似 299
41 深处 422 91 江上 298
42 时节 403 92 悠悠 296
43 平生 398 93 几度 295
44 凄凉 398 94 青山 295
45 春色 394 95 何时 294
46 匆匆 383 96 天气 293
47 功名 383 97 惟有 293
48 一点 378 98 一曲 291
49 无限 377 99 月明 291
50 今日 369 100 往事 290
不知各位看官看到上面这些既熟悉又悠远的话语又将作何感想？或许，她们就是我们千百年来的精神寄托吧。
