[テキスト処理]ｎ－ｇｒａｍによるテキスト処理

// 3-gram
//

#include <iostream>
#include <string>
#include <vector>

using namespace std;

int main()
{

    const int N = 3;

    // 全角、半角双方を正しく抽出するためwstringを使用
    // wstringについてはリファレンスを参照:https://cpprefjp.github.io/reference/string/basic_string.html)
    // sringの内容は枕草子(https://www.bou-tou.net/makuranososhi/)
    const wstring str = L"春は、あけぼの。やうやう白くなりゆく、山ぎは少し明りて、紫だちたる雲の細くたなびきたる。"
                        L"夏は、夜。月の頃はさらなり。闇もなほ。螢の多く飛び違ひたる。また、ただ一つ二つなど、ほのかにうち光りて行くもをかし。雨など降るもをかし。"
                        L"秋は、夕暮。夕日のさして、山の端（は）いと近うなりたるに、烏の寝どころへ行くとて、三つ四つ、二つ三つなど、飛び急ぐさへあはれなり。まいて雁などの列ねたるがいと小さく見ゆるは、いとをかし。日入り果てて、風の音、虫の音など、はたいふべきにあらず。"
                        L"冬は、つとめて。雪の降りたるはいふべきにもあらず。霜のいと白きも、またさらでも、いと寒きに、火など急ぎ熾して、炭もて渡るも、いとつきづきし。昼になりて、ぬるくゆるびもていけば、火桶の火も、白き灰がちになりて、わろし。";
    vector<wstring> result(str.length() - 2);   // 3-gram で生成される要素数は文章を N とした場合、N - 2 個生成される。
    
    cout << "生成される3-gramの要素数は" << str.length() - 2 << endl;

    for (int i = 0; i + N - 1 < str.length(); ++i)
    {
        // 文字列を抽出し、vectorに追加
        //substrについてはリファレンスを参照:https://cpprefjp.github.io/reference/string/basic_string/substr.html)
        //result.push_back(str.substr(i, N));
        result[i] = str.substr(i, N);
    }

    wcout.imbue(locale("Japanese"));    // ロケールを日本語に変更(参考:https://qiita.com/toris-birds/items/5443777ad0bb0ae05d3b)
    for (const auto& s : result)
    {
        wcout << s << endl;
    }
    cout << "生成された要素数:" << result.size() << endl;

// 3-gram
//

#include <iostream>
#include <string>
#include <utility>
#include <map>
#include <queue>

using namespace std;

int main()
{

    const int N = 3;

    // 全角、半角双方を正しく抽出するためwstringを使用
    // wstringについてはリファレンスを参照:https://cpprefjp.github.io/reference/string/basic_string.html)
    // sringの内容は枕草子(https://www.bou-tou.net/makuranososhi/)
    const wstring str = L"春は、あけぼの。やうやう白くなりゆく、山ぎは少し明りて、紫だちたる雲の細くたなびきたる。"
                        L"夏は、夜。月の頃はさらなり。闇もなほ。螢の多く飛び違ひたる。また、ただ一つ二つなど、ほのかにうち光りて行くもをかし。雨など降るもをかし。"
                        L"秋は、夕暮。夕日のさして、山の端（は）いと近うなりたるに、烏の寝どころへ行くとて、三つ四つ、二つ三つなど、飛び急ぐさへあはれなり。まいて雁などの列ねたるがいと小さく見ゆるは、いとをかし。日入り果てて、風の音、虫の音など、はたいふべきにあらず。"
                        L"冬は、つとめて。雪の降りたるはいふべきにもあらず。霜のいと白きも、またさらでも、いと寒きに、火など急ぎ熾して、炭もて渡るも、いとつきづきし。昼になりて、ぬるくゆるびもていけば、火桶の火も、白き灰がちになりて、わろし。";
    map<wstring, int> result = {};  // mapにすることでカウントアップが楽になる
    
    cout << "生成される3-gramの要素数は" << str.length() - 2 << endl;

    for (int i = 0; i < str.length() - 2; ++i)
    {
        result[str.substr(i, N)] = result[str.substr(i, N)] + 1;    // mapに登録とカウントアップを行う
    }

    wcout.imbue(locale("Japanese"));    // ロケールを日本語に変更(参考:https://qiita.com/toris-birds/items/5443777ad0bb0ae05d3b)
    cout << "生成された要素数:" << result.size() << endl;

 
    // 優先度キューの並び替えに使用
    auto compare = [](const auto& a, const auto& b)
    {
        return a.second < b.second;
    };

    // 優先度付きキューで並び替え
    priority_queue <
        pair<wstring, int>,
        vector<pair<wstring, int>>,
        decltype(compare)
        > que {compare};

    // キューにペアを登録
    for (const auto& m : result)
    {
        que.push(m);
    }

    // キューの先頭から順に出力
    while (!que.empty())
    {
        const auto& m = que.top();
        wcout << m.first << ", " << m.second << endl;
        que.pop();
    }

    return 0;
}