【実践】Python＋sumyで文書要約（テキストマイニング）しよう！

#必ずimportが必要
from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer

#以下はアルゴリズムに応じて import する
from sumy.summarizers.lex_rank import LexRankSummarizer
from sumy.summarizers.lsa import LsaSummarizer
from sumy.summarizers.reduction import ReductionSummarizer
from sumy.summarizers.luhn import LuhnSummarizer
from sumy.summarizers.sum_basic import SumBasicSummarizer
from sumy.summarizers.kl import KLSummarizer
from sumy.summarizers.text_rank import TextRankSummarizer
from sumy.summarizers.edmundson import EdmundsonSummarizer

from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer
from sumy.summarizers.lex_rank import LexRankSummarizer

#要約対象のテキスト
text = "スタートレックには長い歴史がある。現在も人気が衰えず、次々と新作が登場している。"

#要約対象のテキストを指定
parser = PlaintextParser.from_string(text, Tokenizer('japanese'))
#アルゴリズムのインスタンス生成
summarizer =  LexRankSummarizer()
#要約の実行 sentences_count で何行に要約したいかを指定する
res = summarizer(document=parser.document, sentences_count=5)

#要約結果の取り出し
for sentence in res:
    print(sentence.__str__())

sum = DocumentSummary()
sum.use_corpus= False
sum.sentences_count = 4
sum.read_file('p:/startreck.txt')
print(sum.text)
print("★★★ LexRankによる要約 =================================")
print(sum.summarize('lex'))
print("★★★ TextRankによる要約 =================================")
print(sum.summarize('txt'))
print("★★★ Reductionによる要約 =================================")
print(sum.summarize('red'))
print("★★★ Luhnよる要約 =================================")
print(sum.summarize('luh'))
print("★★★ SumBasicによる要約 =================================")
print(sum.summarize('sum'))
print("★★★ KLSによる要約 =================================")
print(sum.summarize('kls'))
print("★★★ LSA（Latent Semantic Analysis）による要約 =================================")
print(sum.summarize('lsa'))
print("★★★ Edmundsonによる要約 =================================")
print(sum.summarize('edm'))

from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer
from sumy.summarizers.lex_rank import LexRankSummarizer
from sumy.summarizers.lsa import LsaSummarizer
from sumy.summarizers.reduction import ReductionSummarizer
from sumy.summarizers.luhn import LuhnSummarizer
from sumy.summarizers.sum_basic import SumBasicSummarizer
from sumy.summarizers.kl import KLSummarizer
from sumy.summarizers.text_rank import TextRankSummarizer
from sumy.summarizers.edmundson import EdmundsonSummarizer
import spacy
import codecs

class DocumentSummary:
    def __init__(self):
        '''
        コンストラクタ
        '''
        #アルゴリズムの一覧
        self.algorithm = {
            'lex':LexRankSummarizer(),
            'txt':TextRankSummarizer(),
            'red':ReductionSummarizer(),
            'luh':LuhnSummarizer(),
            'sum':SumBasicSummarizer(),
            'kls':KLSummarizer(),
            'lsa':LsaSummarizer(),
            'edm':EdmundsonSummarizer()
        }
        #コーパスの利用有無
        self.use_corpus = True
        #要約の文書数
        self.sentences_count = 10
        #ストップワード
        self.stop_words = ['']
        #EdmundsonSummarizer用のポジティブキーワード
        self.bonus_words = ['']
        #EdmundsonSummarizer用のネガティブキーワード
        self.stigma_words = ['']
        #EdmundsonSummarizer用の無視キーワード
        self.null_words = ['']
        #要約対象のテキスト
        self.text = None
        #作成したコーパス    
        self.coupus = None
        #コーパスの元文書
        self.originals = None
        #要約に適した加工が施されたテキスト情報
        self.parser = None

    def create_corpus(self,text):
        '''
        コーパスを作成する
  
        Parameters:
        --------
            text : str   コーパスを生成したいテキスト 
        '''
        nlp = spacy.load('ja_ginza')
        corpus = []
        originals = []
        doc = nlp(text)
        for s in doc.sents:
            originals.append(s)
            tokens = []
            for t in s:
                tokens.append(t.lemma_)
            corpus.append(' '.join(tokens))
        return corpus,originals

    def read_file(self,filename,encoding='utf-8'):
        '''
        要約したいファイルを読み込む

        Parameters:
        --------
            filename : str   要約したい文書が書かれたファイル名 
        '''
        with codecs.open(filename,'r',encoding,'ignore') as f:
            self.read_text(f.read())

    def read_text(self,text):
        '''
        要約したいテキストを読み込む

        Parameters:
        --------
            text : str   要約したいテキスト  
        '''
        self.text = text
        if self.use_corpus:
            #コーパスの作成
            self.coupus,self.originals  = self.create_corpus(self.text.replace('\r','').replace('\n','').replace('『','「').replace('』','」'))
            #連結したcorpusをトークナイズ
            self.parser = PlaintextParser.from_string(''.join(self.coupus), Tokenizer('japanese'))
        else:
            #テキストをそのままトークナイズ
            self.parser = PlaintextParser.from_string(self.text, Tokenizer('japanese'))

    def summarize(self,algo):
        '''
        文書を要約する

        Parameters:
        --------
            algo : str       アルゴリズム ('lex''red''luh','sum','kls'、など)  
            stopwords:[str]  文書の終わりを識別する為の文字列をリストで指定
        '''

        #アルゴリズムの取得
        summarizer = self.algorithm[algo]
        if algo == 'edm':
            summarizer.bonus_words = ['']
            summarizer.stigma_words = ['']
            summarizer.null_words = ['']

        # スペースをストップワードを設定
        summarizer.stop_words = self.stop_words
        # 文書の要約
        summary = summarizer(document=self.parser.document, sentences_count=self.sentences_count)

        #要約した結果をリストに格納
        res = []
        for sentence in summary:
            if self.use_corpus:
                #特定の文字列が
                if sentence.__str__() in self.coupus:
                    res.append(self.originals[self.coupus.index(sentence.__str__())])
            else:
                res.append(sentence.__str__())

        return '\n'.join([str(x) for x in res])