??

???? ?? ??? ??? ?? ????? ??? ?? ? ?????. ??? ??? ??? ???? ?? ????? ???? ? ??????. ??? ??? ??? ??? ??? ??? ?? ??? ??? ???? ? ??? ? ? ??? ????? ?? ?? ??? ???? ? ??????. Pynlpl ?? ???? ??????? ??? ??? ??? ?? ????? ??? ??? ????? ? ?????. ? ?????? ??? ?? ? ??? ?? ?? ???? ???? ?? ??, N- ?? ??? ?? ?? ??? ?? ?? ??? ?????. ?? Pynlpl? ???? ??? ?? ??? ?? ? ? ????.

? ?????? pynlpl? ???? ??? ??? ???? ??? ?????. ??? ?? ??? ?? ?????? ???? ?? ??? ??? ????. ????, ?? ?? ????? ??? PYNLPL ?????? ??? ??? ??? ????. ? ?, ??? ?? ???? ??? ???? ?? ??? ??? ??? ??? ????. ???? ??? ?? ??? ???? ? ??? ?? ? ??? ??? ???? ?????. ?????, ???? ?????? ???? Leveshtein? ??? ???? ??? ????. ?? ????? ?? ? ? ???? ???? '?? ? ??'??? ???? ?? ????? ??? ? ????.

?? ??

• ?? ??? ?? ??? ??? ?????? ??? ???? ??? ??????.
• ?? ??? ???? ?? ?? ?? ?? ????? ??? ??? ?????.
• ??? ??? ???? Levenshtein ??? ???? ?? ?? ???? ??? ???? ?? ????.
• ??? ?? ??? ???? ?? ???? ???? ?? ?? ?? ??? ???? ?? ????.

? ??? Data Science Blogathon ? ??? ??????? .

??

• pynlpl? ???? ???
• ??? ??? pynlpl? ???? ??? ??????
  • ?? ?? ?? ????
  • ??? ??
  • ??? ?? ??
  • Levenshtein ??
  • ?? ??? ??
• ?? ?? ??

pynlpl? ???? ???

? ?????? ?? PYPI? ???? GitHub? ???? ? ?? ???? ??? ? ????.

PYPI? ??

PYPI? ???? ????? ???? ?? ??? ?? ????.

 PIP ?? pynlpl

Jupyter Notebook, Kaggle Notebook ?? Google Colab? ?? ???? ???? ?? '!' ?? ?? ??.

Github? ??

GitHub? ?? ??? ?????? ????? ?? Pynlpl ???? ?? ??? ???? ???? ??????.

 git ?? https://github.com/proycon/pynlpl.git

?? ?? 'CD'? ???? ??? ?????? ??? ?? ? ?? ?? ??? ??? ?????? ??????.

 python3 setup.py ??

??? ??? pynlpl? ???? ??? ??????

?? ??? ??? pynlpl? ???? ??? ?? ?????.

?? ?? ?? ????

?? ?? ?? ???? (TCM)? ????? ??? ?? ?? ??? ??? ?? ????? ???? ??? ?????. ? ??? ?? ?? ??? ???? ? ????? ??? ??? ??? ?? ? ? ????. ??? ??? ?? ? ??? ?? ?? ??? ???? ??? ??? ??? ???? ? ????? ?????. ?? Pynlpl ?????? ?? ??? ????? ???? ??? ?? ?????.

?? pynlpl.statistics?? ?????? ??? ????? ? ? ?? ? ??? ???? ? ?????. ??? ??? ?? ???? ? ??? ??? ????. ?? ??? ???? DefaultDict ???? ?????. ????, ??? ??? ? ??? ??? ??? ???? create_cooccurrence_matrix?? ??? ????. ? ????? ?? ???? ?? ??? ??? DefaultDict? ???? ?? ?? ??? ????. ???? ?? ??? ?? ??? ? ?? ??? ???? ??? ???? ?? ?? ????? ???????. ????? ??? ???? ? ?? ??? ?????.

 pynlpl.Statistics ?? ?? ??? ????
????? ?? ?? DEFAULTDICT

def create_cooccurrence_matrix (text, window_size = 2) :
    Words = text.split ()
    COCUCURENCE_MATRIX = DEFAULTDICT (??????)
    
    I? ??, ?? ? (??)? ?? :
        start = max (i -window_size, 0)
        end = min (i window_size 1, len (??))
        context = ?? [?? : i] ?? [i 1 : end]
        
        ????? context_word ? :
            COOCOCCURENCE_MATRIX [Word.Lower ()]. ??count (context_word.lower ())
    
    COOCCURRENCE_MATRIX? ?????

??? = "????? ??? ?????. Vidhya? ???? ??? ?? ??? ???? ????. ?? Vidhya? ?? ??? ?? ? ?? ????? ??? ??????."

# ?? ?? ?? ???? ??
COOCOCCURENCE_MATRIX = Create_Cooccurrence_Matrix (???)

# ?? ?? ?? ???? ??
print ( "?? ?? ???? :")
??? ?? cococcurrence_matrix.items ()? context_freq_list :
    print (f "{term} : {dict (context_freq_list)}")

??:

??? ??

??? ???? ?? ?? ???? ?? ??? ?? ? ??? ?????. ??? ?? ??? ?? ??? ????? ???? ? ??? ?????. ??? ????? ???, ?? ?? ? ??? ???? ?? ???? ??? ??? ?????. ?? ??, ?? ??? ??? ??? ???? ? ???? ??? ????. ?? ?? ??? ???? ??? ?? ?? ??? ?????? ??? ???? ??? ? ????.

?? pynlpl ?????? ?? ??? ??? ??? ??? ??? ?? ?????. ?? pynlpl.statistics?? frequencylist ??? ?????. ?? ?? ?? ???? ??? ?? ?? ?? ???? ?? ??? ????. ?? ??? '??'??? ??? ?? ??? ?????. ?????, ??? ??? ??? ??? ???? ? ??? ?? ???? ?????.

 pynlpl.Statistics ?? ?? ??? ????

??? = "????? ??? ?????. Vidhya? ???? ??? ?? ??? ???? ????. ?? Vidhya? ?? ??? ?? ? ?? ????? ??? ??????."

Words = text.lower (). split ()

freq_list = ?????? (??)

Word? ?? freq_list.items ()? freq.
    print (f "{word} : {freq}")

??:

??? ?? ??

??? ?? ???? ???? ??? ?? ? ?? ??? ???? ??? ??? ???? ??? ?????. ? ?? ??? ??? ?????? ????, ??, ?? ? ?? ????? ?? ?? ???? ??? ??? ??? ?? ? ? ????. ? ??? ??? ?????.

• ???? : ????? ???? ????? ?????. ??? ??? ????, ????? ???? ???? ???? ??? ?? ??? ? ?????.
• ?? : ??? ?? ??? ?? ???? ?? ??? ? ?????? ???? ????. ???? ? ?? ???? ?? ??? ??? ????.
• ?? : ?? ??? ?? ?? ??? ??? ?? ??, ??? ???? ????? ?? ???? ??? ?????.
• ?? ???? :? ??? ???? ?? ??? ?? ????? ?????. ?, ??? ?? ????? ??? ??? ???? ?????.

?? ?? ??? ?? ??? ??? ? ????. ?, ??? ???? ??? ?? ??? ? ????.

pynlpl? ???? ??????

?? pynlpl? ?? ??? ?? ?? ???? ??? ?? ?????.

pynlpl.statistics ?? ? ?? ???? ?? ? ?????? ??? ?????. ???? ?? ???? ??? ?? ??? ? ? ??? ??? ?????. ?? ?? ?? ?? ??? ?? ????. ?? ?? ??? ??? ???? ?? ??? ??? ?????. ?? ?? ?? ??? ??? ?? ???? ? ??? ??? ?????. ????? ????? ??. entropy () ??? ?????.

???? ???? ?? ??? ?????. ??? ?? ?? .mode ()? ?????. ?? ????? ????? ??? ????? .maxentropy (). ?????, ?? ??? ?? ??? ???? ?? (Word)? ?????. ?? ????? ??? ?? ??? ?? ??? ?????.

 ?? ??
pynlpl.Statistics ?? ?? ??, ??? ????

??? = "????? ??? ?????. Vidhya? ???? ??? ?? ??? ???? ????. ?? Vidhya? ?? ??? ?? ? ?? ????? ??? ??????."

# ?? ??? ??
Words = text.lower (). split ()

freq_list = ?????? (??)
Word_counts = dict (freq_list.items ())

# ?? ????? ?? ?? ??
?? = ?? (Word_counts)

# ?? ??
?? ( "?? :")
Word? ?? distribution.items ()? prob.
    print (f "{word} : {prob : .4f}")

# ??? ??
print ( "\ nstatistics :")
print (f "altropy : {distribution.entropy () :. 4f}")
print (f "perplexity : {distribution.perplexity () : 4f}")
print (f "mode : {etmerctribution.mode ()}")
print (f "max ???? : {distribution.maxentropy () : 4f}")

# '??'??? ?? ??
Word = yourtribution.Mode ()
information_content = distribution.information (Word)
print (f " '{word}'? ?? ?? : {information_content : .4f}")

??:

Levenshtein ??

Levenshtein ??? ? ??? ??? ?????. ? ??? ???? ??? ??? ?? ?? ?? ??? ???? ?????. ??? ??? ??? ??, ?? ?? ??? ?? ?????. ? ?? ???? ????? ?? ???? ??? ??? ???? ?? ??, DNA ?? ?? ? ?? ?? ?? ??? ???? ? ???? ?? ???? ???? ? ??? ? ????. Levenshtein? ??? ?????? ??? ? ?? ??? ??? ??? ? ????. ? ??? ??? ? ??? ? ? ????. Levenshtein? ??? ?? ??? ? ??? ?? ?? ? ??? ?? ? ???, ??? ?? ??? ??? ?? ???? ?????.

? ??? ???? ?? ?? pynlpl.statistics ???? Levenshtein ??? ?????. ?? ?? '??'? '??'??? ? ??? ?????. ?? ??? ??? Levenshtein ??? ???? ?? ?? ?????. ???? ? ? ???,? ? ?? ??? Levenshtein ??? 2???. ?, '??'? '??'?? ???? ? ? ?? ?? ?? ??? ?????. ? ?? ??? ?? ' t '? '??'?? ' s '? ???? ???, ? ?? ??? '??'? ?? 8?? ' C '??? ???? ????.

 Pynlpl.Statistics ?? ?? Levenshtein

Word1 = "??"
Word2 = "??"
?? = Levenshtein (Word1, Word2)
    
print (f " '{word1}'? '{word2}'??? Levenshtein ?? : {diste}")

??:

?? ??? ??

?? ?? ?????? ??? ? ?? ? ??? ??? ?? ? ? ??? ?????. ??? ??? ? ??? ??? ???? ???? ??? ??? ??????. ? ??? ?? ???, ?? ?? ??? ?? ?? ?? ?? ?????? ?????. ? ??? ??? ??? ? ?????? ?? ??? ?? ? ? ????. ??? ?? ?? ????? ??? ? ???, ??? ??? A? ??? ?? ??? ??? ??? ?? ? ??? B?? ?? ? ? ????.

???? ???? ?? ??? ??? ???? ?????. ??, Pynlpl ?????? ??? ??? ?? ???? SQRT?? ? ?? ??? ?????. ?? ??? ? ?? ??? ? ?? ?? ? ????. ?? ??? ?? ? ?? ??? ??? ? ? ????. ????, ??? ??? ??? ??? ?? ??? ???? ??? ???? ??? ??? ?????. ?? ?? cosine_similarity?? ??? ?? ??? ? ??? ??? ???? ?????. ? ????? ?? ??? ???? ??? ?? ? ??? ?? ??? ?? ???? ???? ???? ?????. ????? ??? ???? ??? ?????.

 pynlpl.Statistics ?? ?? ??? ????
?? ?? SQRT??

DOC1 = "Analytics Vidhya? ??? ?? ? ?? ??? ?? ??? ???? ???? ?????."
DOC2 = "??? ?? ? ?? ??? ?? ???? ???? ?? Vidhya? ??????."

# ? ??? ??? ?? ?? ??
freq_list1 = frequencyList (doc1.lower (). split ())
freq_list2 = frequencyList (doc2.Lower (). split ())

def cosine_similarity (freq_list1, freq_list2) :
    vec1 = {Word : freq_list1 [Word] for Word, _ in freq_list1}
    vec2 = {Word : freq_list2 [Word] for Word, _ in freq_list2}

    ??? = set (vec1.keys ()) & set (vec2.keys ())
    numerator = sum (vec1 [Word] * vec2 [Word] ??? ??))

    sum1 = sum (vec1.keys ()? Word? ?? 2? sum1 = sum (vec1 [Word] ** 2
    sum2 = sum (vec2 [word] ** 2 vec2.keys ()? Word? ?? 2
    ?? = sqrt (sum1) * sqrt (sum2)

    ??? ?? ?? :
        0.0? ?????
    ??? (??) / ??? ?????

# compulatinng cosine ???
??? = cosine_similarity (freq_list1, freq_list2)
print (f "??? ??? : {??? : .4f}")

??:

??

Pynlpl? ??? ?? ??? ?? ? ??? ??? ????????. ??? ???? ??? ?? ?, ?? ?, N- ?? ?? ? ??? ?? ?? ??? ?? ?? ??? ?? ?? ?? ?? ?????? ??? ?? ????. ? ????? ??? ??? ?????? ???? ?? ??? ?? ? ??? ?????? ???? ?? ??? ???? ?? ??? ??? ??? ??? ?? ??? ???? Levenshtein ??? ???? ??? ???? ?? ???? ???? ??? ???? ?? ??? ??? ???? ? ??? ??? ??????. ??? ? ??? ???? ??? ????? ??? ???? ???? ??? ?????? ? ? ????. ??? ??? ??? ?? ? ?? Pynlpl (????) ?????? ???????.

?? ??? ??

• Pynlpl (????) ?????? ??? ?? ????? ??? ????? ? ?????.
• ?? ?? ????? ??? ?? ?? ??? ???? ? ????? ??? ???? ? ?? ? ? ????.
• ??? ??? ??? ?? ??? ?? ??? ???? ? ?????.
• ??? ?? ?? ? Levenshtein ??? ??? ???? ???? ? ??? ? ? ????.
• ?? ??? ?? ???? ??? ??? ???? Pynlpl ?????? ??? ? ????.

?? ?? ??

A. Pynlpl? ???????????. ??? ?? ?? ? ??? ?? ????? ???? Python ????????.

A.? ??? ???? ?? ???, ?? ?? ??? ?? ??? ? ?? ? ???? ??? ????? ?? ? ? ????.

A. ?? ?? ????? ??? ???? ? ??? ??? ?? ????? ???? ? ??? ? ????.

A. Levenshtein ??? ???? ? ??? ??? ?? ? ???, ?? ??? ???? ???? ? ?? ? ? ????.

? ??? ??? ???? ?? Vidhya? ???? ??? ??? ??? ?? ?????.

? ??? pynlpl ?????? ??? ??? ?? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!