1. ???, ??? ? ??? ???? ?? ??? ?????. 2. ?? ??? ?? ??? Lexer ??? ????. 3. ??? ???? ?? ??? ?? ???? NextToken ??? ??????. 4. ??? ?? Lexer ??? ???????. ??? Lexer? ????? ?? ?? ?? ? ?? ?? ??? ??? ?? ?? ??? ???? Lexer ??? ??? ?? NextToken ???? ???? ??? ??? ??? ???? ?? ???? ??? ?? ?? ??? ??? ?? Lexer? ??? ???????. ? ??? ???? ???? ???? ? ?????.

??? Lexer (Lexer)? ???? ?? ??? GO ????? ??? ????. ?? ?? ?? ? ?? ?? ??? ???? ? ?? ??? ? ????. ??? ?? ??? ??? ??? ???? ???? ????? ?? ???, ??? ? ??? ???? ?? ? ??? Lexer? ???? ?? ????.

1. ?? ??? ??????

Lexer ??? ???? ?? ?? ??????? "??"? ????????. ?? ? ? ??? ?? ?? ?? Token ??? ?? ? ? ????.

 ?? ?? ?? {
    ???? ??????
    ? ???
}

?? ?? ??? ?? ?? ???? ?? ??? ??????.

 ?? (Const)
    ?? = "??"
    eof = "eof"

    Ident = "Ident"// identifier int = "int"// ?? ?? = "="
    Plus = ""
    comma = ","
    ???? = ";"

    let = "let"
))

? ??? ???? Lexer? ?? ? ??? ?? ?????.

2. Lexer ??? ????

????, ?? ?? ??, ?? ? ?? ??? ?????? ??? ????.

 ?? Lexer struct {
    ?? ???
    ?? int // ?? ?? ?? ?? ?? int // ?? ?? ??? ?? ? ????.

??? ??? ??? ????.

 func new (?? ???) *Lexer {
    L : = & Lexer {?? : ??}
    l.readchar ()
    ?? l
}

readChar() ??? ?? ??? ?? ?? ???? ?????? ? ?????.

 func (l *lexer) readchar () {
    l.readposition> = len (l.input) {? ??
        L.CH = 0
    } ? ?? {
        l.ch = l.input [l.readposition]
    }
    l.position = l.readposition
    L. ??  
}

? ??? ?? ?? ???? ??? ??? ??? ???? ?? ?? ????? ??? ?????.

3. NextToken ??? ??????

? ??? ???? ?? ??? ???? ? ??????. ???? ??? ??? ????. ?? ??? ?? ?? ?? ??? ??? ??? ?? ?? ??? ?????.

 func (l *lexer) nextToken () ?? {
    var ?? ??

    l.skipwhitespace ()

    ??? L.CH {
    CASE '=':
        TOK = NewToken (??, L.CH)
    ?? ' ':
        TOK = NewToken (???, L.CH)
    ?? ',':
        TOK = NewToken (Comma, L.Ch)
    ?? ';':
        TOK = NewToken (Semicolon, L.CH)
    ??? 0 :
        TOK.TYPE = EOF
        TOK.VALUE = "" "
    ??:
        If Isletter (l.ch) {
            Identity : = l.readidentifier ()
            ?? = ?? {?? : ID, value : ID}
        } else if isdigit (l.ch) {
            ?? = ?? {?? : int, value : l.readnumber ()}
        } ? ?? {
            TOK = NewToken (??, L.CH)
        }
    }

    l.readchar ()
    ?? ????
}

????? skipWhitespace , isLetter , isDigit ?? ?? ??? ??? ??? ?? ? ? ????.

 func (l *lexer) skipwhitespace () {
    L.CH == ''||? ?? l.ch == '\ t'|| l.ch == '\ n'|| l.ch == '\ r'{
        l.readchar ()
    }
}

func Isleter (ch byte) bool {
    &#39;a&#39;<= ch && ch <= &#39;z&#39;||? ????? &#39;a&#39;<= ch && ch <= &#39;z&#39;
}

func isdigit (ch byte) bool {
    ?? &#39;0&#39;<= ch && ch <= &#39;9&#39;
}

readIdentifier ? readNumber ? ??? ????.

 func (l *lexer) readidentifier () string {
    ?? : = L.Position
    Isleter (l.ch) || ISDIGIT (L.CH) {
        l.readchar ()
    }
    return l.input [?? : L.Position]
}

func (l *lexer) readNumber () string {
    ?? : = L.Position
    ISDIGIT (L.CH) {
        l.readchar ()
    }
    return l.input [?? : L.Position]
}

??? ??? ?? ??, ??, ?? ?? ??? ?? ? ? ????.

4. ?? ???? ??????

? Lexer? ??? ?? ??? ? ????.

 ?? : = "x = 5???; y = 10;"
L : = ? (??)

? ?? {
    ?? : = l.nextToken ()
    if tok.type == eof {
        ????
    }
    fmt.printf ( "% v \ n", tok)
}

??? ??? ??? ????.

 {?? : ?? ?? : let}
{?? : ?? ? : X}
{type : = value : =}
{?? : int ? : 5}
{??:; ?:;}
...

??,? Lexer? ??? ?? ???? ?? ??? ??, ???, ?? ?? ?? ? ??? ??? ??? ??? ?? ? ??? ????? ??? ?????.

????? ?? ??. ?? ????? ???? ??? ???? ???? ???? ???? ? ?????. ?? ?? ???? ? ?????? Lexer? ?? ??????.

? ??? Golang?? ??? Lexer? ???? ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!