這篇博文最好以其原始格式查看。

這篇文章回顧了題為一小時(shí)表達(dá)語(yǔ)言的演示，回顧了概念和代碼。¹

表達(dá)式語(yǔ)言²，在此上下文中，計(jì)算表達(dá)式 - 字節(jié)序列，很可能是 UTF-8 字符。³ 示例包括：

• 1 1
• //article[@title="foobar"]//image
• .items[].foo|select(.bar = "foo")
• a.comments > 1 and a.category not in ["misc"]

表達(dá)式語(yǔ)言（或 DSL⁴）的示例是：

• JQ
• Kibana 查詢語(yǔ)言
• XPath 語(yǔ)言
• Symfony 表達(dá)語(yǔ)言

為什么要構(gòu)建自己的表達(dá)語(yǔ)言？ 為什么不呢？ 太忙？ 不用擔(dān)心！它不需要幾個(gè)月、幾周甚至幾天。 使用一小時(shí)表達(dá)語(yǔ)言在一小時(shí)內(nèi)創(chuàng)建一個(gè)！⁵

ProCalc2000

我們將構(gòu)建 ProCalc2000 表達(dá)式語(yǔ)言 - 2000 年及以后的下一代非科學(xué)算術(shù)計(jì)算器。

它評(píng)估諸如 1 1 或 1 2 之類的表達(dá)式，并且可以處理諸如 1 3 2 / 2.

該語(yǔ)言包含數(shù)字（例如 1、2）和運(yùn)算符（、-、）。 它不會(huì)*支持運(yùn)算符優(yōu)先級(jí)（參見(jiàn)附錄一）或除法。

盡管它很簡(jiǎn)單，但它為添加功能提供了基礎(chǔ)：變量、函數(shù)、管道運(yùn)算符、后綴、字符串連接，甚至（違背哥斯拉的意愿）除法。

請(qǐng)問(wèn)，One 里有什么？

評(píng)估字節(jié)序列的方法有很多，但我們將使用分詞器、解析器和評(píng)估器：

<code>              +-----------+  tokens  +--------+  ast  +-----------+ 
EXPRESSION ==>| Tokenizer |--------->| Parser |------>| Evaluator | => VALUE
              +-----------+          +--------+       +-----------+</code>

分詞器

也稱為詞法分析器或掃描器。此類將字符串拆分為稱為標(biāo)記的分類塊。

class Tokenizer
{
    public function tokenize(string $expression): Tokens
    {
        // ...
    }
}

例如，1 2 3 產(chǎn)生五個(gè)標(biāo)記：

<code>Token(Integer, 1)
Token(Plus)
Token(Integer, 2)
Token(Plus)
Token(Integer, 3)</code>

分詞器從左到右掃描，識(shí)別有趣的塊：正整數(shù)以及 、 - 和 * 運(yùn)算符?？瞻妆缓雎裕黄渌址麜?huì)導(dǎo)致錯(cuò)誤。 令牌類型有整數(shù)、加號(hào)、減號(hào)和乘號(hào)。

分詞器不檢查表達(dá)式的有效性；它僅對(duì)塊進(jìn)行分類。⁶ 標(biāo)記將傳遞給解析器。

解析器

解析器解釋標(biāo)記，將它們轉(zhuǎn)換為抽象語(yǔ)法樹(shù)（AST）。

<code>              +-----------+  tokens  +--------+  ast  +-----------+ 
EXPRESSION ==>| Tokenizer |--------->| Parser |------>| Evaluator | => VALUE
              +-----------+          +--------+       +-----------+</code>

給定一個(gè)標(biāo)記列表，解析器返回一個(gè) AST——樹(shù)的根節(jié)點(diǎn)。 每個(gè)節(jié)點(diǎn)都是一個(gè)可評(píng)估的表達(dá)式；節(jié)點(diǎn)類型有 BinaryOp 和 Integer。

二元運(yùn)算有兩個(gè)操作數(shù)（例如，foo or bar 可以是 BinaryOp(Variable('foo'), 'or', Variable('bar'))）。

一元運(yùn)算有一個(gè)操作數(shù)（例如，-1）。

三元運(yùn)算有三個(gè)操作數(shù)（例如，foo ? bar : baz）。

表達(dá)式1 1 / 5是一個(gè)以 為運(yùn)算符的BinaryOp，一個(gè)操作數(shù)為1，另一個(gè)為另一個(gè)BinaryOp（1 / 5）。

class Tokenizer
{
    public function tokenize(string $expression): Tokens
    {
        // ...
    }
}

評(píng)估者

求值器接受一個(gè) Node 并返回一個(gè)值（這里是一個(gè)整數(shù)）。 這是一個(gè)樹(shù)行走翻譯器。

<code>Token(Integer, 1)
Token(Plus)
Token(Integer, 2)
Token(Plus)
Token(Integer, 3)</code>

請(qǐng)顯示您的代碼？

此代碼源自 PHPSW 聚會(huì)，由單元測(cè)試驅(qū)動(dòng)（此處省略）。查看存儲(chǔ)庫(kù)。

分詞器

首先，一個(gè)帶有 Token 枚舉和可選值的 TokenType 類：

class Parser
{
    public function parse(Tokens $tokens): Node
    {
        // ...
    }
}

<code>                        +-------------+
                        | Binary Op + | 



<p>In PHP:</p>

```php
$ast = new BinaryOp(
    left:     new Integer(1),
    operator: '+',
    right:    new BinaryOp(
        left:     new Integer(1),
        operator: '/',
        right:    new Integer(5),
    )
);</code>

令牌看起來(lái)像：

class Evaluator
{
    public function evaluate(Node $node): int
    {
        // ...
    }
}

Tokenizer 類完成以下工作：⁷

class Token
{
    public function __construct(
        public TokenType $type,
        public ?string $value = null
    ) {}
}

Tokens系列：

enum TokenType
{
    case Plus;
    case Minus;
    case Multiply;
    case Integer;
}

解析器

[
    new Token(TokenType::Integer, 50),
    new Token(TokenType::Plus),
    // ...
]

這是添加運(yùn)算符優(yōu)先級(jí)、后綴解析和管道運(yùn)算符的地方。 例如，后綴解析可以處理“5 英里”這樣的表達(dá)式。

評(píng)估者

class Tokenizer
{
    public function tokenize(string $expression): Tokens 
    {
        $offset = 0;
        $tokens = [];
        while (isset($expression[$offset])) {
            $char = $expression[$offset++];
            if (is_numeric($char)) {
                while (is_numeric($expression[$offset] ?? null)) {
                    $char .= $expression[$offset++];
                }
                $tokens[] = new Token(TokenType::Integer, $char);
                continue;
            }
            $token = match ($char) {
                '+' => new Token(TokenType::Plus),
                '-' => new Token(TokenType::Minus),
                '*' => new Token(TokenType::Multiply),
                ' ' => null,
                default => throw new RuntimeException(sprintf(
                    'Invalid operator: "%s"', $char
                )),
            };
            if ($token === null) {
                continue;
            }
            $tokens[] = $token;
        }
        return new Tokens($tokens);
    }
}

就是這樣

此代碼是實(shí)時(shí)編碼的，包括測(cè)試。 完整的代碼可以在存儲(chǔ)庫(kù)中找到。

運(yùn)算符優(yōu)先級(jí)

表達(dá)式 1 * 3 4 應(yīng)該是 (1 * 3) 4 = 7，但由于解析方法，我們的語(yǔ)言將其計(jì)算為 1 * (3 4) = 7。⁸ Pratt 解析器糾正了這一點(diǎn)：

<code>              +-----------+  tokens  +--------+  ast  +-----------+ 
EXPRESSION ==>| Tokenizer |--------->| Parser |------>| Evaluator | => VALUE
              +-----------+          +--------+       +-----------+</code>

延伸閱讀

• 制作口譯員：羅伯特·尼斯特羅姆 (Robert Nystrom) 所著的書(shū)籍（免費(fèi)網(wǎng)絡(luò)版）
• 表達(dá)式解析變得簡(jiǎn)單：Robert Nystrom 的博客文章
• 堆棧機(jī) RPN 計(jì)算器：2014 年 Igor Wiedler 發(fā)表
• 學(xué)說(shuō)詞法分析器
• PHPStan Phpdoc 解析器⁹

1. 代碼隨著每次迭代而變化。
2. 或更具體地說(shuō)，是一個(gè)表達(dá)式語(yǔ)言解釋器。
3. 在 PHP 中通常稱為字符串。
4. 領(lǐng)域特定語(yǔ)言。
5. 不存在專利。
6. 分詞器對(duì)于語(yǔ)法突出顯示很有用。
7. preg_方法可能會(huì)更高效。
8. 只有在期望不同的答案時(shí)才是錯(cuò)誤的。
9. 樹(shù)遍歷是通過(guò) Doctrine 的查詢構(gòu)建器發(fā)現(xiàn)的。

以上是一小時(shí)表達(dá)語(yǔ)言的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！