コミュニティ
学ぶ
ツールライブラリ
AIツール
レジャー
検索
日本語
ホームページ バックエンド開発 PHPチュートリアル PHP は字句解析やカスタム言語も実装できます。

PHP は字句解析やカスタム言語も実装できます。

藏色散人
藏色散人
Jan 12, 2022 pm 03:08 PM
php

前のプロジェクトには要件がありました。ビジネス スタッフが中国語でいくつかのカスタム数式を作成し、その結果をバックグラウンドで実行してインターフェイスに結果を返す必要があるため、次のように書きました。この有限状態マシンに基づく字句解析器は比較的単純ですが、他の人にインスピレーションを与えることができれば幸いです。

1. 分析要件

中国語の数式を入力し、結果を返します (例: 

现有薪资=10000;
个税起点=3000;
当前年份=2021;
如果(当前年份=2022){
    个税起点=5000;
}
返回 (现有薪资-个税起点) * 0.2;
ログイン後にコピー

)。 2. 要件を実装する

最初のアイデアは、文字列置換を使用して中国語のキーワードを PHP のキーワードに置き換え、その後 eval を呼び出して実行することです。これは確かに可能ですが、私はいつも次のように感じています。それは美しくありませんが、動的に解析することはできません。簡単な字句解析を自分で実装して、astと組み合わせて字句解析をphpコードに変換して実行することを考えたのですが、面白そうですよね？現在のバージョンでは、コードの生成に抽象構文ツリーを使用せず、すべて文字列連結を使用します。 [推奨学習: PHP ビデオ チュートリアル ]

<?php

/**
 * Class Lexer
 * @package Sett\OaLang
 * 词法分析器
 */
class Lexer {
    // 内置关键字集合
    public $keywordList = [];
    // 内置操作符集合
    public $operatorList = [
        "+", "-", "*", "/", "=", ">", "<", "!", "(", ")", "{", "}", ",", ";"
    ];
    // 源代码
    private $input;
    // 当前的字符
    private $currChar;
    // 当前字符位置
    private $currCharPos = 0;
    // 结束符
    private $eof = "eof";
    // 当前编码
    private $currEncode  = "UTF-8";

    // 内置关键字
    public const VAR = "variable";
    public const STR = "string";
    public const KW  = "keyword";
    public const OPR = "operator";
    public const INT = "integer";
    public const NIL = "null";


    /**
     * Lexer constructor.
     * @param string $input
     */
    public function __construct(string $input) {
        $this->input    = $input;
        $this->currChar = mb_substr($this->input, $this->currCharPos, 1);
    }

    /**
     * @param array $keywordList
     */
    public function setKeywordList($keywordList) {
        $this->keywordList = $keywordList;
    }

    /**
     * @return array
     * @throws Exception
     */
    public function parseInput() {
        if ($this->input == "") {
            throw new Exception("code can not be empty");
        }
        $tokens = [];
        do {
            $token = $this->nextToken();
            if ($token["type"] != "eof") {
                $tokens[] = $token;
            }
            if ($token["type"] == self::KW) {
                $tokens[] = $this->makeToken(self::NIL, " ");
            }
        } while ($token["type"] != "eof");
        return $tokens;
    }

    /**
     * @return array
     */
    public function nextToken() {
        $this->skipBlankChar();
        $this->currChar == "" && $this->currChar = $this->eof;
        if ($this->isCnLetter()) {
            $word = $this->matchUntilNextCharIsNotCn();
            if ($this->isKeyword($word)) {
                $this->currCharPos -= 1;
                return $this->currToken(static::KW, $word);
            }
            // 不是关键字的全部归为变量
            return $this->makeToken(static::VAR, $word);
        }
        // 如果是操作符
        if ($this->isOperator()) {
            return $this->currToken(static::OPR, $this->currChar);
        }
        // 如果是数字
        if ($this->isNumber()) {
            return $this->currToken(static::INT, $this->currChar);
        }
        // 如果是字符串
        if ($str = $this->isStr()) {
            return $this->currToken(static::STR, $str);
        }
        // 如果是变量
        if ($this->isVar()) {
            $word = $this->matchVar();
            if ($this->isKeyword($word)) {
                return $this->currToken(static::KW, $word);
            }
            return $this->makeToken(static::VAR, $word);
        }
        if ($this->currChar == $this->eof) {
            return $this->currToken(&#39;eof&#39;, $this->currChar);
        }
        return $this->currToken(static::VAR, $this->currChar);
    }

    /**
     * @param string $input
     * @return string
     */
    private function matchVar(string $input = "") {
        $word = $input ?: &#39;&#39;;
        while ($this->isVar()) {
            $word .= $this->currChar;
            $this->nextChar();
        }
        return $word;
    }

    /**
     * @return bool
     * 是否为普通变量
     */
    private function isVar() {
        return $this->isCnLetter() || $this->isEnLetter();
    }


    /**
     * 跳过空白字符
     */
    private function skipBlankChar() {
        while (ord($this->currChar) == 10 ||
            ord($this->currChar) == 13 ||
            ord($this->currChar) == 32) {
            $this->nextChar();
        }
    }

    /**
     * @param string $type
     * @param $word
     * @return array
     * 记录当前token和下一个字符
     */
    private function currToken(string $type, $word) {
        $token = $this->makeToken($type, $word);
        $this->nextChar();
        return $token;
    }

    /**
     * @param string $type
     * @param string $char
     * @return array
     */
    private function makeToken(string $type, string $char) {
        return ["type" => $type, "char" => $char, "pos" => $this->currCharPos];
    }


    /**
     * @return bool
     * 判断是否是英文字符
     */
    private function isEnLetter() {
        if ($this->currChar == "" || $this->currChar == $this->eof) {
            return false;
        }
        $ord = mb_ord($this->currChar, $this->currEncode);
        if ($ord > ord(&#39;a&#39;) && $ord < ord(&#39;z&#39;)) {
            return true;
        }
        return false;
    }

    /**
     * @return false|int
     * 是否中文字符
     */
    private function isCnLetter() {
        return preg_match("/^[\x{4e00}-\x{9fa5}]+$/u", $this->currChar);
    }

    /**
     * @return bool
     * 是否为数字
     */
    private function isNumber() {
        return is_numeric($this->currChar);
    }

    /**
     * @return bool
     * 是否是字符串
     */
    private function isStr() {
        return $this->matchCompleteStr();
    }

    /**
     * @return string
     * 匹配完整字符串
     */
    private function matchCompleteStr() {
        $char = "";
        if ($this->currChar == "\"") {
            $this->nextChar();
            while ($this->currChar != "\"") {
                if ($this->currChar != "\"") {
                    $char .= $this->currChar;
                }
                $this->nextChar();
            }
            return $char;
        }
        return $char;
    }

    /**
     * @return bool
     * 是否是操作符
     */
    private function isOperator() {
        return in_array($this->currChar, $this->operatorList);
    }

    /**
     * @return string
     * 匹配中文字符
     */
    private function matchUntilNextCharIsNotCn() {
        $char = "";
        while ($this->isCnLetter()) {
            $char .= $this->currChar;
            $this->nextChar();
        }
        return $char;
    }

    /**
     * @return void 获取下一个字符
     * 获取下一个字符
     */
    private function nextChar() {
        $this->currCharPos += 1;
        $this->currChar    = mb_substr($this->input, $this->currCharPos, 1);
        if ($this->currChar == "") {
            $this->currChar = $this->eof;
        }
    }

    /**
     * @param string $input
     * @return bool
     * 是否是关键字
     */
    private function isKeyword(string $input) {
        return ($this->keywordList[$input] ?? "") != "";
    }

    public function convert(array $tokens) {
        $code = "";
        foreach ($this->lexerIterator($tokens) as $generator) {
            switch ($generator["type"]) {
                case static::KW:
                    $code .= $this->keywordList[$generator["char"]];
                    break;
                case static::VAR:
                    $code .= sprintf("$%s", $generator["char"]);
                    break;
                case static::OPR:
                    $code .= $this->replace($generator["char"]);
                    break;
                case static::INT:
                    $code .= $generator["char"];
                    break;
                case static::STR:
                    $code .= sprintf("\"%s\"", $generator["char"]);
                    break;
                default:
                    $code .= $generator["char"];
            }
        }
        return $code;
    }

    private function replace(string $char) {
        return str_replace("+", ".", $char);
    }

    /**
     * @param array $tokens
     * @return \Generator
     */
    private function lexerIterator(array $tokens) {
        foreach ($tokens as $index => $token) {
            yield $token;
        }
    }
}
ログイン後にコピー

3. 

require __DIR__ . "/vendor/autoload.php";
// 定义一段代码
$code = <<<EOF
姓名="腕豪";
问候="你好啊";
地址=(1+2) * 3;
如果(地址 > 3){
    地址=1;
}否则{
    地址="艾欧尼亚"
}
说话 = ("我"+"爱")+"你";
返回 姓名+年龄;
EOF;
$lexer = new Lexer($code);
// 自定义你的关键字
$kwMap = [
    "如果" => "if", "否则" => "else", "返回" => "return", "否则如果" => "elseif"
];
$lexer->setKeywordList($kwMap);
// 这里是生成的词
$tokens = $lexer->parseInput();
// 将生成的词转成php,当然你也可以尝试用php-parse转ast再转成php，这里只是简单的拼接
var_dump($lexer->convert($tokens));
ログイン後にコピー

を使用して単語を生成する方法

[{
    "type": "variable",
    "char": "姓名",
    "pos": 2}, {
    "type": "operator",
    "char": "=",
    "pos": 2}, {
    "type": "string",
    "char": "腕豪",
    "pos": 7}, {
    "type": "operator",
    "char": ";",
    "pos": 8}, {
    "type": "variable",
    "char": "问候",
    "pos": 13}, {
    "type": "operator",
    "char": "=",
    "pos": 13}, {
    "typ e": "string",
    "char": "你好啊",
    "pos": 17}, {
    "type": "operator",
    "char": ";",
    "pos": 18}, {
    "type": "variable",
    "char": "地址",
    "pos": 23}, {
    "type": "operator",
    "char": "=",
    "pos": 23}, {
    "type": "operator",
    "char": "(",
    "pos": 24}, {
    "type": "integer",
    "char": "1",
    "pos": 25}, {
    "type": "operator",
    "char": " +",
    "pos": 26}, {
    "type": "integer",
    "char": "2",
    "pos": 27}, {
    "type": "operator",
    "char": ")",
    "pos": 28}, {
    "type": "operator",
    "char": "*",
    "pos": 30}, {
    "type": "integer",
    "char": "3",
    "pos": 32}, {
    "type": "operator",
    "char": ";",
    "pos": 33}, {
    "type": "keyword",
    "char": "如果",
    "pos": 37}, {
    "type": "nul l",
    "char": " ",
    "pos": 38}, {
    "type": "operator",
    "char": "(",
    "pos": 38}, {
    "type": "variable",
    "char": "地址",
    "pos": 41}, {
    "type": "operator",
    "char": ">",
    "pos": 42}, {
    "type": "integer",
    "char": "3",
    "pos": 44}, {
    "type": "operator",
    "char": ")",
    "pos": 45}, {
    "type": "operator",
    "char": "{",
    "pos": 46}, {
    "type": "variable",
    "char": "地址",
    "pos": 55}, {
    "type": "operator",
    "char": "=",
    "pos": 55}, {
    "type": "integer",
    "char": "1",
    "pos": 56}, {
    "type": "operator",
    "char": ";",
    "pos": 57}, {
    "type": "operator",
    "char": "}",
    "pos": 60}, {
    "type": "keyword",
    "char": "否则",
    "pos": 62}, {
    "type": "null",
    "char ": " ",
    "pos": 63}, {
    "type": "operator",
    "char": "{",
    "pos": 63}, {
    "type": "variable",
    "char": "地址",
    "pos": 72}, {
    "type": "operator",
    "char": "=",
    "pos": 72}, {
    "type": "string",
    "char": "艾欧尼亚",
    "pos": 78}, {
    "type": "operator",
    "char": ";",
    "pos": 79}, {
    "type": "operator",
    "char": "}",
    "pos": 82}, {
    "type": "variable",
    "char": "说话",
    "pos": 87}, {
    "type": "operator",
    "char": "=",
    "pos": 88}, {
    "type": "operator",
    "char": "(",
    "pos": 90}, {
    "type": "string",
    "char": "我",
    "pos": 93}, {
    "type": "operator",
    "char": "+",
    "pos": 94}, {
    "type": "string",
    "char": "爱",
    "pos": 97}, {
    "type": "operator",
    "char": ")",
    "pos": 98}, {
    "type": "operator",
    "char": "+",
    "pos": 99}, {
    "type": "string",
    "char": "你",
    "pos": 102}, {
    "type": "operator",
    "char": ";",
    "pos": 103}, {
    "type": "keyword",
    "char": "返回",
    "pos": 107}, {
    "type": "null",
    "char": " ",
    "pos": 108}, {
    "type": "variable",
    "char": "姓名",
    "pos": 111}, {
    "typ e": "operator",
    "char": "+",
    "pos": 111}, {
    "type": "variable",
    "char": "年龄",
    "pos": 114}, {
    "type": "operator",
    "char": ";",
    "pos": 114}]
ログイン後にコピー

出力:

$姓名="腕豪";$问候="你好啊";$地址=(1.2)*3;if ($地址>3){$地址=1;}else {$地址="艾欧尼亚";}$说话=("我"."爱")."你";return $姓名.$年龄;
ログイン後にコピー
実行できますか?もちろん。変更したくない小さなバグがまだいくつかあります。

4. 使用シナリオ

えっ、実際は役に立たないという人もいるのですか? oaシステムはこれからも役に立ちます。

以上がPHP は字句解析やカスタム言語も実装できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

もっと見る

人気の記事

R.E.P.O.説明されたエネルギー結晶と彼らが何をするか（黄色のクリスタル）
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最高のグラフィック設定
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
アサシンのクリードシャドウズ：シーシェルリドルソリューション
2週間前 By DDD
R.E.P.O.誰も聞こえない場合はオーディオを修正する方法
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25：Myriseのすべてのロックを解除する方法
4週間前 By 尊渡假赌尊渡假赌尊渡假赌
もっと見る

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト（SublimeText3）

もっと見る

ホットトピック

Gmailメールのログイン入り口はどこですか？
7471
15
CakePHP チュートリアル
1377
52
Steamのアカウント名の形式は何ですか
77
11
Win11 Activation Key Permanent
48
19
NYTの接続はヒントと回答です
19
30
もっと見る
Related knowledge
Ubuntu および Debian 用の PHP 8.4 インストールおよびアップグレード ガイド Ubuntu および Debian 用の PHP 8.4 インストールおよびアップグレード ガイド Dec 24, 2024 pm 04:42 PM

PHP 8.4 では、いくつかの新機能、セキュリティの改善、パフォーマンスの改善が行われ、かなりの量の機能の非推奨と削除が行われています。 このガイドでは、Ubuntu、Debian、またはその派生版に PHP 8.4 をインストールする方法、または PHP 8.4 にアップグレードする方法について説明します。

CakePHP の日付と時刻 CakePHP の日付と時刻 Sep 10, 2024 pm 05:27 PM

Cakephp4 で日付と時刻を操作するには、利用可能な FrozenTime クラスを利用します。

CakePHP について話し合う CakePHP について話し合う Sep 10, 2024 pm 05:28 PM

CakePHP は、PHP 用のオープンソース フレームワークです。これは、アプリケーションの開発、展開、保守をより簡単にすることを目的としています。 CakePHP は、強力かつ理解しやすい MVC のようなアーキテクチャに基づいています。モデル、ビュー、コントローラー

CakePHP ファイルのアップロード CakePHP ファイルのアップロード Sep 10, 2024 pm 05:27 PM

ファイルのアップロードを行うには、フォーム ヘルパーを使用します。ここではファイルアップロードの例を示します。

CakePHP バリデータの作成 CakePHP バリデータの作成 Sep 10, 2024 pm 05:26 PM

Validator は、コントローラーに次の 2 行を追加することで作成できます。

CakePHP のロギング CakePHP のロギング Sep 10, 2024 pm 05:26 PM

CakePHP へのログインは非常に簡単な作業です。使用する関数は 1 つだけです。 cronjob などのバックグラウンド プロセスのエラー、例外、ユーザー アクティビティ、ユーザーが実行したアクションをログに記録できます。 CakePHP でのデータのログ記録は簡単です。 log()関数が提供されています

PHP 開発用に Visual Studio Code (VS Code) をセットアップする方法 PHP 開発用に Visual Studio Code (VS Code) をセットアップする方法 Dec 20, 2024 am 11:31 AM

Visual Studio Code (VS Code とも呼ばれる) は、すべての主要なオペレーティング システムで利用できる無料のソース コード エディター (統合開発環境 (IDE)) です。 多くのプログラミング言語の拡張機能の大規模なコレクションを備えた VS Code は、

CakePHP クイックガイド CakePHP クイックガイド Sep 10, 2024 pm 05:27 PM

CakePHP はオープンソースの MVC フレームワークです。これにより、アプリケーションの開発、展開、保守がはるかに簡単になります。 CakePHP には、最も一般的なタスクの過負荷を軽減するためのライブラリが多数あります。

See all articles