口译员中的口译员-Python教程-PHP中文网

首页

后端开发

Python教程

口译员中的口译员

Susan Sarandon

Dec 15, 2024 pm 08:22 PM

An interpreter inside an interpreter

开发几个月后，我决定孟菲斯的北极星是完全在我的解释器中运行 Flask 服务器。我不知道这需要做多少工作，只知道这听起来很酷，而且可能会教会我很多东西。如果我今天要实现这个目标，我可能会选择 FastAPI 或什么都不选择，因为那对我来说很愚蠢。

Python 标准库

我遇到的一个重大决定是如何处理Python标准库。正如您可能熟悉的那样，语言的标准库在技术上并不是语言定义或运行时的一部分。它包含在版本中，以使语言和运行时更有用。想象一下没有线程或异步支持的 Python。您仍然能够计算表达式并实例化类，但大多数生产就绪程序需要某种并发支持。

一种选择是自己重写整个标准库。我正在构建一个解释器，不是吗？我相信这就是RustPython所采取的方法，这是一条令人钦佩的道路。我认为我已经有足够的时间让运行时正常工作，正在寻找任何和所有的捷径，并决定不这样做。

Python 标准库由两个主要部分组成：用 Python 实现的部分和用 C 实现的部分。很方便的是，我有自己的 Python 解释器。我可以直接从主机解释Python源文件来满足前者吗？是的，我可以。我需要支持他们使用的每一个语法和功能，但在那之后，它就可以工作了。

C 部分是它变得有趣的地方。早在 2023 年，我就决定在我的 Python 解释器中嵌入一个 Python 解释器，但我并没有完全理解这意味着什么。现在是时候思考这个问题并决定是否要继续采用这种方法还是选择另一条路。

Rust 和 Python 的互操作商店是 Pyo3。作为镇上唯一的游戏，Pyo3 使用外部函数接口 (FFI) 来允许 Rust 代码调用 CPython 二进制文件。这是通过同意应用程序二进制接口 (ABI) 来实现的，这是我在 AMD 的职业生涯中使用的一个概念。核心软件ftw！

导入模块

我最初的用例是运行 import sys 并让它给我一个可以执行成员访问操作的对象。我在这里进入口译员讲话，但这就是我正在谈论的 REPL 会话类型。

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict'>

登录后复制

使用 Pyo3 获取此功能非常简单。

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

登录后复制

我们可以使用它在孟菲斯驱动一个类似的 REPL 会话，假设您还记得让它运行的功能标志鸡尾酒。

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict'>

登录后复制

如果你问自己，难道你不能用这种方式导入整个标准库（包括用Python和C编写的部分），让你的整个生活、自由和幸福的追求变得更容易吗？答案是肯定的。这将是一个有效的方法！然而，这会让我的解释器更像是 CPython 的外壳，超出了我的预期。这是一个学习练习，所以我完全赞成任意决定。对于那些说在 Memphis 中加载任何 CPython 片段都会导致 Memphis 不是真正的解释器的纯粹主义者，我只想说：请向我展示你的解释器。

我使用 Memphis 和 CPython 在 REPL 会话中运行 import sys，对 htop 进行了快速测试。在 Memphis 上，由于这会将 CPython 库加载到内存中，因此 RAM 使用量（htop 中的驻留集大小）增加了约 5MB。作为比较，Memphis REPL 加载 sys 模块之后使用大约 9MB 的 RAM，而 Python REPL 加载 sys 模块之前和之后使用的 RAM 大约相同。我确信这不是同类比较，但它至少告诉我，孟菲斯不会慢慢地让我的电脑窒息而死。

转换对象并获得存在性

此设置的下一个复杂性涉及将我的 Memphis 对象表示形式转换为 CPython 表示形式，反之亦然。这是一项正在进行的工作，我的主要指令最初是“不要失败”，最近是“在进行有损转换时显示警告。”

这是我从 PyObject（Pyo3 端的对象表示）到 ExprResult（我的孟菲斯表示）的转换。

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

登录后复制

这是反向比较。请注意，对于这两者，我们必须传入一个 Python 对象，该对象控制我们对 CPython GIL（全局解释器锁）的访问。

memphis 0.1.0 REPL (Type 'exit()' to quit)
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict' (built-in)>

登录后复制

这是一个我想进一步探索的丰富领域。以下是我考虑过的一些方向：

每次对象穿过 FFI 接口时都会进行转换。（是的，我意识到缩写词扩展为外部函数接口接口。）这大致就是我已经在做的事情，我只需要拥有它而不是感觉自己像个冒名顶替者。这可能很简单，但效率很低。
保留一个注册表，以便每个对象在每一侧最多存在一次。这比 (1) 更有效，但它需要一个稳定的值，您可以使用它来查找和链接这些对象。
以 Rust 端的单一表示为目标，并根据需要使用 Pyo3 来代理和延迟转换字段。我相信这仍然会利用 (1) 的功能，但会以更有效的方式。
使 Memphis 对象的内存布局与 PyObject 的内存布局相匹配。与 #[repr(C)] 在 Rust 中的工作方式类似，这类似于 ABI 在函数调用中扮演的角色。鉴于双方需要进行评估的内容有所不同，我什至不确定这是否可能，但这引起了我的兴趣。

我有点超前了，因为我现在几乎无法加载 C 模块，但我的好奇心在这个领域确实没有尽头。