Python有哪些黑魔法？-파이썬 튜토리얼-php.cn

回复内容：

집

백엔드 개발

파이썬 튜토리얼

Python有哪些黑魔法？

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 06, 2016 pm 04:11 PM

回复内容：

ctypes ，当年有个人靠这个省了好几个月的加班

------------------------劳动节补充-----------------------------

回答 @于酥酥

1. ipython + ctypes: 调试/测试Linux API的交互式运行环境

ipython是最好的REPL！（我喜欢Python，至少有30%的好感来自ipython）

REPL的好处不言自明，在开发和调试时能大大的提高效率。尤其是需要对API进行快速验证时。

我最早是用gdb来做一些REPL的事情，但毕竟操作复杂，交互式功能有限。而用ctypes，就爽快多了，ctypes可以直接人so中提取出函数，在Python层面稍加包装，就能直接使用，不用编译/连接，保持运行状态，结果出来直接用Python分析……简直是画面太美

真实场景：

我们的运营环境有数十万host，host上去除了编译环境，某一天，我们对某个系统调用的返回产生怀疑。于是，按照通常的作法，在开发机上写一个示例程序，编译，拷贝到运营机，运行，反复执行这一个过程。

那么有了ctypes，直接在python/ipython的REPL里调试就好了。还不容易留下可疑的可执行程序。

2. ctypes作为胶水

ctypes增强了python作为胶水语言的能力，从进程调用/统一协议级别的脱水直接深入到二进制级别的脱水。这样看来，C++对C的兼容就显得没那么重要了

真实场景：

某个执行框架，插件以so的形式提供，so提供固定的函数入口。重构时打算去除语言耦合，改用进程调用的方式调用插件（类似于cgi server，这样可以减少对插件编写的限制，插件本身也更容易测试，防止so崩溃造成框架整体崩溃）。但是很多插件的作者已离职，于是只需要框架额外增加从so里调用函数出来即可，做到平滑升级。

3. ctypes与系统编程

ctypes作为一种轻量并且内置的c语言“代理”，使得python极大地增强了系统编程的能力。

从此，系统编程的代码也可以变得更加优雅。

真实场景：

sdn/vpc方案需要对内核协议栈做较多的调整，从管理的层面上，网络配置由中央控制并下发。因此，host上存在一个daemon，一方面要接受zookeeper的配置变更通知，另一方面要把配置解析后通过netlink与内核通信。

这个daemon大概几乎没有人会用python去做。但是我看到iotop里用到ctypes对netlink接口的封装，惊为天人，并且python更加适合对配置解析与处理。我斗胆用python实现了这个daemon，调试起来如丝般顺滑，然后就减少了好几个月的加班。

回答我成电师兄 @韦易笑大神

没有有生产环境用过cffi，以前在自己电脑上简单用过，感觉不如ctypes简单粗暴。当然我没去用的主要原因还是不想在部署的时候附带太多东西。在Quora上看到的, 不算黑科技吧, 但感觉挺有意思的. turtle是内置库

======================================================================
补充一个最近才看到的:

要对字典里面的键嵌套赋值, 对键不存在时候的解决方案:

<span class="kn">import</span> <span class="nn">collections</span>
<span class="n">tree</span> <span class="o">=</span> <span class="k">lambda</span><span class="p">:</span> <span class="n">collections</span><span class="o">.</span><span class="n">defaultdict</span><span class="p">(</span><span class="n">tree</span><span class="p">)</span>
<span class="n">some_dict</span> <span class="o">=</span> <span class="n">tree</span><span class="p">()</span>
<span class="n">some_dict</span><span class="p">[</span><span class="s">"colors"</span><span class="p">][</span><span class="s">"favourite"</span><span class="p">]</span> <span class="o">=</span> <span class="s">"yellow"</span>

로그인 후 복사

使用contextmanager来限制一个block的执行超时:

<span class="k">with</span> <span class="n">timeout</span><span class="p">(</span><span class="n">seconds</span><span class="o">=</span><span class="mi">10</span><span class="p">):</span>
    <span class="n">balabala</span><span class="p">()</span>

로그인 후 복사

pandas.. __slots__ 当年有个网站靠这个省了几个GB的内存。可以看看这个，其实也不算黑魔法。
difflib，它是个official的module哦，用来比较串的相似度。
(difflib)[difflib – Compare sequences],
另外常用的functools和collections也都是Python吸引人的地方。
很多第三方的库窃以为不能算了。
另外doctest在进行单元测试的时候也是棒呆
25.2. doctest 说到python黑魔法，必然要提到python的第三方协程库gevent的底层实现——greenlet。
greenlet直接在内存层面，通过保存和替换Python进程的运行栈来实现不同协程的切换。
这个切换对于python解释器是透明的，如果python解释器对环境有感知的话，则每当协程切换的时候，它的感觉可能类似一个人前一秒还在在路上走路，下一秒突然自己又出现在了地铁上。
对于普通python用户而言，直接操作python的运行时栈，这就是在刀尖上跳舞有木有，这要求对内存的操作100%精确，任何错误都可能导致python进程崩溃！
那作者又是如何又是如何来保证正确性呢？除了要熟悉python、操作系统、编译器等等的底层机制，明确设计方案，还需要对不同的系统以及硬件环境做对应的适配工作。我们在使用python的时候，在不同的系统或者硬件下感觉都一样，那是因为python本身为我们屏蔽了底层细节，在做这种python底层hack的事情的时候，显然就没那么轻松了。
举个例子，由于CPU有很多种，例如i386、x86_64、arm等等，每种CPU的设计不尽相同，于是作者为每种CPU写了对应的汇编操作指令来完成栈的保存和替换，这些操作都是与操作系统和硬件高度绑定的。
虽然greenlet的实现这么bt，但就是有人做到了，加上gevent的封装，用起来比python自带协程好用太多。
我想任何对python比较熟悉的童鞋，在初次接触gevent的时候，都会好奇它是如何做到的，在进一步了解其底层greenlet实现机理之后，无不惊叹其鬼斧神工。
这种事情就是那种，别人不说，你可能永远不会想到的事情。 pip一下啥都有呀，比如微信接口 itchat

pip install itchat

로그인 후 복사

PEP 0302 -- New Import Hooks

Flask 中的插件是怎么做的? 为何能用
from flask.ext.sqlalchemy import SQLAlchemy
로그인 후 복사

본 웹사이트의 성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제

Gmail 이메일의 로그인 입구는 어디에 있나요?

7388

자바 튜토리얼

1630

Cakephp 튜토리얼

1357

라라벨 튜토리얼

1267

PHP 튜토리얼

1216

Related knowledge

HTML을 구문 분석하기 위해 아름다운 수프를 어떻게 사용합니까? Mar 10, 2025 pm 06:54 PM

이 기사에서는 HTML을 구문 분석하기 위해 파이썬 라이브러리 인 아름다운 수프를 사용하는 방법을 설명합니다. 데이터 추출, 다양한 HTML 구조 및 오류 처리 및 대안 (SEL과 같은 Find (), find_all (), select () 및 get_text ()와 같은 일반적인 방법을 자세히 설명합니다.

파이썬의 수학 모듈 : 통계 Mar 09, 2025 am 11:40 AM

Python의 통계 모듈은 강력한 데이터 통계 분석 기능을 제공하여 생물 통계 및 비즈니스 분석과 같은 데이터의 전반적인 특성을 빠르게 이해할 수 있도록 도와줍니다. 데이터 포인트를 하나씩 보는 대신 평균 또는 분산과 같은 통계를보고 무시할 수있는 원래 데이터에서 트렌드와 기능을 발견하고 대형 데이터 세트를보다 쉽고 효과적으로 비교하십시오. 이 튜토리얼은 평균을 계산하고 데이터 세트의 분산 정도를 측정하는 방법을 설명합니다. 달리 명시되지 않는 한,이 모듈의 모든 함수는 단순히 평균을 합산하는 대신 평균 () 함수의 계산을 지원합니다. 부동 소수점 번호도 사용할 수 있습니다. 무작위로 가져옵니다 수입 통계 Fracti에서

파이썬 객체의 직렬화 및 사제화 : 1 부 Mar 08, 2025 am 09:39 AM

파이썬 객체의 직렬화 및 사막화는 사소한 프로그램의 주요 측면입니다. 무언가를 Python 파일에 저장하면 구성 파일을 읽거나 HTTP 요청에 응답하는 경우 객체 직렬화 및 사태화를 수행합니다. 어떤 의미에서, 직렬화와 사제화는 세계에서 가장 지루한 것들입니다. 이 모든 형식과 프로토콜에 대해 누가 걱정합니까? 일부 파이썬 객체를 지속하거나 스트리밍하여 나중에 완전히 검색하려고합니다. 이것은 세상을 개념적 차원에서 볼 수있는 좋은 방법입니다. 그러나 실제 수준에서 선택한 직렬화 체계, 형식 또는 프로토콜은 속도, 보안, 유지 보수 상태 및 프로그램의 기타 측면을 결정할 수 있습니다.

Tensorflow 또는 Pytorch로 딥 러닝을 수행하는 방법은 무엇입니까? Mar 10, 2025 pm 06:52 PM

이 기사는 딥 러닝을 위해 텐서 플로와 Pytorch를 비교합니다. 데이터 준비, 모델 구축, 교육, 평가 및 배포와 관련된 단계에 대해 자세히 설명합니다. 프레임 워크, 특히 계산 포도와 관련하여 주요 차이점

인기있는 파이썬 라이브러리와 그 용도는 무엇입니까? Mar 21, 2025 pm 06:46 PM

이 기사는 Numpy, Pandas, Matplotlib, Scikit-Learn, Tensorflow, Django, Flask 및 요청과 같은 인기있는 Python 라이브러리에 대해 설명하고 과학 컴퓨팅, 데이터 분석, 시각화, 기계 학습, 웹 개발 및 H에서의 사용에 대해 자세히 설명합니다.

아름다운 수프로 파이썬에서 웹 페이지를 긁어 내기 : 검색 및 DOM 수정 Mar 08, 2025 am 10:36 AM

이 튜토리얼은 간단한 나무 탐색을 넘어서 DOM 조작에 중점을 둔 아름다운 수프에 대한 이전 소개를 바탕으로합니다. HTML 구조를 수정하기위한 효율적인 검색 방법과 기술을 탐색하겠습니다. 일반적인 DOM 검색 방법 중 하나는 EX입니다

Python으로 명령 줄 인터페이스 (CLI)를 만드는 방법은 무엇입니까? Mar 10, 2025 pm 06:48 PM

이 기사는 Python 개발자가 CLIS (Command-Line Interfaces) 구축을 안내합니다. Typer, Click 및 Argparse와 같은 라이브러리를 사용하여 입력/출력 처리를 강조하고 CLI 유용성을 향상시키기 위해 사용자 친화적 인 디자인 패턴을 홍보하는 세부 정보.