Python技术栈以及工具整理的详细介绍
开发环境
编辑器
vim / SublimeText2 / PyCharm
用着顺手就好,我是由vim转PyChram的。集成开发环境自动补全、单步调试等功能好很多,有利于提高工作效率。
本地环境
pip/easy_install 包管理
viertualenv + virtualenvwrapper 库/版本管理, 环境隔离
ipython/ipdb
项目开发
管理工具
git
Web框架
Tornado:异步, 高性能, 最新版本4.0。
Flask:轻量! 可以灵活组合各类组件进行开发(第三方组件很丰富), 简单高效, 便于快速开发和维护。
Django:有些重, 配置和约定众多, 可以快速开发一些”管理”性质的后台。
Python Web框架也是超多,目前主流的就是这三个了。目前工作中采用的Tornado,性能卓越。
ORM
SQLAlchemy:标配。
pymongo:访问mongodb。
peewe:一个更轻量的ORM,简单了解,没在生产环境用过。
数据库
No SQL:
分布式存储
HDFS:hadopp生态
Hive:分析log
消息队列
RabbitMQ
: python中pika
操作。
项目部署
服务器
nginx
, 主要用于负载均衡, 反代等uWSGI
,用来部署Django项目。gunicorn
a Python WSGI HTTP Server for UNIX, 用来运行Flask项目
运维管理
saltstack
:别名,盐栈。自动化运维工具。puppet
:这货是Ruby开发的,百度和小米都在大规模使用。fabric
: 用于自动化部署。Supervisor
A Process Control System, 配置管理各种程序, 进程监控, 自动重启等。
三方库
requests
HTTP for humans, 非常好用, 强烈推荐beautifulsoup
配合urllib2或者requests库进项简单的抓取分析工作scrapy
很牛的抓取框架, 适合规模较大,需求复杂的的抓取任务
其他
前端基础
html, css, javascript, jquery,bootstrap,angularjs,react, vue.js。作为一个后端工程师,了解一些基本的前端知识也是必要的。目前工作中用到
bootstrap
+angularjs
来开发后台管理系统。
软件工程
设计模式:Python虽然不像Java里没完没了的设计模式,基本的设计模式也会用到。组合,单例模式、装饰器模式、工厂模式这几个常用。
RESTful 接口。
测试:单元测试,性能测试。
有比较才有差距,多看别人代码,借鉴提高。
云计算
大数据:Hadoop生态。
虚拟化:Docker, KVM, OpenStack。
公有云:AWS,阿里云,Azure,金山云。
私有云:百度的私有云建设的很不错,分布式存储、虚拟化业界领先。
开发环境
编辑器
vim / SublimeText2 / PyCharm
用着顺手就好,我是由vim转PyChram的。集成开发环境自动补全、单步调试等功能好很多,有利于提高工作效率。
本地环境
pip/easy_install 包管理
viertualenv + virtualenvwrapper 库/版本管理, 环境隔离
ipython/ipdb
项目开发
管理工具
git
Web框架
Tornado:异步, 高性能, 最新版本4.0。
Flask:轻量! 可以灵活组合各类组件进行开发(第三方组件很丰富), 简单高效, 便于快速开发和维护。
Django:有些重, 配置和约定众多, 可以快速开发一些”管理”性质的后台。
Python Web框架也是超多,目前主流的就是这三个了。目前工作中采用的Tornado,性能卓越。
ORM
SQLAlchemy:标配。
pymongo:访问mongodb。
peewe:一个更轻量的ORM,简单了解,没在生产环境用过。
数据库
关系型数据库:mysql
No SQL:
redis 缓存/持久化/特殊需求(计数-排行榜-时间线等)
memcached 集群, 多用于有时限性质的缓存
mongodb
分布式存储
HDFS:hadopp生态
Hive:分析log
消息队列
RabbitMQ
: python中pika
操作。
项目部署
服务器
nginx
, 主要用于负载均衡, 反代等uWSGI
,用来部署Django项目。gunicorn
a Python WSGI HTTP Server for UNIX, 用来运行Flask项目
运维管理
saltstack
:别名,盐栈。自动化运维工具。puppet
:这货是Ruby开发的,百度和小米都在大规模使用。fabric
: 用于自动化部署。Supervisor
A Process Control System, 配置管理各种程序, 进程监控, 自动重启等。
三方库
requests
HTTP for humans, 非常好用, 强烈推荐beautifulsoup
配合urllib2或者requests库进项简单的抓取分析工作scrapy
很牛的抓取框架, 适合规模较大,需求复杂的的抓取任务
其他
前端基础
html, css, javascript, jquery,bootstrap,angularjs,react, vue.js。作为一个后端工程师,了解一些基本的前端知识也是必要的。目前工作中用到
bootstrap
+angularjs
来开发后台管理系统。
软件工程
设计模式:Python虽然不像Java里没完没了的设计模式,基本的设计模式也会用到。组合,单例模式、装饰器模式、工厂模式这几个常用。
RESTful 接口。
MVC
测试:单元测试,性能测试。
有比较才有差距,多看别人代码,借鉴提高。
云计算
大数据:Hadoop生态。
虚拟化:Docker, KVM, OpenStack。
公有云:AWS,阿里云,Azure,金山云。
私有云:百度的私有云建设的很不错,分布式存储、虚拟化业界领先。
以上是Python技术栈以及工具整理的详细介绍的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

PHP和Python各有优劣,选择取决于项目需求和个人偏好。1.PHP适合快速开发和维护大型Web应用。2.Python在数据科学和机器学习领域占据主导地位。

Python和JavaScript在社区、库和资源方面的对比各有优劣。1)Python社区友好,适合初学者,但前端开发资源不如JavaScript丰富。2)Python在数据科学和机器学习库方面强大,JavaScript则在前端开发库和框架上更胜一筹。3)两者的学习资源都丰富,但Python适合从官方文档开始,JavaScript则以MDNWebDocs为佳。选择应基于项目需求和个人兴趣。

在CentOS系统上启用PyTorchGPU加速,需要安装CUDA、cuDNN以及PyTorch的GPU版本。以下步骤将引导您完成这一过程:CUDA和cuDNN安装确定CUDA版本兼容性:使用nvidia-smi命令查看您的NVIDIA显卡支持的CUDA版本。例如,您的MX450显卡可能支持CUDA11.1或更高版本。下载并安装CUDAToolkit:访问NVIDIACUDAToolkit官网,根据您显卡支持的最高CUDA版本下载并安装相应的版本。安装cuDNN库:前

Docker利用Linux内核特性,提供高效、隔离的应用运行环境。其工作原理如下:1. 镜像作为只读模板,包含运行应用所需的一切;2. 联合文件系统(UnionFS)层叠多个文件系统,只存储差异部分,节省空间并加快速度;3. 守护进程管理镜像和容器,客户端用于交互;4. Namespaces和cgroups实现容器隔离和资源限制;5. 多种网络模式支持容器互联。理解这些核心概念,才能更好地利用Docker。

在CentOS系统上进行PyTorch分布式训练,需要按照以下步骤操作:PyTorch安装:前提是CentOS系统已安装Python和pip。根据您的CUDA版本,从PyTorch官网获取合适的安装命令。对于仅需CPU的训练,可以使用以下命令:pipinstalltorchtorchvisiontorchaudio如需GPU支持,请确保已安装对应版本的CUDA和cuDNN,并使用相应的PyTorch版本进行安装。分布式环境配置:分布式训练通常需要多台机器或单机多GPU。所

MinIO对象存储:CentOS系统下的高性能部署MinIO是一款基于Go语言开发的高性能、分布式对象存储系统,与AmazonS3兼容。它支持多种客户端语言,包括Java、Python、JavaScript和Go。本文将简要介绍MinIO在CentOS系统上的安装和兼容性。CentOS版本兼容性MinIO已在多个CentOS版本上得到验证,包括但不限于:CentOS7.9:提供完整的安装指南,涵盖集群配置、环境准备、配置文件设置、磁盘分区以及MinI

在CentOS系统上安装PyTorch,需要仔细选择合适的版本,并考虑以下几个关键因素:一、系统环境兼容性:操作系统:建议使用CentOS7或更高版本。CUDA与cuDNN:PyTorch版本与CUDA版本密切相关。例如,PyTorch1.9.0需要CUDA11.1,而PyTorch2.0.1则需要CUDA11.3。cuDNN版本也必须与CUDA版本匹配。选择PyTorch版本前,务必确认已安装兼容的CUDA和cuDNN版本。Python版本:PyTorch官方支

Python在自动化、脚本编写和任务管理中表现出色。1)自动化:通过标准库如os、shutil实现文件备份。2)脚本编写:使用psutil库监控系统资源。3)任务管理:利用schedule库调度任务。Python的易用性和丰富库支持使其在这些领域中成为首选工具。
