安装和配置 pybind11 库(用于在 python 中调用 C++)(windows/linux 系统)
pybind11是用来进行C++和python互相调用的库。
用pybind11的动机就是再用python处理数据的时候很慢,但是又无法用GPU加速,网上找了一下发现了这个库,利用python调用C++的程序,处理速度能快不少,因此就决定探索一下。
pybind11官方链接
但是作为一个编程菜鸡,对C++了解很少,一直用的python,所以走了很多弯路,花了好几天的工夫才弄成功。下面说一下我遇到的主要问题。
一、windows系统
1.pybind11安装
从GitHub上下载源码:点这里下载。
2.支持的C++软件
我用了一下visual studio2019,因为之前没用过,结果出各种问题,所以我就去vscode了,然后一直用vscode弄了半天也没成功,后来发现官网上说了,pybind11只支持visual studio2015之后的版本。。。。。
所以建议直接用visual studio
下载安装过程就不说了,一搜就搜到。
写一下配置项目过程。
先创建一个新项目
选择空项目,下一步
起名,选择位置,然后创建。
创建源文件
选择属性。
配置选择release,VC++目录这里包含anaconda的include目录和pubind11目录,如果包含pybind11.h头文件不成功的话,也可以采用将include文件中的pybind11文件夹复制到当前包含头文件的目录下的方法,就可以导入了。
库目录选择anacobda的Libs目录
然后是链接器设置。
vs2019设置好了,接下来就是pybind代码。
#include<pybind11/pybind11.h>
namespace py = pybind11;
PYBIND11_MODULE(example, m) {
m.doc() = "pybind11 example module";
// Add bindings here
m.def("foo", []() {
return "Hello, World!";
});
}
由于pybind11是head-only的,因此只需要导入头文件就可以了。
2.编译
代码写好之后,进行编译,这里我用的是CMake,下载过程不说了,网上搜就能搜到。
在解决方案目录下新建文件夹build,用于保存编译的内容。
新建CMakelists.txt文件,填写以下内容。
cmake_minimum_required(VERSION 2.8.12)
project(example)
add_subdirectory(pybind11)
pybind11_add_module(example example.cpp)
这里语句含义不说了,戳这里查看CMakelists.txt的语句含义。
将下载的pybind11-master放到这里,重命名为pybind11。
因为这句话add_subdirectory(pybind11)意思是加子模块,将pybind11加到目录下,不然会出错。
用CMake编译时,上边那一行是源代码位置,也就是解决方案的目录,下边那行是编译后方的位置,选择build文件夹,然后点击configure,然后generate,应该不会出问题。
然后会在build中生成example.sln文件,这个是解决方案文件,双击打开。
点击生成。
结果成功,产生的pyd文件就是可以在python里导入的包。
然后查看一下自己的pycharm导入包的路径,随便导入一个包,然后Ctrl+鼠标左键点击查看。
这里是包的目录。
将pyd文件复制过来,注意:如果在pycharm里复制的话,他会产生一个同名文件夹,将这个文件包含在里边,但是这样导入不了,因此必须是以纯pyd文件的形式出现在site-packages里。
导入的时候example就是这个包,而不是文件全称,导入之后查看一下就知道是不是这个文件。
这说明导入的没错,接下来就是测试一下了。
C++源代码里定义了一个函数foo,打印输出,这里只需要直接调用就可以了。
或者在终端用命令行测试,也是一样的。
二、linux系统
1.安装pytest
pip install pytest
2.下载源码和新建文件
git clone https://github.com/pybind/pybind11.git
输入上边命令下载好pybind11的源码后,会在当前目录下出现一个pybind11目录,就是下载好的文件。
然后再当前目录下,也就是和pybind11同级目录下,建立c++文件example.cpp,内容如下:
#include <pybind11/pybind11.h>
namespace py = pybind11;
int add(int i, int j)
{
return i + j;
}
PYBIND11_MODULE(example, m)
{
// optional module docstring
m.doc() = "pybind11 example plugin";
// expose add function, and add keyword arguments and default arguments
m.def("add", &add, "A function which adds two numbers", py::arg("i")=1, py::arg("j")=2);
// exporting variables
m.attr("the_answer") = 42;
py::object world = py::cast("World");
m.attr("what") = world;
}
再在当前目录下建立文件CMakeLists.txt
内容如下:
cmake_minimum_required(VERSION 3.5.1)
project(example)
add_subdirectory(pybind11)
pybind11_add_module(example example.cpp)
SET( CMAKE_CXX_FLAGS "-std=c++11 -O3")
也就是说pybind11和example.cpp以及CMakeLists.txt三个文件都是在同一个目录下。
3.编译
选择pybind11文件进入,进入之后建立build文件然后cmake,make,具体操作如下:
cd pybind11
mkdir build
cd build
cmake ..
make
每次输入一行命令然后回车。
输入完之后应该会成功编译,然后会在build下产生一个example******.so文件,名字很长记不全了,大概是长这样的,so文件就是linux系统下可以在python中导入的库,在Windows系统下是.pyd文件,在linux系统下是.so文件,然后参照windows系统上的方法把生成的.so文件放到python的库目录下,然后import example就可以正常使用了。
结束语:折腾了好久 好久,哎,这种东西对C++新手太不友好了!!之前用别人的代码里他们就用了pybind11了,那时折腾半天也没搞明白就放弃了开始自己写代码,写到最后发现,多重for循环的处理数据速度真是慢到令人发指,所以又开始了探索,幸好这次弄出来了,太激动了,写下了这一篇文章,这也是第一次写这么多字,费了我一个多小时,不过弄出来还是很激动的,22:07分,走了,回宿舍啦!
推荐阅读
-
安装和配置 pybind11 库(用于在 python 中调用 C++)(windows/linux 系统)
-
包婷婷 (201550484)作业一 统计软件简介与数据操作-SPSS(Statistical Product and Service Solutions),"统计产品与服务解决方案"软件。最初软件全称为"(SolutionsStatistical Package for the Social Sciences),但是随着SPSS产品服务领域的扩大和服务深度的增加,SPSS公司已于2000年正式将英文全称更改为"统计产品与服务解决方案",标志着SPSS的战略方向正在做出重大调整。为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称SPSS,有Windows和Mac OS X等版本。 1984年SPSS总部首先推出了世界上第一个统计分析软件微机版本SPSS/PC+,开创了SPSS微机系列产品的开发方向,极大地扩充了它的应用范围,并使其能很快地应用于自然科学、技术科学、社会科学的各个领域。世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价。 R统计软件介绍 R是一套完整的数据处理、计算和制图软件系统。其功能包括:数据存储和处理系统;数组运算工具(其向量、矩阵运算方面功能尤其强大);完整连贯的统计分析工具;优秀的统计制图功能;简便而强大的编程语言:可操纵数据的输入和输出,可实现分支、循环,用户可自定义功能。 与其说R是一种统计软件,还不如说R是一种数学计算的环境,因为R并不是仅仅提供若干统计程序、使用者只需指定数据库和若干参数便可进行一个统计分析。R的思想是:它可以提供一些集成的统计工具,但更大量的是它提供各种数学计算、统计计算的函数,从而使使用者能灵活机动的进行数据分析,甚至创造出符合需要的新的统计计算方法。 该语言的语法表面上类似 C,但在语义上是函数设计语言(functional programming language)的变种并且和Lisp 以及 APL有很强的兼容性。特别的是,它允许在"语言上计算"(computing on the language)。这使得它可以把表达式作为函数的输入参数,而这种做法对统计模拟和绘图非常有用。 R是一个免费的*软件,它有UNIX、LINUX、MacOS和WINDOWS版本,都是可以免费下载和使用的。在R主页那儿可以下载到R的安装程序、各种外挂程序和文档。在R的安装程序中只包含了8个基础模块,其他外在模块可以通过CRAN获得。 二、R语言 R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个*、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。 R作为一种统计分析软件,是集统计分析与图形显示于一体的。它可以运行于UNIX,Windows和Macintosh的操作系统上,而且嵌入了一个非常方便实用的帮助系统,相比于其他统计分析软件,R还有以下特点: 1.R是*软件。这意味着它是完全免费,开放源代码的。可以在它的网站及其镜像中下载任何有关的安装程序、源代码、程序包及其源代码、文档资料。标准的安装文件身自身就带有许多模块和内嵌统计函数,安装好后可以直接实现许多常用的统计功能。[2] 2.R是一种可编程的语言。作为一个开放的统计编程环境,语法通俗易懂,很容易学会和掌握语言的语法。而且学会之后,我们可以编制自己的函数来扩展现有的语言。这也就是为什么它的更新速度比一般统计软件,如,SPSS,SAS等快得多。大多数最新的统计方法和技术都可以在R中直接得到。[2] 3. 所有R的函数和数据集是保存在程序包里面的。只有当一个包被载入时,它的内容才可以被访问。一些常用、基本的程序包已经被收入了标准安装文件中,随着新的统计分析方法的出现,标准安装文件中所包含的程序包也随着版本的更新而不断变化。在另外版安装文件中,已经包含的程序包有:base一R的基础模块、mle一极大似然估计模块、ts一时间序列分析模块、mva一多元统计分析模块、survival一生存分析模块等等.[2] 4.R具有很强的互动性。除了图形输出是在另外的窗口处,它的输入输出窗口都是在同一个窗口进行的,输入语法中如果出现错误会马上在窗口口中得到提示,对以前输入过的命令有记忆功能,可以随时再现、编辑修改以满足用户的需要。输出的图形可以直接保存为JPG,BMP,PNG等图片格式,还可以直接保存为PDF文件。另外,和其他编程语言和数据库之间有很好的接口。[2] 5.如果加入R的帮助邮件列表一,每天都可能会收到几十份关于R的邮件资讯。可以和全球一流的统计计算方面的专家讨论各种问题,可以说是全世界最大、最前沿的统计学家思维的聚集地.[2] R是基于S语言的一个GNU项目,所以也可以当作S语言的一种实现,通常用S语言编写的代码都可以不作修改的在R环境下运行。 R的语法是来自Scheme。R的使用与S-PLUS有很多类似之处,这两种语言有一定的兼容性。S-PLUS的使用手册,只要稍加修改就可作为R的使用手册。所以有人说:R,是S-PLUS的一个“克隆”。 但是请不要忘了:R是免费的(R is free)。R语言源代码托管在github,具体地址可以看参考资料。[3] 。 R语言的下载可以通过CRAN的镜像来查找。 R语言有域名为.cn的下载地址,有六个,其中两个由Datagurn,由 中国科学技术大学提供的。R语言Windows版,其中由两个下载地点是Datagurn和 USTC提供的。 三、stata Stata 是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它提供许许多多功能,包含线性混合模型、均衡重复反复及多项式普罗比模式。用Stata绘制的统计图形相当精美。 新版本的STATA采用最具亲和力的窗口接口,使用者自行建立程序时,软件能提供具有直接命令式的语法。Stata提供完整的使用手册,包含统计样本建立、解释、模型与语法、文献等超过一万余页的出版品。 除此之外,Stata软件可以透过网络实时更新每天的最新功能,更可以得知世界各地的使用者对于STATA公司提出的问题与解决之道。使用者也可以透过Stata. Journal获得许许多多的相关讯息以及书籍介绍等。另外一个获取庞大资源的管道就是Statalist,它是一个独立的listserver,每月交替提供使用者超过1000个讯息以及50个程序。 四、PYTHON