VirtualBox 虚拟机Ubuntu 1604 部署pyspider

2017/12/09 by Jinyang | Filed under 生活随笔.

现在真是一个计算机从业者比较幸福的时代,廉价VPS也不过100一年就有,自己想做点什么的话   真的是勇敢去想去做就可以了。

台式机上本来是有虚拟机的,VMware Player ,限制了很多功能 ,比如网络端口转发等,感觉这个免费版有点像设施的一样  阉割了功能。

幸好还有Oracle的VirtualBox   免费  全功能。

下载 安装 ubuntu 1604 ,网络选择桥接功能, 这样就和物理机是平等的同一局域网IP 。

在虚拟机内安装 openssl-server , 默认好像是没有的,然后就可以直接ssh连接到虚拟机   不在需要显示虚拟机的窗口,界面 键盘 复制都方便多了 。

apt -y update 安装python3

安装 pip3

然后再pip3 安装 pyspider ,

第一次安装报错,发现需要 apt-get install openssl-devel.

安装好后运行报权限错误:

pyspider –phantomjs-proxy=”localhost:25555″
Traceback (most recent call last):
File “/home/huxing/.local/bin/pyspider”, line 11, in <module>
sys.exit(main())
File “/home/huxing/.local/lib/python3.5/site-packages/pyspider/run.py”, line 754, in main
cli()
File “/home/huxing/.local/lib/python3.5/site-packages/click/core.py”, line 722, in __call__
return self.main(*args, **kwargs)
File “/home/huxing/.local/lib/python3.5/site-packages/click/core.py”, line 697, in main
rv = self.invoke(ctx)
File “/home/huxing/.local/lib/python3.5/site-packages/click/core.py”, line 1043, in invoke
return Command.invoke(self, ctx)
File “/home/huxing/.local/lib/python3.5/site-packages/click/core.py”, line 895, in invoke
return ctx.invoke(self.callback, **ctx.params)
File “/home/huxing/.local/lib/python3.5/site-packages/click/core.py”, line 535, in invoke
return callback(*args, **kwargs)
File “/home/huxing/.local/lib/python3.5/site-packages/click/decorators.py”, line 17, in new_func
return f(get_current_context(), *args, **kwargs)
File “/home/huxing/.local/lib/python3.5/site-packages/pyspider/run.py”, line 125, in cli
os.mkdir(kwargs['data_path'])
PermissionError: [Errno 13] Permission denied: ‘./data’

 

只需要在目录下新建一个 data 文件夹就好了

 

nohup pyspider –phantomjs-proxy=”localhost:25555″ &

 

启动到后台运行  OK

 


Leave a Reply

Your email address will not be published. Required fields are marked *

返回顶部