Jinyang的日记

一个简单的事情   困扰了3周
有一份5000行记录的表，做了一个25000000的笛卡尔集合表，

想要过滤重复的然后建立唯一索引，

去重的工作    2周没能完成，因为云服务器没有空间了，就着手分析磁盘占用  清理空间，

云服务器执行不出脚本，就导出到本地执行，本地执行了2次sql语句  每次都2天  ，都没能跑出结果，

周末在家换了个思路，十多分钟，数据筛选过滤完成，直接把 group后的记录存储。

本机导出数据表，2个G的文件，上传到服务器，导入  失败：

You have an error in your SQL syntax; check the manual that corresponds to 
your MySQL server version for the right syntax to use near      ，

尝试导出时指定utf8编码，依然失败，文件太大    notepad++无法打开，下载新的7版的64位程序，打开后发现果然编码有问题，转换编码，再次上传，

导入，搞定。

sql文件使用7zip先tar打包在gzip压缩，从2g直接到200M。

做一件小时  也很难，是以为记。

UPDATE english_words_5000_double SET word = REPLACE(word, ‘\t’, ” );commit;
UPDATE english_words_5000_double SET word = REPLACE(word, ‘\n’, ” );commit;
UPDATE english_words_5000_double SET word = REPLACE(word, ‘\r’, ” );commit;
UPDATE english_words_5000_double SET word = REPLACE(word, ‘ ‘, ” );commit;
UPDATE english_words_5000_double SET word1 = unhex(REPLACE(hex(word1), ‘C2A0’, ” )), word2 = unhex(REPLACE(hex(word2), ‘C2A0’, ” ));commit;
UPDATE english_words_5000_double SET word = TRIM(word);commit;

You have an error in your SQL syntax; check the manual that corresponds to 
your MySQL server version for the right syntax to use near     

最近因为这个升级熬夜了几次，虽然已经顺利解决，还是记录下。

起因是因为 Struts 2.3存在大的漏洞导致服务器被黑  ，  有漏洞是一方面，主要的原因还是没做好服务器web目录的权限管控，没有限制目录为只读状态   没有控制JSP文件的运行 。

项目运行于 weblogic10 + jdk 1.6 下，出于紧急升级的目的，直接丢了全部的Struts 2.5.10.1 的全部依赖jar文件到lib目录，报jar文件的版本太高，于是直接更新jdk到1.7 ，启动完成 。本来以为这就算好了， 但是接下来在新机器部署时，weblogic升级为了12c ，项目复制过去后启动不了，也不报错，于是开始了连续几天的折腾，显示尝试替换asm jar的版本，后来发现2.5已经抛弃asm3升级为asm5了，于是把所有的2.3的包都清理掉  换2.5的mini lib ，结果还是不行，因为也没有错误信息输出，一度一筹莫展 ，后来没办法，直接清理掉了全部的Struts Spring jar文件，恩 这个项目起先是struts  后来又引入了Spring ,从0开始添加了最小量的Struts Spring包  ，启动 成功  。

项目的jar文件大小也缩减了一半。

开发过程中，程序员们图省事 丢了太多了包进来，相互冲突 ，很混乱。

思考了下 maven  ，的确是好的。

校园网使用drcom5.2D版客户端软件拨号上网，只能通过电脑先联网后再分享无线给其他设备，无线信号弱  电脑也得不到关机。

为什么选择极路由3? 只是因为手头上有一个而已，真要选择的话  貌似极路由3也不是一个最具性价比的选择，京东当前售价199 相对这个配置来说还是贵了点的。

如果新购买路由器  建议参考这个 https://www.zhihu.com/question/30771491 文章选择。

此前实现了简单的自用网络辅助服务：  http://deriji.com/2016/09/30/602.html   , 因为是自己使用，所以也就没设置密码 ，浏览器到代理服务之间的访问是透明的， 年底接到阿里云的自动语音电话  说网站提供了法律禁止的服务 必须停止 于是只好关好相应的服务 ，习惯了基于PAC的自动判断网络方式的上网 虽然也有其他工具能实现上网 但是效果和方便性上始终有点不爽。

新完成的模式如下：

Chrome 浏览器 -> SwitchyOmega 浏览器插件 -> PAC文件配置的代理规则 -> HTTPS形式的Squid代理 ->验证用户名密码（Squid basic_ncsa_auth）-> Privoxy (将HTTPS的代理转换为Socks5) -> SS Local服务(国内) -> SS Server (海外)

我是菜鸟，只为自己搭建服务 自己使用，不对外提供服务哦。

都是开源的方案 ，参考官方文档 也都能搞定 ，只不过国内一台服务器   国外一台服务器  成本近千元了 ，如果只是为了1个人上网  没必要折腾贵的 ，买个海外廉价服务器直接装个SS就好了。

Squid默认不支持SSL ，需要自行安装文件，添加 –with-openssl’ ‘–enable-ssl-crtd  参数安装 ，

免费的SSL证书很多，阿里云 腾讯云都提供免费的，不过我想自己用 还是let’s encrypt放心一些 ，使用 https://github.com/Neilpang/acme.sh/wiki/%E8%AF%B4%E6%98%8E   一键生成证书，自动更新维护证书，省心。

Squid的配置中 不使用http_port ,直接只启用一个 https_port是即可.

为了不提供匿名服务，我们启用Squid的Auth机制 。

许久没有做网站后台了 ， 某一个需求需要用到一个后台，于是就去搜了下 ，

因为前台时 bootstrap 的，所以想着后台最后也时 bootstrap的，于是就找到了相对简洁的 SB Admin 2 Bootstrap admin theme 。

闹了个笑话是下载下来的模板文件的示例页面都很漂亮，但是我放到spring mvc项目里去后小图标都不显示，于是先找文件的图标，发现根本没有图片文件，后来才发现原来是使用了 字体图标 ， 感觉这几年没太接触前端，落伍了。

赶紧去了解了下  fontawesome ，Font Awesome 是一套完美的图标字体 ，Font Awesome的矢量图标，将使您的网站在视网膜级的高分屏上大放异彩。

真是要不断学习，不断的亲自写代码 ，才会不太落伍 。