执行力 障碍

2017-06-20 by Jinyang | Filed under 技术相关.

一个简单的事情   困扰了3周
有一份5000行记录的表,做了一个25000000的笛卡尔集合表,

想要过滤重复的然后建立唯一索引,

去重的工作    2周没能完成,因为云服务器没有空间了,就着手分析磁盘占用  清理空间,

云服务器执行不出脚本,就导出到本地执行,本地执行了2次sql语句  每次都2天  ,都没能跑出结果,

周末在家换了个思路,十多分钟,数据筛选过滤完成,直接把 group后的记录存储。

本机导出数据表,2个G的文件,上传到服务器,导入  失败:

You have an error in your SQL syntax; check the manual that corresponds to 
your MySQL server version for the right syntax to use near      ,

尝试导出时指定utf8编码,依然失败,文件太大    notepad++无法打开,下载新的7版的64位程序,打开后发现果然编码有问题,转换编码,再次上传,

导入,搞定。

sql文件使用7zip先tar打包在gzip压缩,从2g直接到200M。

 

做一件小时  也很难,是以为记。

 

1

 


发表评论

您的电子邮箱不会被公开。 标记为 * 的区域必须填写

返回顶部