一个简单的事情 困扰了3周
有一份5000行记录的表，做了一个25000000的笛卡尔集合表，
想要过滤重复的然后建立唯一索引，
去重的工作 2周没能完成，因为云服务器没有空间了，就着手分析磁盘占用 清理空间，
云服务器执行不出脚本，就导出到本地执行，本地执行了2次sql语句 每次都2天 ，都没能跑出结果，
周末在家换了个思路，十多分钟，数据筛选过滤完成，直接把 group后的记录存储。
本机导出数据表，2个G的文件，上传到服务器，导入 失败：
You have an error in your SQL syntax; check the manual that corresponds to
your MySQL server version for the right syntax to use near ，尝试导出时指定utf8编码，依然失败，文件太大 notepad++无法打开，下载新的7版的64位程序，打开后发现果然编码有问题，转换编码，再次上传，
导入，搞定。
sql文件使用7zip先tar打包在gzip压缩，从2g直接到200M。
做一件小时 也很难，是以为记。
发表评论