有没有自动优化sql的工具？spark SQL咋大点的表无法处理

同①个sql，不同的写法效率不同，但是问题来了，①般我们写的所谓的效率低的sql，都是在逻辑上最好理解，或者写出来最短，可读性最高的sql语句。那么有没有好用的sql语句优化工具，自动能优化sql语句。

可以试试 SQL Optimizer for SQL Server

就凭你这个问题，就知道你是新手

多看点工具书

直接读取mysql数据进行处理的方式个人觉得是不太好的，因为没有压缩，源数据要加到内存中，然而当内存不足时就会溢出从而导致执行失败。

建议先将mysql的数据以列压缩格式存储到HDFS上，然后再用spark sql 去加载，在此基础上执行sql 查询，这样做既节省系统资源，也可以提升查询效率。