使用Shell传参解决DataPhin中PySpark不支持中文的问题
使用Shell传参解决DataPhin中PySpark不支持中文的问题
背景
笔者开发PySpark任务时【别问为神马不用Java和Scala打Jar包的方式，PySpark不需要打包所以开发效率极高，早点搞完早点下班】，遇到一个令所有SQL Boy都很头疼的问题，那就是一旦Python脚本中出现中文，该PySpark任务就报错且无法运行。所以人才们当然是异常机智，先搞个中间表把中文改成拼音，PySpark跑完了再搞个Hive On Tez任务把拼音改回中文，这种笨办法只适合于中文值的种类屈指可数的场景。
由于PySpark任务不能像Hive On Tez任务那样由DataPhin自动解析血缘和依赖，还不支持中文，所以SQL Boy们也是一度灰常嚣张，总觉得Hive On Tez任务就是最好的任务。只有遇到Tez极其严重的性能问题，才会想起来Spark的好处。
作为曾经的平台开发攻城狮，自然是不能让这股风气蔓延，不然大家都变成SQL Boy了，还和Oracle数据库开发攻城狮有啥区别。。。势必解决这个问题。
解决方式
既然Py文件中不能写中文，而我又要用中文，那么借鉴Java开发中常见的前后端Json传参的方式，我也可以Shell给Py文件动态传参，这样Py文件中就完美的规避了中文的明文，自然Py不会报错，而参数值又可以让Python调用系统方法拿到。所以可以这么尝试：
echo "START"
cat > zhiyong.py <经过验证，果然可以show出传入的中文参数！！！
原理
这个cat重定向的py文件不支持直接写中文，大概率是Encoder的问题。但是Shell本身可以正常写中文参数，说明Linux Node的中文语言包和character set正常，那么只需要在外层的Shell预先构建变量，再通过spark-submit提交这个py文件时传入这些内容为中文的String参数，即可在Python脚本中动态获取到变量的值，再去拼接SQL字符串给Spark的算子使用。Python文件中依旧不能有明文的中文。
SQL和拼接的其它中文字符串的注释可以用#注释掉，写在Shell的头上。
进一步排查
这么做，给SQL Boy们使用已经足够了，毕竟他们之前只搞过Oracle数据库开发当然也就只会SQL，除此之外没啥会的东西了。
但是从平台开发的视角，其实还是可以做进一步的分析。笔者的PyCharm一般是用Python3.7，这么搞PySpark任务即便有中文也跑的很欢快。出现这种情况，首先发现租来的阿里云DataPhin还是老掉牙的Python2.6，那么：
echo "START"
cat > zhiyong.py <给Py文件的头上+个这玩意儿，期望当然是可以识别中文。
但是本地、扔服务器都可以跑有中文参数/SQL的PySpark任务，就是扔DataPhin跑不起来。。。
于是手动cat生成的py文件，发现了惊天大秘密：DataPhin解析有问题，把#的这一行当Linux的注释给filter了。。。
属实无语的操作。。。
所以更改脚本的解析方式，或者把基础环境的python升级到3.7都是个比shell传参更好的主意。平台的事情，就不是SQL Boy能解决的了。
转载请注明出处：https://lizhiyong.blog.csdn.net/article/details/129699142
