【文件属性】：
文件名称：spark-sql-magic:IPython使用Spark-SQL的魔力
文件大小：13KB
文件格式：ZIP
更新时间：2021-05-21 14:31:38
Python
spark-sql-magic
使用提供SQLContext通过Spark运行SQL语句。
这种魔术将使用通过-s参数指定SQLContext。 如果没有提供，魔术将通过SQLContext搜索用户名称空间。 如果魔术找到了一个正确SQLContext，则将使用它。 如果有多个SQLContext，则需要指定一个。 这个魔术返回了漂亮的打印pyspark DataFrame。 -l选项用于加载json和parquet文件。 该文件将被加载并注册为一个表，并从文件名中推断出表名。 文件必须具有.json或.parquet扩展名。 -w选项用于将查询的输出写入JSON或Parquet文件。 从文件扩展名推断输出格式。 Python变量可以通过在标识符前面加上冒号来引用。 这会将变量的字符串表示形式注入查询中。
例子：：
%sparksql -s context SHOW TABLES
【文件预览】：
spark-sql-magic-master
----src()
--------tests()
--------sparksql()
----requirements.txt(22B)
----examples()
--------data()
--------Spark SQL Magic Demo.ipynb(17KB)
----.travis.yml(130B)
----setup.py(303B)
----README.md(1KB)
----.gitignore(54B)