word源码java-pycascading:级联的Python包装器

时间:2024-06-25 16:06:31
【文件属性】:

文件名称:word源码java-pycascading:级联的Python包装器

文件大小:91KB

文件格式:ZIP

更新时间:2024-06-25 16:06:31

系统开源

word源码java 不再维护 PyCascading 级联 PyCascading 是 Cascading 的 Python 包装器。 您可以从 Python 控制完整的数据处理工作流程。 管道是用 Python 操作符构建的 用户定义的函数是用 Python 编写的 将任意上下文传递给用户定义的函数 在管道中缓存临时结果以加快回放速度 使用 Jython 2.5.2,与 Java 和 Python 库轻松集成 例子 没有数词就不可能有 MapReduce 教程。 这里是: def main(): ... @udf_map(produces=['word']) def split_words(tuple): for word in tuple.get('line').split(): yield [word] input | split_words | group_by('word', native.count()) | output ... 上面,重塑流的用户定义函数使用 PyCascading 装饰器进行注释,并且工作流是通过将操作相互链接来创建的。 可以在示例文件夹中找到不同用


【文件预览】:
pycascading-master
----NOTICE(308B)
----remote_deploy.sh(7KB)
----python()
--------pycascading()
----LICENSE(10KB)
----local_run.sh(2KB)
----examples()
--------merge_streams.py(2KB)
--------joins.py(2KB)
--------copy_data_to_hdfs.sh(174B)
--------pagerank.py(5KB)
--------udf_contexts.py(2KB)
--------word_count.py(1KB)
--------python_fields.py(2KB)
--------subassembly.py(1KB)
--------total_sort.py(1KB)
--------callback.py(1KB)
--------map_types.py(2KB)
--------README.md(563B)
--------cache.py(2KB)
--------pycascading_data()
--------reduce.py(2KB)
----add_tgz_to_build.sh(2KB)
----.gitignore(189B)
----java()
--------dependencies.properties(366B)
--------build.xml(4KB)
--------src()
----add_jar_to_build.sh(2KB)
----README.md(5KB)

网友评论