文件名称：pyhdemu:用于 Python 的 Hadoop 流仿真器
文件大小：25KB
文件格式：ZIP
更新时间：2024-07-24 16:36:49
Python
用于 Python 的 Hadoop 流仿真器 Hadoop Streaming Emulator for Python 是一个命令行程序，当您将 Python 脚本作为映射器和减速器运行时，它可以模拟 Hadoop 的行为。 使用此模拟器，您可以在实际在 Hadoop 上运行之前在 Python 中调试映射器和化简器。 先决条件 Python 2.7、3.3 或 3.4 （确保您的目标 Hadoop 平台上运行的是什么版本的 Python。） 安装 模拟器由以下文件组成： 文件 hseexceptions.py 文本输入格式.py 文本输出格式.py 聚合.py 将这三个文件从 /emulator 复制到您的本地目录。 这些文件应该在同一目录中。 怎么跑 从命令提示符，运行python install_dir \hdemu.py -input input_data -outpu
【文件预览】：
pyhdemu-master
----TextOutputFormat.py(1KB)
----hdemu.py(16KB)
----unittests()
--------testcmdline.py(10KB)
--------testglobalcontext.py(7KB)
--------data()
----aggregate.py(4KB)
----TextInputFormat.py(532B)
----LICENSE(11KB)
----README.md(4KB)
----sample()
--------input()
--------wc_mapper.py(307B)
--------wc_reducer.py(653B)
--------readme.txt(572B)
----.gitignore(675B)
----hseexceptions.py(1KB)
----smoketest()
--------smoke.sh(2KB)
--------smoke.bat(1KB)
--------input()
--------f_mapper.py(323B)
--------f_reducer.py(292B)
--------f_file.txt(11B)
--------expected()
--------wc_mapper.py(307B)
--------wc_reducer.py(653B)