【文件属性】：
文件名称：PyctureStream:使用Kafka，Spark Streaming和TensorFlow进行图像处理的PoC
文件大小：74.76MB
文件格式：ZIP
更新时间：2021-05-02 23:48:00
Python
PyctureStream
描述使用Kafka，Tensorflow和Spark Streaming的可伸缩分布式图像流处理的演示架构。 我们的原型包含一个客户端，该客户端将网络摄像头图像流式传输到Kafka，以及一个分析组件，该组件使用spark上的tensorflow来检测这些图像上的对象。 结果将发送回客户端，并在使用Plotly Dash的Dashboard构建中进行汇总和报告。
语境硕士课程讲座在
目标/任务提出一个虚构的大数据用例，为其设计架构，陈述架构决策的原因，并实施概念验证。
作者马库斯和我（ ）
时间线2018年2月-2018年3月
回购概念验证代码和文档； 我们最终演示的； （德语） ； 正在运行的屏幕截图。
目录
测试卡夫卡
测试Spark Streaming + Kafka
链接与资源
准备基础架构
先决条件：具有足够资源（8 GB，更好的16
【文件预览】：
PyctureStream-master
----client()
--------output.jpg(66KB)
--------monitor_imagestream.html(2KB)
--------test_0.jpg(29KB)
--------receive_results_from_kafka.py(3KB)
--------test_webcam.py(3KB)
--------test_1.jpg(52KB)
--------input.jpg(178KB)
--------stream_webcam_to_kafka.py(3KB)
----.gitignore(1KB)
----processing()
--------detect_objects.py(13KB)
----environment.yaml(4KB)
----poc_in_action.mkv(50.42MB)
----documentation.pdf(20.18MB)
----start_jupyter.sh(227B)
----reporting()
--------generate_test_data.py(1KB)
--------store_results_from_kafka.py(2KB)
--------events.json(557KB)
--------dashboard.ipynb(27KB)
----notebooks()
--------kafka_wordcount.ipynb(1KB)
--------frame.html(812B)
--------test_producer.ipynb(6KB)
--------test_monitor.ipynb(3KB)
--------object_detection_model_evaluation.ipynb(13KB)
--------test_images()
----README.md(7KB)
----setup_cloudera_vm.sh(6KB)
----.gitattributes(26B)
----slides.pdf(4.43MB)