【文件属性】：
文件名称：df-ml-anomaly-detection:使用PubSub，Dataflow，BQML和Cloud DLP的流异常检测解决方案
文件大小：10.2MB
文件格式：ZIP
更新时间：2021-05-26 14:36:00
log network pubsub cybersecurity dataflow
使用Google Cloud Stream Analytics和AI服务进行实时异常检测
此存储库提供了Cloud Dataflow流管道的参考实现，该流数据管道与BigQuery ML，Cloud AI Platform和AutoML（即将推出！）集成在一起，以作为实时AI模式的一部分执行异常检测用例。 它包含以下实时异常检测用例的参考实现：
在netflow日志中查找异常行为，以识别电信用例的网络安全威胁。
查找异常交易以识别金融服务用例的欺诈活动。
目录
。
。
。
。
。
。
。
。
。
。
。
Netflow日志中的异常检测
回购的本部分包含使用发布/订阅，数据流，BQML和Cloud DLP的基于ML的网络异常检测解决方案的参考实现。 它使用易于使用的内置K-Means聚类模型作为BQML的一部分，以训练和规范化Netflow日志数据。 该实施的关键部分
【文件预览】：
df-ml-anomaly-detection-master
----gradlew.bat(2KB)
----gradlew(5KB)
----fraud-detection-notebook()
--------credit-card-fraud-detection-v1.ipynb(9KB)
----LICENSE(11KB)
----gradle()
--------wrapper()
----CONTRIBUTING.md(1KB)
----src()
--------main()
----.gitignore(1003B)
----README.md(28KB)
----scripts()
--------deid_template.sh(1KB)
--------cloud-build-data-generator.yaml(1KB)
--------df-template.sh(2KB)
--------deid_imei_number.json(959B)
--------cloud-build-demo.yaml(3KB)
--------netflow_log_json_schema.json(419B)
--------deid-template.json(856B)
----settings.gradle(596B)
----diagram()
--------predict-schema-ft.png(40KB)
--------custom_counter.png(26KB)
--------predict_2.png(57KB)
--------bq-ml-kmeans-1.png(78KB)
--------bq-ml-kmeans-2.png(116KB)
--------validation-pt.png(403KB)
--------ingest-data-ft.png(272KB)
--------with_log_data_dag.png(78KB)
--------predict-transform-ft.png(86KB)
--------dlp_imsi.png(116KB)
--------predict_3.png(75KB)
--------full-dag-ft.png(71KB)
--------un-ack-msg.png(71KB)
--------bq-validation-ft.png(425KB)
--------sub_id-reid.png(144KB)
--------ref_arch.png(101KB)
--------dlp_dag.png(74KB)
--------bq-ml-kmeans-3.png(19KB)
--------new_dlp_dag.png(61KB)
--------outlier.png(41KB)
--------raw_log_data_schema.png(49KB)
--------df_dag.png(79KB)
--------cpu.png(143KB)
--------dag_2.png(103KB)
--------transactions-schema-ft.png(81KB)
--------batch-ft.png(132KB)
--------msg-rate.png(58KB)
--------predict_1.png(41KB)
--------df-cloud-ai-prediction.png(46KB)
--------dag.png(147KB)
--------dag_1.png(128KB)
--------latency.png(138KB)
--------load_dag.png(64KB)
--------bq-ml-kmeans-4.png(85KB)
--------dag_main.png(107KB)
----build.gradle(5KB)
----libs()
--------destination.json(303B)
--------json-data-generator-1.10-SNAPSHOT-standalone.jar(7.85MB)