Flink解析kafka canal未压平数据为message报错
canal使用非flatmessage方式获取mysqlbinlog日志发至kafka比直接发送json效率要高很多，数据发到kafka后需要实时解析为json,这里可以使用strom或者flink,公司本来就是使用strom解析，但是在吞吐量上有瓶颈，优化空间不大。所以试一试通过flink来做。非...
Flink（二）CentOS7.5搭建Flink1.6.1分布式集群
一. Flink的下载安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载[admin@node21software]$wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/f...
终于有人把 Flink 设计理念与基本架构讲明白了
MapReduce 是由谷歌首次在论文“MapReduce: Simplified Data Processing on Large Clusters”(谷歌大数据三驾马车之一)中提出的，是一种处理和生成大数据的编程模型。
Flink常见维表Join方案，收藏学习开发很有用！
由于维表是一张不断变化的表(静态表只是动态表的一种特例)。那如何 JOIN 一张不断变化的表呢?如果用传统的 JOIN 语法来表达维表 JOIN，是不完整的。因为维表是一直在更新变化的，如果用这个语法那么关联上的是哪个时刻的维表呢
dedecms友情链接(flink)增加下拉菜单的方法
dedecms友情链接(flink)增加下拉菜单的方法，喜欢下拉菜单格式显示友情链接的朋友可以参考下。
flink sql
StreamTableEnvironment该类包含sql解析、验证、优化、执行等各环节需要的元数据管理器CatalogManager,模块管理器(模块包含函数集、类型集、规则集)moduleManager，用户自定义函数管理器FunctionCatalog,线程池、sql解析器Planner。St...
基于Flink的windows
新的一年，新的开始，新的习惯，现在开始。1.简介Flink是德国一家公司名为dataArtisans的产品，2016年正式被apache提升为*项目（地位同spark、storm等开源架构）。并且在2016年里，，共发布了包括1.0.0版本在内的10个版本，发展速度可想而知。这次学习的是Flink...
彻底搞清 Flink 中的 Window 机制
在流处理应用中，数据是连续不断的，有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。
flink实例开发-详细使用指南v1.4
flink实例开发-详细使用指南配置一个maven项目编写一个flink程序编程实战：编写一个向kafka写数据的程序在集群运行flink整合kafka在本指南中，我们将从头开始，从flink项目设置到在集群上运行一个实时流程序。*提供了一个IRC管道记录了所有用户的编辑记录日志，我们可以通过...
Flink应用开发-maven导入
flink和spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）使用maven导入相关依赖<properties><maven.compiler.source>1.8</maven.compiler.s...
Java使用pulsar-flink-connector读取pulsar catalog元数据代码剖析
这篇文章主要介绍了Java使用pulsar-flink-connector读取pulsar catalog元数据代码剖析,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
【翻译】Flink Table 和 SQL API 概念与通用API
本文翻译自官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html TableAPI和SQL集成在共同API中。该API的中心概念是Table，用作查询的输入和输出。本文档介绍了使用Tab...
An Overview of End-to-End Exactly-Once Processing in Apache Flink (with Apache Kafka, too!)
01Mar2018PiotrNowojski(@PiotrNowojski)&MikeWinters(@wints)ThispostisanadaptationofPiotrNowojski’spresentationfromFlinkForwardBerlin2017.Youcanfind...
基于Kafka+Flink平台化设计，实时数仓还能这样建
本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战。
Apache Flink SQL
本篇核心目标是让大家概要了解一个完整的ApacheFlinkSQLJob的组成部分，以及ApacheFlinkSQL所提供的核心算子的语义，最后会应用TumbleWindow编写一个End-to-End的页面访问的统计示例。1.ApacheFlinkSQLJob的组成 我们做任何数据计算都离不开读取...
3.Flink实时项目之流程分析及环境搭建
1.流程分析前面已经将日志数据（ods_base_log）及业务数据（ods_base_db_m）发送到kafka，作为ods层，接下来要做的就是通过flink消费kafka的ods数据，进行简单的处理作为dwd层，然后再写回到kafka。每层职能分层数据描述计算工具存储介质ODS原始数据，日志和业...
1.Flink实时项目前期准备
1.日志生成项目日志生成机器：hadoop101jar包：mock-log-0.0.1-SNAPSHOT.jargmall_mock|----mock_common|----mock_db|----mock_log项目地址：https://github.com/zhangbaohpu/gmal...
Flink--sink到kafka
packagecom.flink.DataStreamimportjava.util.Propertiesimportorg.apache.flink.api.common.serialization.SimpleStringSchemaimportorg.apache.flink.streamin...
Flink 计算 Pv 和 Uv 的通用方法
计算网站App的实时pv和uv，是很常见的统计需求，这里提供通用的计算方法，不同的业务需求只需要小改即可拿来即用。
Flink 1.3.2 Standalone模式安装
一、依赖文件安装1.1JDK参见博文：http://www.cnblogs.com/liugh/p/6623530.html二、文件准备2.1文件名称flink-1.3.2-bin-hadoop27-scala_2.11.tgz2.2下载地址http://flink.apache.org/downl...