小结：
1、
https://mp.weixin.qq.com/s/z-5aoGVuk7JzIGrJJWgeJw
使用 Canal 实现数据异构
原创： 杜亦舒 性能与架构 3月4日
相关文章
- 使用Storm实现实时大数据分析(转)
- 使用Storm实现实时大数据分析！
- ASP.NET中使用JSON方便实现前台与后台的数据交换
- 使用SQL Server 的CDC功能实现数据变更捕获
- 数据加载与保存-通用方式 使用df.write.save方法保存数据，同样可通过format指定数据类型。 save方法后需传入保存路径（针对csv、orc、parquet、textFile格式）。 option方法用于设置特定格式的参数。 保存操作可使用SaveMode来指明如何处理数据，如覆盖（overwrite）、追加（append）等，通过mode方法设置。 特定格式保存 与加载类似，Parquet、JSON、CSV等格式均可通过指定format进行保存。 MySQL等关系型数据库的写入也通过JDBC实现，需指定format为jdbc，并传入数据库连接信息及表名。 注意事项
- 使用C#的异步和依赖注入实现网络数据存储
- IDEA使用mybatis实现generator自动生成MSSQLSERVER数据库表映射
- MySQL批量插入（使用mybatis实现mysql数据库的批量插入操作）
- CV计算机视觉的数据增强方法：使用albumentations库批量数据增强，同时实现了坐标变换
- 使用Kettle实现数据实时增量同步