关于CAsyncSocket::OnReceive的奇怪问题：在接收数据量大的情况下一段时间后就不再响应了！！
我继承CAsyncSocket类，写了一个发送接收TCP数据的socket类，有多个线程使用它来发送数据。 在发送的数据量小的情况下，OnReceive事件响应是正常的，长时间也不会出现毛病；但是当发送数据量较大，而且发送速率不均匀的情况下(400K~2M波动)，一段时间后OnReceive...
DB开发之大数据量高并发的数据库优化
一、数据库结构的设计如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱...
java处理大数据量任务时的可用思路--未验证版，具体实现方法有待实践
1.Bloom filter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也...
大数据量传输时配置WCF的注意事项
原文:大数据量传输时配置WCF的注意事项WCF传输数据量的能力受到许多因素的制约，如果程序中出现因需要传输的数据量较大而导致调用WCF服务失败的问题，应注意以下配置：1、MaxReceivedMessageSize：获取或设置配置了此绑定的通道上可以接收的消息的最大大小。basicHttpBindi...
POI3.8解决导出大数据量excel文件时内存溢出的问题
POI3.8的SXSSF包是XSSF的一个扩展版本，支持流处理，在生成大数据量的电子表格且堆空间有限时使用。SXSSF通过限制内存中可访问的记录行数来实现其低内存利用，当达到限定值时，新一行数据的加入会引起老一行的数据刷新到硬盘。比如内存中限制行数为100，当行号到达101时，行号为0的记录刷新到硬...
java大数据量循环插入时间效率问题！求解~优化方案
现在我使用的是jdbc，现在需要插入的数据大概在20W左右 1.我现在使用jdbc查出所有需要插入的数据，然后获取其中需要的数据，循环遍历updatae进入对应的表中，就是执行一个insert或者update语句，然后结束，这样就完成了一条。现在我有20W条。 2.现在的速度大概在一秒2-3条左...
斯坦福大学公开课机器学习：machine learning system design | data for machine learning（数据量很大时，学习算法表现比较好的原理）
下图为四种不同算法应用在不同大小数据量时的表现，可以看出，随着数据量的增大，算法的表现趋于接近。即不管多么糟糕的算法，数据量非常大的时候，算法表现也可以很好。数据量很大时，学习算法表现比较好的原理：使用比较大的训练集（意味着不可能过拟合），此时方差会比较低；此时，如果在逻辑回归或者线性回归模型中加入...
大数据量表中，增加一个NOT NULL的新列
这次，发布清洗列表功能，需要对数据库进行升级。MailingList表加个IfCleaning字段，所有的t_User*表加个IfCleaned字段。 脚本如下对所有的t_User表执行alter table t_User** add IfCleaned bit default(0) not nu...
采用Kettle分页处理大数据量抽取任务
作者：Grey原文地址： http://greyzeng.com/2016/10/31/big-data-etl/需求：将Oracle数据库中某张表历史数据导入MySQL的一张表里面。源表（Oracle）：table1 目标表（MySQL）：table2 数据量：20,000,000 思路：由于服务...
DataTable 数据量大时，导致内存溢出的解决方案
/// <summary> /// 分解数据表 /// </summary> /// <param name="originalTab">需要分解的表</param> /// &l...
ASP.NET大数据量查询分页例子
分页这个也是最多人问的，也是很基础很实用的。 网上有很多分页代码,要不是有前台就没后台,要不是有后台没前台,要不是就是控件,要不就是一大堆SQL代码，让人不知道怎样用。 力求最简单最易懂.三层架构那些就不搞了。 如果是access 就用这个SQLHELPER http://hi.csdn.n...
mysql大数据量分页查询优化
select * from delivery_trade_query where merchant_id = 4 order by id limit 1000000,100;select * from delivery_trade_query d where d.merchant_id = 4...
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现测试环境Python 3.6.2Win 10 内存 8G，CPU I5 1.6 GHz背景描述这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。解决方案描...
客户端大数据量显示问题
业务上经常需要无条件的查询明细数据并显示到客户端。 显示在界面上数据量在几十万条偶尔上百万条吧。 这种情况怎么处理呢？ 分页是个办法，但是大家具体怎么实现呢。分页显示的数据会不会有问题？ 请大家指点，最好说明具体的数据处理原理。20 个解决方案 ...
[源码分享] HIVE表数据量统计&邮件
概要：计算HIVE BI库下每天数据表总大小及增量输出：总大小:xxxG日同比新增数据量:xxxG周同比新增数据量:xxxG月同比新增数据量:xxxG总表数:xxx日新增表数:xxx周新增表数:xxx月新增表数:xxx最大的20张表:......表数据增量TOP20:......代码： bi_rep...
采用Kettle分页处理大数据量抽取任务
作者：Grey 原文地址： http://www.cnblogs.com/greyzeng/p/5524614.html 需求： 将Oracle数据库中某张表历史数据导入MySQL的一张表里面。 源表（Oracle）：table1 目标表（M...
大数据量中的模糊查询优化方案
---------------------------------------------------------------------------------------------- [版权申明：本文系作者原创，转载请注明出处] 文章出处： http://blog.csdn.net/sdks...
Oracle数据库中分区表的操作方法(适用于单表大数据量或T级别数据库)
摘要：在大量业务 数据处理的项目中，可以考虑使用分区表来提高应用系统的性能并方便 数据管理，本文详细介绍了分区表的使用。 在大型的企业应用或企业级的 数据库应用中，要处理的 数据量通常可以达到几十到几百GB，有的甚至可以到TB级。虽然存储介质和 数据处理技术的发展也很快，但是仍然不能满足用户的需...
数据量太大？计算太复杂？Excel的难题，数据库说太简单
经常使用Excel的同学，往往会遇到一个经典难题：多对多查询。需要根据多个查询条件，查出多个符合条件的结果。来看一个多对多查询的例子。六一儿童节当天，公司将给有小孩的同事放半天假陪孩子，但咨询部因工作性质，需除外。需要找出符合条件的员工姓名和所属部门，再邮件通知到个人。1. 已有员工信息数据如下图：...
(转载)MYSQL千万级数据量的优化方法积累
转载自：http://blog.sina.com.cn/s/blog_85ead02a0101csci.htmlMYSQL千万级数据量的优化方法积累1、分库分表很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案...