VS ：五年前和今天的十大数字货币大比拼
加密货币从无人问津到如今的指数型增长，它延伸出很多应用，也有数不清的争议，甚至闹过不少笑话。 2013年，加密货币还只在小范围内蔓延，时间快进到2018年，数字货币总市值已超过2000亿美元，数不清的投资者、爱好者疯狂涌入市场。现在已有太多的研究关注比特币、以太坊、XRP等的未来，但以史为鉴，可知兴...
大数定律和中心极限定理
大数定律和中心极限定理是概率论与数理统计中非常重要的定理之一，他们是连接概率论与统计的桥梁，表达了样本与总体之间统计特征（均值，方差）之间的关系，指出了用样本估计总体的道路，为统计推断奠定了理论基础。大数定律：大数定律表明样本均值是分布在总体均值的一定范围内的，且随着样本容量(sample size...
mysql大数据导出导入
1）导出select * from users into outfile '/tmp/users.txt';或select * from users where sex=1 into outfile '/tmp/users.txt';2）导入load data from infile '/tmp/u
学术大数据在企业专家对接中的应用
学术大数据在企业专家对接中的应用张永锋1, 霍东云2, 李振华1, 智强2,3, 李燕茜21 清华大学软件学院，北京 1000842 北京赛时科技有限公司，北京 1000843 东莞理工学院科技资源大数据研究与成果转化中心，广东 东莞 523808 摘要：基于创新驱动战略的大背景，分析了企业和高校科...
智慧机场大数据可视化分析决策系统
1. 产品概述数字冰雹的智慧机场大数据可视化分析决策系统，是一个面向机场管理的决策辅助平台。平台能够实现将机场运行核心系统的各项关键数据进行综合展现，支持从机场基础设施、地面服务、航班运行态势、场面监管、机位管理等多个维度进行日常运行监测与管理，以及突发事件下的应急指挥调度管理。为用户提供...
给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）
这个很简单，在集群机器里，选择就是了，本来自带就有Impala的。扩展博客给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤（图文详解）...
整合hibernate的lucene大数据模糊查询
大数据模糊查询lucene对工作单使用 like模糊查询时，实际上 数据库内部索引无法使用 ，需要逐条比较查询内容，效率比较低在数据量很多情况下， 提供模糊查询性能，我们可以使用lucene全文索引库技术。本文示例是在SSH框架中进行使用。使用hibernate Search (用来整合 Hiber...
mysql大数据量下的分页
mysql大数据量使用limit分页，随着页码的增大，查询效率越低下。测试实验1. 直接用limit start, count分页语句， 也是我程序中用的方法：select * from product limit start, count当起始页较小时，查询没有性能问题，我们分别看下从10， ...
Impala简介PB级大数据实时查询分析引擎
1、Impala简介• Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。• 基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点• 是CDH平台首选的PB级大数据实时查询分析引擎官网：http://www.cloudera.com/p...
大数据课程复习
信息科技为大数据时代提供技术支持存储设备容量不断增加CPU处理能力大幅度提升网络带宽不断增加大数据4V特征数据量大数据类型繁多处理速度快价值密度底大数据对思维方式的影响全样而非抽样效率而非精确相关而非因果云计算关键技术虚拟化分布式存储分布式计算多租户大数据与云计算，物联网的关系三者区别大数据侧重与对...
大数据竞赛平台——Kaggle 入门
Reference: http://blog.csdn.net/witnessai1/article/details/52612012Kaggle是一个数据分析的竞赛平台，网址：https://www.kaggle.com/ 企业或者研究者可以将数据、问题描述、期望的指标发布到Kaggle上，以竞赛...
大数据日知录（一）数据分片与路由
概念 目前主流的大数据存储与计算系统通常采用横向扩展(Scale Out)的方式支持系统可扩展性，即通过增加机器数目来获得水平扩展能力。对于待存储处理的海量数据，需要通过数据分片(Shard/partition)来将数据进行切分并分配到各个机器中去，数据分片后如何找到某条记录的存储位置就成为...
几款好用的大数据报表工具
在企业工作中，企业若是拥有较多人数规模时，数据量是很大的并且更新的速度也挺快的，无论数据还是报表都需要协同管理不断更新。面对各大OA\ERP\CRM系统的数据，传统用Excel处理数据是支撑不住的，即使写SQL满足不了这样的需求。要想快速出报表，快速取数，快速做业务分析，需要开放的报表或BI分析工具...
大数据时代的MicrosoftExcel，了解一下
全文共3047字，预计学习时长6分钟来源：Pexels 这是一个众所周知并且在日常生活中频繁使用的工具。是Microsoft办公软件三巨头之一，创建报告、生成表单甚至是项目规划，我们可以使用它做任何事情。 没错，他就是MicrosoftExcel。 虽然它广为人知，但其实人们从未真正学会使用它。 虽...
大数据架构师基础：hadoop家族，Cloudera产品系列等各种技术
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.h...
使用SqlBulkCopy类批量复制大数据
using System; using System.Configuration; using System.Data; using System.Data.SqlClient; using System.Diagnostics; namespace SqlBulkCopy1 { clas...
【大数据】学习笔记
文章目录 @[toc]NAT配置IP配置SecureCRT配置PropertiesTerminalJava安装环境变量配置Hadoop安装修改配置文件hadoop-env.shyarn-env.shslavescore-site.xmlhdfs-site.xmlmapred-site....
【原创】大数据基础之Impala（1）简介、安装、使用
impala2.12官方：http://impala.apache.org/一 简介Apache Impala is the open source, native analytic database for Apache Hadoop. Impala is shipped by Cloudera,...
JavaWeb(三十五)——使用JDBC处理Oracle大数据
一、Oracle中大数据处理在Oracle中，LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因为这种类型的字段，容量大（最多能容纳4GB的数据），且一个表中可以有多个这种类型的字段，很灵活，适用于数据 量非常大的业务领域（如图象、档案等）。LOB类型分为BLOB和CLOB...
大数据怎么学？对大数据开发领域及岗位的详细解读，完整理解大数据开发领域技术体系
经常有小伙伴和我咨询大数据怎么学，我觉得有必要写一下关于大数据开发的具体方向，下次就不用苦哈哈的打字回复了。直接回复文章。1.大数据岗位划分我们通常说的大数据开发主要分为三大方向：1.1数据平台开发工程师主要从事后端开发，结合Hadoop，flink，spark等做二次开发，基于底层框架开发自己公司...