Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark实战高手之路】
Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark GraphX...
R、Python、Scala和Java，到底该使用哪一种大数据编程语言？
有一个大数据项目，你知道问题领域（problem domain），也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言？（或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言？）这个问题不会推迟太久，迟早要定夺。...
Scala之隐式转换
概述简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。隐式转换有四种常见的使用场景：将某一类型转换成预期类型类型增强与扩展模拟新的语法类型类语法隐式转换有新旧两种定义方法，旧的定义方法指是的“imp...
Scala--reduceLeft
reduceLeft神语法val a = Array(20, 12, 6, 15, 2, 9)12345678scala> a.reduceLeft(_ + _) // 数组求和res0: Int = 64scala> a.reduceLeft(_ * _) // 数组求乘积res1:...
Spark&Hive：如何使用scala开发spark访问hive作业，如何使用yarn resourcemanager。
背景：接到任务，需要在一个一天数据量在460亿条记录的hive表中，筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度：解析规则譬如：需要解析host: api.map.baidu.com需要解析的规则："result":{"location":{"lng":120.2...
Scala基础语法 （一）
如果你之前是一名 Java 程序员，并了解 Java 语言的基础知识，那么你能很快学会 Scala 的基础语法。Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。接下来我们来理解下，类，对象...
Scala学习二十二——定界延续
一.本章要点延续让你可以回到程序执行当中之前的某个点;可以在shift块中捕获延续延续函数一直延展到包含它的reset块的尾部延续所谓的”余下的运算“，从包含shift的表达式开始，到包含它的reset块的尾部结束，其中shift替换成一个”洞“当你传入一个参数来调用延续时，这个”洞“将传入的参数值...
Scala编程快速入门系列（一）
目 录一、Scala概述二、Scala数据类型三、Scala函数四、Scala集合五、Scala伴生对象六、Scala trait七、Actor八、隐式转换与隐式参数九、Scala JDBC由于整理的篇幅较长，所以文章计划分三次发布。一、Scala概述1. Scala简介Scala是一种针对J...
Scala Reflection － Mirrors,ClassTag,TypeTag and WeakTypeTag
反射reflection是程序对自身的检查、验证甚至代码修改功能。反射可以通过它的Reify功能来实时自动构建生成静态的Scala实例如：类（class）、方法（method）、表达式（expression）等。或者动态跟踪当前程序运算事件如：方法运算（method invocation）、字段引用...
Scala Macros － 元编程 Metaprogramming with Def Macros
Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具，可以通过它来解决一些用普通编程或者类层次编程（type level programming）都无法解决的问题，这是因为Scala Macros可以直接对程序进行修改。Scala Macros的工作原理是在程序编译时按照编...
牛顿法求平方根 scala
你任说1个整数x，我任猜它的平方根为y，如果不对或精度不够准确，那我令y = (y+x/y)/2。如此循环反复下去，y就会无限逼近x的平方根。scala代码牛顿智商太高了println( sqr(10)) def sqr(n: Double )={ var k = 1.0; //可任取 while
Scala For Java的一些参考
变量String yourPast = "Good Java Programmer";val yourPast : String = "Good Java Programmer"val yourPast = "Good Java Programmer"var yourFuture = "Goo...
Scala快速概览
IDEA工具安装及scala基本操作目录一、1、2、3、4、二、1、2、3、三、1、2、3、4、5、6、7、四、1、(1)(2)(3)(4)(5)(6)(7)(8)2、(1)(2) for循环(3)(4)(5)3、(1)(2)(3)(4)(5)4、(1)(2)(3)5、(1)(2)(...
Scala Macros － scalamela 1.x，inline-meta annotations
在上期讨论中我们介绍了Scala Macros，它可以说是工具库编程人员不可或缺的编程手段，可以实现编译器在编译源代码时对源代码进行的修改、扩展和替换，如此可以对用户屏蔽工具库复杂的内部细节，使他们可以用简单的声明方式，通过编译器自动产生铺垫代码来实现工具库中各种复杂的类型、对象及方法函数的构建。虽...
Scala集合和Java集合对应转换关系
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处用Scala编码的时候，经常会遇到scala集合和Java集合互相转换的case,特意mark一下，加深记忆scala.collection.Iterable <=> java.lang...
使用Scala开发Apache Kafka的TOP 20大好用实践
本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。Apache Kafka是一个广受欢迎的分布式流媒体平台，New Relic、Uber以及Square等数千家公司都在使用它...
【scala】 scala 基础(一)
至于什么是scala,摘录一段 维基百科的解释:scala 下载 安装 省略1.环境变量配置完成后 命令行报错,因为scala 的安装路径里边包含空格修改后即可。由于我的本地包含空格，此处CLI交互就省略了。2.IDEA 下载scala 插件 配置SDK。eclipse 省略。3. 创建scala ...
Thinking in scala (4)----阶乘与尾递归
code1：object factorial{ def main(args:Array[String])={ println(factorial(args(0).toInt)) } def factorial(x:Int):Int = if (x==0) 1 else x * fa...
Scala - 正则表达式匹配例子
壹Try胜仟言别忘了 import scala.util.matching._scala> var s = "a_b_c_d_e"s: String = a_b_c_d_escala> val regex = new Regex("^([^_]*)_([^_]*)_([^_]*)_(.*
Scala学习笔记（四）：apply方法说明
当scala中类或者对象有一个主要用途的时候，apply方法就是一个很好地语法糖。请看下面一个简单的例子：class Foo(foo: String) {}object Foo { def apply(foo: String) : Foo = { new Foo(foo) ...