技术栈

当前标签: 大数据
  • 大数据下的日志-flume(二)高并发下的优化

    网络 · 12 · 0 · 2015-12-27

    起因上篇博客中,我们提到了对flume的使用,但是,只是简单的使用,在高并发的情况下就会有问题,我们举两个例子:1,在高并发下,Channel使用memory,如果使用默认配置,那么就会较快的情况下,...

  • 项目修炼之路(3)3百亿交易额的处理

    网络 · 6 · 0 · 2016-01-29

    现在公司项目中,都有几个核心业务,处理的数据量相较于其他是巨量的,而在我们公司,当下就与一个问题,在现在百亿交易额的处理中,有一个核心业务,就是每日发息(已符合最新法规),以前的发息任务,要跑将近3,...

  • 大数据下的日志-flume(一)简介及例子

    网络 · 5 · 0 · 2015-11-15

    概念有很多人解释flume是什么,听着都很高大上,但是,这个世界原本就很简单,没有必要这么理解,我们今天就听听我对flume的定义,flume是已经写好的一组代码,用来传输数据用的,和java fil...

  • 大数据下的日志--ElasticSearch部分(一)--初识

    网络 · 8 · 0 · 2015-10-05

    随着公司日益剧增的交易量,平台的日志积累到了一个海量的级别,这时候的检索和排错是个相当痛苦的过程,好在我们有前人摸索好的搜索工具,今天起,我和大家一起就这个工具进行学习。基础概念    Elastic...

  • 详谈数据库的锁

    网络 · 1 · 0 · 2015-08-07

    锁的粒度就是指锁的生效范围,就是说是行锁,还是页锁,还是整表锁. 锁的粒度同样既可以由数据库自动管理,也可以通过手工指定hint来管理。 例17:---------------------------...

  • java架构解密——深入再造AOP

    网络 · 7 · 0 · 2015-05-31

    在上篇博客中,大家和我一起研究了AOP的基本实现,但是,也给大家遗留了很多问题,在这篇博客,咱们一起研究如何针对这些问题进行持续的优化,看看在咱们的手里,AOP会成长为一个什么样的东西!回顾:看看上篇...

  • java集群优化——初探多线程

    网络 · 4 · 0 · 2015-06-30

    要想使用多线程,咱们就有必要先了解下多线程,在不久以前,我写过相关的文章,在这简单回顾下,一个程序加上数据,就构成了一个进程,就好比快递公司是个进程,快递公司的方法就是送快递,快递员好比线程,他们都是...

  • lucene4.10.3入门

    网络 · 5 · 0 · 2015-01-31

    最近在研究搜索殷勤的全文索引,刚刚有了点眉目,发现还是很实用的,这里放出入门秘籍,大家一起分享!一,Lucene 简介    Lucene 是一个基于 Java 的全文信息检索工具包,它不是一个完整的...

  • 读书有感——大数据之“大”

    网络 · 3 · 0 · 2014-03-19

    最近在看一本书《大数据时代》,看到这本书后,自己对“大数据”的理解发生了点变化,以前我理解大数据,仅仅停留在数据量的增加,但是这本书给了我一个不一样的观点,我们大数据时代,不仅仅是数据量的增加,还有很...

  • Hadoop解析--初次见面

    网络 · 3 · 0 · 2015-07-27

    百度:云计算(cloud computing)        是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去...