- 博客(137)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 十大数据挖掘算法及各自优势
1.C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2) 在树构造过程中进行剪枝；3) 能够完成对连续属性的离散化处理；4) 能够对不完整数据进行处理。C4.5算法有如下优点：产生的分
2016-04-14 20:56:57
630
原创 kafka-0.8.1.1总结
目录一、 基础篇... 11. 开篇说明... 12. 概念说明... 13. 配置说明... 34. znode分类... 175. kafka协议分类... 246. Kafka线程... 297. 日志存储格式... 308. kakfa架构设计... 35
2016-04-14 20:47:00
7751
原创 mysql函数大全
mysql函数大全 对于针对字符串位置的操作，第一个位置被标记为1。 ASCII(str) 返回字符串str的最左面字符的ASCII代码值。如果str是空字符串，返回0。如果str是NULL，返回NULL。 mysql> select ASCII('2'); -> 50mysql> select ASCII(2); -> 50mysql> selec
2016-04-14 20:37:33
3366
原创 mysql 查询理解
1.单表主键查询： 语句：select * fromgmvcsbase.base_file where id='29830957' 执行计划：Id为base_file表的主键，Select_type为simple表示简单的select,没有union和子查询Table为base_file表示输出的行所用的表Type为const表示表最多有一个匹配行，
2016-04-13 23:52:41
4559
转载 JAVA的可变参数，参数中有三个点
许多Java新人在看到下面的这段代码的时候，都会问一个问题：dealArray方法里那三个小点点是什么啊？[java] view plaincopypublic class TestVarArgus { public static void dealArray(int... intArray){
2016-04-13 15:28:24
827
转载 Geohash距离估算 附近的人的距离
一、经纬度距离换算a）在纬度相等的情况下： 经度每隔0.00001度，距离相差约1米； 每隔0.0001度，距离相差约10米； 每隔0.001度，距离相差约100米； 每隔0.01度，距离相差约1000米； 每隔0.1度，距离相差约10000米。 b）在经度相等的情况下： 纬度每隔0.00001度，距离相差约1.1米； 每隔0
2016-04-01 22:31:27
5145
转载 GeoHash核心原理解析 附近的人算法
引子 机机是个好动又好学的孩子，平日里就喜欢拿着手机地图点点按按来查询一些好玩的东西。某一天机机到北海公园游玩，肚肚饿了，于是乎打开手机地图，搜索北海公园附近的餐馆，并选了其中一家用餐。 饭饱之后机机开始反思了，地图后台如何根据自己所在位置查询来查询附近餐馆的呢？苦思冥想了半天，机机想出了个方法：计算所在位置P与北京所有餐馆的距离，然后返回距离 机机的计算思
2016-04-01 22:29:53
931
转载 MySQL存储过程详解及mysql基本函数
mysql存储过程详解1. 存储过程简介 我们常用的操作数据库语言SQL语句在执行的时候需要要先编译，然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。一个存储过程是一个可编程的函数，它在数据库中创建并保存
2016-03-26 16:27:51
1430
转载 多线程详解java.util.concurrent
一、多线程1、操作系统有两个容易混淆的概念，进程和线程。进程：一个计算机程序的运行实例，包含了需要执行的指令；有自己的独立地址空间，包含程序内容和数据；不同进程的地址空间是互相隔离的；进程拥有各种资源和状态信息，包括打开的文件、子进程和信号处理。线程：表示程序的执行流程，是CPU调度执行的基本单位；线程有自己的程序计数器、寄存器、堆栈和帧。同一进程中的线程共用相同的地址空间
2016-03-26 16:01:10
2826
原创 使用zxing生成嵌图片的二维码，世海夺宝二维码，邀请码
世海夺宝邀请码首先贴zxing生成二位的源码zxing的maven com.google.zxing core 2.2 package com.cmcc.web.test;import java.awt.Color;import java.awt.Graphics2D;import java.awt.Image;import java.awt.geom.AffineTr
2016-03-21 22:34:00
1791
转载 mysql日志详细解析
MySQL日志：主要包含：错误日志、查询日志、慢查询日志、事务日志、二进制日志；日志是mysql数据库的重要组成部分。日志文件中记录着mysql数据库运行期间发生的变化；也就是说用来记录mysql数据库的客户端连接状况、SQL语句的执行情况和错误信息等。当数据库遭到意外的损坏时，可以通过日志查看文件出错的原因，并且可以通过日志文件进行数据恢复。错误日志在mysql数
2016-03-16 21:14:52
710
转载 Nginx配置文件简单说明log_format
配置文件（说明）user nginx;nginx的运行账号(rpm安装时会自动创建这个账号),也可以写成user nginx nginx表示用户和组worker_processes 10;工作进程数(worker),一般等于cpu内核数或者两倍worker_rlimit_nofile 100000;文件描述符数量 error_log /var/l
2016-03-12 02:03:20
8668
转载 MYSQL数据库隔离级别分析
数据库隔离级别有四种，应用《高性能mysql》一书中的说明： 然后说说修改事务隔离级别的方法：1.全局修改，修改mysql.ini配置文件，在最后加上1 #可选参数有：READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.2 [mysqld]3 transactio
2016-03-11 14:05:12
728
原创 利用nginx来屏蔽指定的user_agent的访问
对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。1、进入nginx的配置目录，例如cd /usr/local/nginx/conf2、添加agent_deny.conf配置文件 vi
2016-02-23 17:24:41
31739
转载 Spring 框架的设计理念与设计模式分析
Spring 的骨骼架构Spring 总共有十几个组件，但是真正核心的组件只有几个，下面是 Spring 框架的总体架构图：图 1 .Spring 框架的总体架构图从上图中可以看出 Spring 框架中的核心组件只有三个：Core、Context 和 Beans。它们构建起了整个 Spring 的骨骼架构。没有它们就不可能有 AOP、Web 等上层的特性功能。下面也将主
2016-02-21 14:07:56
653
原创 Jetty 的工作原理以及与 Tomcat 的比较
Jetty 的基本架构Jetty 目前的是一个比较被看好的 Servlet 引擎，它的架构比较简单，也是一个可扩展性和非常灵活的应用服务器，它有一个基本数据模型，这个数据模型就是 Handler，所有可以被扩展的组件都可以作为一个 Handler，添加到 Server 中，Jetty 就是帮你管理这些 Handler。Jetty 的基本架构下图是 Jetty 的基本架构图，
2016-02-21 14:06:41
940
转载 MySQL建表规范与常见问题
一、 表设计库名、表名、字段名必须使用小写字母，“_”分割。库名、表名、字段名必须不超过12个字符。库名、表名、字段名见名知意,建议使用名词而不是动词。建议使用InnoDB存储引擎。存储精确浮点数必须使用DECIMAL替代FLOAT和DOUBLE。建议使用UNSIGNED存储非负数值。建议使用INT UNSIGNED存储IPV4。整形定义中不添加长度，比如使用INT，而不是INT(4)。使
2016-02-01 16:09:23
1490
原创 nginx上设置禁止通过ip访问服务器，只能通过域名访问
为了避免别人把未备案的域名解析到自己的服务器ip而导致服务器被断网，需要在nginx上设置禁止通过ip访问服务器，只能通过域名访问。最关键的一点是，在server的设置里面添加这么一行：Listen 80 default;后面的default参数表示这个是默认的虚拟主机。例如：别人如果通过ip或者未知域名访问你的网站的时候，你希望禁止显示任何有效内容，可以给他返回500。具体如下：Ser
2016-01-27 01:41:25
3732
原创 关于Mysql5.6中使用group_concat()函数返回的数据总数不完整的坑
最近项目中需要将数据以","隔开的形式返回,然后使用了group_concat()，整个sql如下SELECT group_concat(randomnumber ORDER BY randomnumber asc separator ',') as name FROM randomnumber 结果在测试环境中碰到问题，发现返回的数据长度小于实际的长度，真是大坑啊group_conc
2016-01-26 18:53:56
6976
4
原创 关于通过nginx配置到apache-tomcat-7.0.67的端口的时候access中打印访问日志会一直输出nginx的地址而不是用户的真实地址
关于通过nginx配置到apache-tomcat-7.0.67的端口的时候access中打印访问日志会一直输出nginx的地址而不是用户的真实地址,在生产环境中碰到该问题，tomcat的access的日志的话对于后期做数据分析是非常有用的，那如何解决access日志中打印的ip不正确的问题那？需要修改的地方nginx的配置文件和tomcat的server.xmllocation
2016-01-25 14:08:25
1585
原创 关于使用apache-tomcat-7.0.67中在apache-tomcat-7.0.67/log/catalina.out文件过大的解决方案
在正式的项目中用到tomcat作为容器，但有个问题apache-tomcat-7.0.67/log/catalina.out该文件会无限的扩大，而且里面记录的都是log4j已经记录的日志，所有apache-tomcat-7.0.67/log/catalina.out记录的日志对项目来说没有多大的意义而且也非常的消耗性能和IO，那么我们有什么办法来避免这个apache-tomcat-7.0.67/l
2016-01-25 13:55:20
7104
转载 mysql linux源码安装mysql5.6.22
mysql安装三 linux源码安装mysql5.6.22梳理了一下centos上安装mysql的三种方法：一是通过源码安装，二是用通用二进制包，三是通过不同linux release到系统包安装,centos上是RPM包安装。 linux源码安装mysql5.6.22 0[root@host2 ~]# uname -aLinux host2 2.6.32-504
2016-01-03 13:32:22
1176
转载 Redis 集群规范
http://www.redis.cn/topics/cluster-spec.html转自Redis 集群的目标Redis 集群是 Redis 的一个分布式实现，主要是为了实现以下这些目标（按在设计中的重要性排序）：在1000个节点的时候仍能表现得很好并且可扩展性（scalability）是线性的。没有合并操作，这样在 Redis 的数据模型中最典型的大数据值
2015-12-24 11:59:22
1212
原创 redis3.0.5集群部署安装详细步骤
Redis集群部署文档(centos6系统)（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）127.0.0.1:7000127.0.0.1:7001127.0.0.1:7002127.0.0.1:7003127.0.0.1:7004127.0.
2015-12-24 11:40:46
5080
原创 利用echarts-2.2.7做报表视图
先上几张效果图HTML: 报表 seajs.use("project/data/operation/adOperation.js",function (page) { page.init(); }); 引入echarts-all.js这样就不用一个一个引入报表JsadOperation.js:define
2015-12-16 21:45:35
5231
原创 利用Apache2.4.17做文件服务器
项目中经常会用到文件服务器你的是不是直接在当前目录下新建一个img目录来当做图片目录呢？？？下面我来简单介绍下apache来做文件服务器的做法吧，基本的思路就是apache文件服务器单独一个服务器，然后我们如果有文件需要上传的话就在项目中通过sftp或者ftp的形式来传输就可以了(sftp的话推荐使用jsch,ftp的话就用ftp).首先我们来部署apache文件服务器环境所需文件ap
2015-11-09 14:48:42
3357
原创 spring 事务和数据回滚和事件切入点定义
今天遇到了一个spring事务不会回滚的问题，搞了一天晚上在群里面得到大神的帮助才得以解决，不多说了先贴配置文件吧<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:jee="http://www.sprin
2015-10-30 20:23:33
3372
原创 日志采集之log4j2.x的使用
最近项目需要做日志采集，之前用的log4j1.x版本采集的速度真的是太慢了，做了一个简单的实验，往日志里面写入4000万的数据同步的时间在651284ms，异步的时间则为21860ms下面开始介绍log4j2.x吧maven的依赖 org.apache.logging.log4j log4j-api 2.3
2015-09-29 16:22:07
2085
1
原创 关于2015年中一点小总结
不知不觉2015年已经过了一大半了，废话不多说了，简单的总结下今年的工作吧1:项目①精准营销②开放平台③江西征信平台④职级分析项目⑤solr服务⑥大数据盒子(到目前为止让我学到最多的一个项目)⑦广告网关(负责任务分发和主要数据抗压)2:学到的新技术①linux服务的一些技术②服务器的部署③kafka(消息中间件)④solr(搜索引
2015-09-29 15:58:15
478
转载 位运算的妙用
先说一下位运算的简单用法1. 按位与 &用途：清零，取一个数中的某些指定位，保留一个数中的某些指定位2. 按位或 |用途：将一个数的某些位指定为13. 按位异或 ^用途：交换两个数a=a^b; b=a^b; a=a^b让我们看看这三条语句执行后的结果：第一条a=a^b，所以第二条b=a^b=(a^b)^b=a^(b^b)=a^
2015-08-31 15:23:20
513
原创 利用观察者模式来获取线程中的数据或者回调函数
首先//抽象主题角色，watched：被观察public interface Watched{ public void addWatcher(Watcher watcher); public void removeWatcher(Watcher watcher); public void notifyWatchers(Watcher watcher,String s
2015-08-18 22:30:32
2069
转载 JAVA wait(), notify(),sleep详解
在CSDN开了博客后，一直也没在上面发布过文章，直到前一段时间与一位前辈的对话，才发现技术博客的重要，立志要把CSDN的博客建好。但一直没有找到好的开篇的主题，今天再看JAVA线程互斥、同步的时候又有了新的体会，就以他作为开篇吧。 在JAVA中，是没有类似于PV操作、进程互斥等相关的方法的。JAVA的进程同步是通过synchronized()来实现的，需要说明的是，JAVA的sync
2015-08-14 11:53:37
525
转载 java线程：大总结
Java线程：大总结 Java线程是Java语言中一个非常重要的部分，Java5之前，多线程的语言支持还是比较弱的，内容也较少，写一个复杂的多线程程序是相当有挑战性的。 在Java5以后，Java对多线程做了很多扩展，扩展部分称之为并发包。这部分内容大大增强了Java多线程编程的能力，通过使用Java5线程新特征的API，可以很容易的做出复杂的多线程程序。与其他语言
2015-08-13 11:43:55
539
转载 Java线程：新特征-有返回值的线程
Java线程：新特征-有返回值的线程 在Java5之前，线程是没有返回值的，常常为了“有”返回值，破费周折，而且代码很不好写。或者干脆绕过这道坎，走别的路了。 现在Java终于有可返回值的任务（也可以叫做线程）了。 可返回值的任务必须实现Callable接口，类似的，无返回值的任务必须Runnable接口。 执行Callable任务
2015-08-13 11:40:59
483
转载 java线程的同步互斥和通讯
一、同步和锁定1、锁的原理Java中每个对象都有一个内置锁。当程序运行到非静态的synchronized同步方法上时，自动获得与正在执行代码类的当前实例（this实例）有关的锁。获得一个对象的锁也称为获取锁、锁定对象、在对象上锁定或在对象上同步。当程序运行到synchronized同步方法或代码块时才该对象锁才起作用。
2015-08-13 11:37:05
471
转载 利用object.wait()和实现生产者和消费者模式
其实生产者和消费者模式概念很简单，就是生产者将生产出来的产品放在仓库里，然后消费者依次从仓库里取产品消费。归到程序里，这里的仓库就可以用数组，队列或栈来表示。掌握以下两点后，该模式的实现将不成问题。1. 首先要明白生产者和消费者之间的并发对象就是存放产品的队列，这样才能把并发方法提炼出来。2. 其次要掌握object.wait()和object.notifyAll()这两个
2015-08-13 11:36:07
494
转载 java并发编程--AbstractQueuedSynchronizer加锁和解锁分析(二）
在java.util.concurrent.locks包中有很多Lock的实现类，常用的有ReentrantLock、ReadWriteLock（实现类ReentrantReadWriteLock），其实现都依赖java.util.concurrent.AbstractQueuedSynchronizer类，实现思路都大同小异，因此我们以ReentrantLock作为讲解切入点。1. Re
2015-08-13 11:32:58
922
转载 java并发编程--AbstractQueuedSynchronizer公平锁和非公平锁分析（三）
juc包中，aqs实现的公平锁和非公平锁的最主要的区别是：非公平锁中，那些尝试获取锁且尚未进入等待队列的线程会和等待队列head结点的线程发生竞争。公平锁中，在获取锁时，增加了isFirst(current)判断，当且仅当，等待队列为空或当前线程是等待队列的头结点时，才可尝试获取锁。 1.1 NonfairSync.lock() Java代码
2015-08-13 11:31:55
1029
转载 java并发编程--AbstractQueuedSynchronizer条件锁分析(四)
前一篇J.U.C的锁的获取与释放的过程，这个过程主要通过在A.Q.S中维持一个等待队列来实现，其中我们也提到了，在A.Q.S中除了一个等待队列之外，还有多个Condition队列（Condition队列的多少取决于ConditionObject对象个数），在了解Condition队列之前，先来看一下Condition是怎么回事：The synchronizer framework pr
2015-08-13 11:31:09
673
转载 java并发编程--AbstractQueuedSynchronizer的lock()和lockInterruptibly()方法分析（五）
lock 与 lockInterruptibly比较区别在于：lock 优先考虑获取锁，待获取锁成功后，才响应中断。lockInterruptibly 优先考虑响应中断，而不是响应锁的普通获取或重入获取。 详细区别：ReentrantLock.lockInterruptibly允许在等待时由其它线程调用等待线程的Thread.interrupt方法来中断等待
2015-08-13 11:30:19
558
apache2.4.17版本文件服务器所使用的架包
2015-11-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人