自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(86)
  • 资源 (5)
  • 收藏
  • 关注

原创 springboot 开发时启用热部署

一、 pom添加插件<build> <finalName>cloud2020</finalName> <plugins> <!-- 热部署插件 --> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin

2022-02-24 19:06:16 149

原创 springcloud父工程搭建-0

一、创建maven项目使用空骨架创建项目:maven-archetype-site指定maven的本地仓库、配置文件二、配置idea环境2.1 File Encoding2.2 激活注解生效2.3 java编译版本2.4 过滤掉idea的配置文件,让其不显示修改pom文件 <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmln

2022-02-24 15:26:21 143

原创 springcloud版本与springboot版本匹配

官方匹配表{“git”: {“branch”: “c3d0cbb64441814bfc39fe8fcb16f6210bc1ae6d”,“commit”: {“id”: “c3d0cbb”,“time”: “2022-02-20T16:22:17Z”}},“build”: {“version”: “0.0.1-SNAPSHOT”,“artifact”: “start-site”,“versions”: {“spring-boot”: “2.6.3”,“initializr”: “

2022-02-24 14:00:41 1224

原创 linux集群分发文件shell

#!/bin/bash# 无参数if [ $# lt 1] then echo “no enough Arguments!” exit;fi# 遍历集群中的所有机器for host in 192.168.179.20 192.168.179.30 192.168.179.31do echo =========$host========== # 遍历入参中的所有目录

2021-10-30 16:38:03 169

原创 application.yml Spring配置文件详解

server: port: 8088spring: profiles: active: dev application: name: my-springsecurity-plus datasource: driver: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/my_springsecurity_plus?serverTimezone=As

2021-10-27 14:56:19 635

原创 ProtoBuf语法version3

ProtoBuf语法version3syntax = "proto3"; //语法版本package com.njit.cn; //生成的java类所在包名message Person { //pojo int32 id = 1; //int变量 string name = 2;//字符串变量 repeated string emails = 3;//emails list集合} -I:.proto文件所在的目录 --java_out:遍历后的java文件目录地址 perso

2021-09-15 23:22:52 240

原创 Netty 数据在管道中的流通

Netty 数据在管道中的流通netty框架提供了多种编解码工具类对接收/发送的数据类型进行转化后再放到管道中流通。当然,也可以自己继承抽象类定制自己的编解码工具。今天,以管道中的数据格式转化角度来分析一下管道的工作流程。一、Read数据 // 分包,把数据读到buf中 arg0.pipeline().addLast(new LineBasedFrameDecoder(1024)); // 把buf中的数据转成string,在管道中流通 arg0.pipeline().add

2021-09-15 12:47:38 251

原创 Netty 序列化框架

Netty 序列化框架[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vp7ElmXY-1631631213919)(C:\Users\XIAODO~1\AppData\Local\Temp\1631623869664.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NiseYZNc-1631631213923)(C:\Users\XIAODO~1\AppData\Local\Temp\1631623931118.png)]常见的序

2021-09-14 22:55:45 163

原创 Netty 解决粘包半包问题

Netty 解决粘包/半包问题解决Tcp粘包问题的主流方法有如下几种客户端和服务端应用程序在接收数据时按 换行符进行分包 --Netty中的LineBasedFrameDecoder客户端和服务端应用程序在接收数据时按指定分隔符 进行分包–Netty中的DelimiterBasedFramDecoder客户端和服务端应用程序在接收数据时按固定长度进行分包–Netty中的FixedLengthFrameDecoder客户端和服务端应用程序在收发数据时按块编码, (需要自己实现,N

2021-09-14 20:38:45 397

原创 hadoop整合hive

整合hive前提是,已完成hadoop集群的搭建,详细过程传送到 Hadoop完全分布式搭建一、修改hadoop的core-site.xml就是你这个用户不允许伪装为 anonymous(hive的默认用户,默认配置可以查看)。 修改hadoop的core-site.xml文件增加<configuration><property> <name>hadoop.proxyuser.XXX.hosts</name> <val

2021-08-15 21:22:07 1057

原创 Cenots8安装Mysql8

1、下载rpm包,安装Yum Repositorywget https://dev.mysql.com/get/mysql80-community-release-el8-1.noarch.rpm2、使用rpm来安装MySQLyum localinstall mysql80-community-release-el8-1.noarch.rpmyum install mysql-server3、启动mysqldsystemctl start mysqld 启动服务systemctl enable

2021-08-15 18:38:10 157

原创 hadoop集群搭建详细过程(完全分布式)

一、所需资源下载路径linux选用centos8https://mirrors.aliyun.com/centos/8/isos/x86_64/CentOS-8.2.2004-x86_64-dvd1.isojdk1.8(hadoop是java写的,运行需要jre)https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gzhadoop3链接:https://pan.baidu.com/s/11sP

2021-08-15 10:48:15 874

原创 为七牛云配置域名

一、七牛云创建新域名(也就是三级域名)输入三级域名,点击创建按钮二、配置CNAME复制CNAME的值,去配置新的域名解析。添加新记录:(让访问chagou.hellowkaoyan.top的请求转发给 七牛云对应的域名)三、测试3.1 查看七牛云的域名管理,以显示成功3.2 为bucket绑定域名与需要几分钟等待即可...

2021-03-18 13:57:12 2471

原创 springcloud之父工程搭建

springclou之父工程搭建一、创建父工程父工程的作用是锁定接下来创建的各个module中依赖jar包的版本号一致,防止因为工程之间由于版本问题产生不可预知的后果。我们敲定一下开发环境:maven 3.3.+jdk 1.8 +springcloud 2020.0.0springboot 2.4.1父工程下面只放pom.xml文件:文件内容为:<?xml version="1.0" encoding="UTF-8"?><project xmlns="htt

2021-01-21 20:39:43 164

原创 springcloud 之eureka环境搭建

springcloud之eureka环境搭建一、服务端 eureka-server媳妇要不要? 等会哈,我搭一哈环境!#搭建环境三步走:依赖注解yml文件1、依赖我默认你已经按照我的第一篇“springcloud之父工程搭建”编写好父工程pom。在父工程中新建moudule,为引入其pom依赖:"<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4

2021-01-21 19:46:39 146

原创 组合模式

组合设计模式问题场景假设现在有一个学校,学校中有不同的学院,学院中又有不同的专业,要求设计代码可以方便的对学院。专业进行增加删除,同时还可以遍历出这个学校的所有专业。在没有学习组合模式之前,我是通过学校类组合学院类,学院类组合专业类来进行设计的。由于学校包含学院,学院包含专业,所以首先需要设计的是专业类,然后是学院类,最后是学校类// 专业类public class Department { public String name; public Department(

2020-12-03 10:47:39 158

原创 Nacos集群配置

Nacos集群配置一、单机环境配置1、下载windows/linux版本nacos1.3.2windows版本地址:https://github.com/alibaba/nacos/releases/download/1.3.2/nacos-server-1.3.2.ziplinux版本地址:https://github.com/alibaba/nacos/releases/download/1.3.2/nacos-server-1.3.2.tar.gz2、修改配置文件修改解压后 nac

2020-10-03 22:56:47 2833

原创 centos安装docker

相比于centos7需要先安装repoyum install https://download.docker.com/linux/Fedora/30/x86_64/stable/Packages/containerd.io-1.2.6-3.3.fc30.x86_64.rpm安装dockeryum install docker-ce

2020-09-12 11:38:51 331

原创 hive客户端连接错误

抛出异常HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient原因hive连不上systemctl status mysqld //查看mysql是否打开

2020-09-11 20:37:55 574 2

原创 Hadoop案例二(用户流量统计)

用户流量统计一、问题描述现有一hdfs文件/input/phoneCount/phone_date.txt,文件中包含多个用户的网站访问情况。为了计算用户的流量费用,现需要统计出文件中每个用户的总上行流量、下行流量、总流量。结果保存到/output/phoneCount目录下。phone_date.txt: 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2

2020-09-08 08:41:22 842 2

原创 延长ssh连接时间

延长ssh远程连接的保持时间一、问题描述远程连接阿里云ec,命令行5分钟不操作,socket就会断掉,又要重新登录,并且进入到之前的目录,非常麻烦。二、解决方案修改阿里云主机的ssh配置文件 /etc/ssh/ssh_config ConnectTimeout 3600 //设置超时时间为1h重启sshd服务systemctl restart sshd...

2020-09-08 07:44:38 432

原创 hadoop案例一(统计文本中单词出现的次数)

一、案例描述现hdfs中有一文件/input/wordcount/xiaoming.txt),文件中每一单词使用制表符(\t)或者回车符分割,请统计文件中每一个单词的词频。将结果写入/output/wordcount文件夹下。Tips:结果不用按词频排序。二、代码Mapper代码package com.example.demo.map;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritab

2020-09-07 17:19:14 1293

原创 hadoop windows client报错java.lang.UnsatisfiedLinkError: ‘boolean org.apache.hadoop.io.nativeio.Native

hadoop windows client报错一、问题描述mapreduce idea报如下错误:java.lang.UnsatisfiedLinkError: 'boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)' at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.a

2020-09-07 13:56:11 1300 3

原创 阿里云hdfs 报错could only be written to 0 of the 1 minReplication nodes

HDFS 的java client报错一、异常描述hdfs部署在阿里云EC在远程命令行执行,hadoop fs -put xx /xx可以成功上传文件,本地client报错org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /0529/dashen/test01.txt could only be written to 0 of the 1 minReplication nodes. There are 1 data

2020-09-07 10:15:49 1619 1

原创 阿里云EC namenode启动报错 java.net.BindException: Cannot assign requested address

阿里云EC 报错java.net.BindException: Cannot assign requested address端口分配失败两种情况9000端口被占用lsof -i:9000 查看是否有进程在使用9000端口kill -9 pid 杀掉进程即可core-site.xml中绑定的namenode地址是公网的ip,我们是不能绑定这个ip的,应该绑定阿里云局域网的ip。ifconfig 查看本机的ip地址(不是远程登录的ip)...

2020-09-06 20:06:17 428 1

原创 hadoop常用命令

常用命令实操(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls: 显示目录信息hadoop fs -ls /(3)-mkdir:在hdfs上创建目录hadoop fs -mkdir -p /hdfs路径(4)-moveFromLocal从本地剪切粘贴到hdfshadoop fs - moveFromLocal 本地路径 /hdfs路径(5)–appendToFile :追加一个文件到已经存在的文件末尾hadoop fs -appe

2020-09-06 09:52:48 172

原创 maven配置

一、需要准备的东西JDKMaven二、Maven下载1.下载地址:https://maven.apache.org/download.cgi文件解压 D:\Program Files\apache-maven-3.6.0新建环境变量 MAVEN_HOME,赋值 D:\Program Files\apache-maven-3.6.0编辑环境变量Path,追加%MAVEN_HOME%\bin;至此,maven已经完成了安装,我们可以通过DOS命令检查一下我们是否安装

2020-09-05 10:42:44 143

原创 workstation配置

一、目标设置虚拟机ip地址为静态且可以连外网修改主机名称关闭防火墙二、开干设置虚拟机ip地址为静态且可以连外网修改/etc/sysconfig/network-script/cf修改主机名称修改/etc/hostname关闭防火墙systemctl stop firewalld关闭开机启动 systemctl disable firewalld...

2020-09-04 10:33:32 274

原创 Hadoop环境搭建-单机版本

Hadoop环境搭建一、配置列表linux选用centos7jdk1.8(hadoop是java写的,运行需要jre)hadoop3二、目标熟悉hadoop的配置搭建伪分布式hadoop集群三、下载jdk、hadoop文件jdk下载斜体样式从华为镜像网站下载,速度比较快。https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gzhadoop下载从北京信息学院的国内镜像下载http:

2020-09-03 15:34:43 336

原创 linux 配置jdk环境变量

JDK1.8链接:http://pan.baidu.com/s/1nvGBzdR 密码:ziqb1 在/usr/local 文件夹下新建一个文件夹software ,将JDK放到此文件夹中并在此文件夹下解压执行命令 tar zxvf jdk-8u144-linux-x64.tar.gz 这里我将JDK单独放到了一个自己间的文件夹 dir-jdk下了解压文件包含2 备份系统配置文件执行命令: cp /etc/profile /home/mj/3 编辑系统环境变量执行 v

2020-09-02 15:19:05 120

原创 jdk环境配置linux

配置环境变量使用vim /etc/profile 编辑profile文件 输入: vim /etc/profile向文件里面追加以下内容:#set java environmentJAVA_HOME=/usr/java/jdk1.8.0_152JRE_HOME=JAVAHOME/jrePATH=JAVA_HOME/jrePATH=JAVAH​OME/jrePATH=PATH:JAVAHOME/bin:JAVA_HOME/bin:JAVAH​OME/bin:JRE_HOME/binCLASSPA

2020-08-28 13:00:27 121

原创 2020-08-07

注册中心应具备以下功能:服务注册表服务注册表是注册中心的核心,它用来记录各个微服务的信息,例如微服务的名称、IP、端口等。服务注册表提供查询API和管理API,查询API用于查询可用的微服务实例,管理API用于服务的注册与注销。服务注册与发现服务注册是指微服务在启动时,将自己的信息注册到注册中心的过程。服务发现是指查询可用的微服务列表及网络地址的机制。服务检查注册中心使用一定的机制定时检测已注册的服务,如发现某实例长时间无法访问,就会从服务注册表移除该实例。...

2020-08-07 11:40:10 121

原创 docker配置国内镜像源

修改/etc/docker/daemon.json使用163镜像{"registry-mirrors":["http://hub-mirror.c.163.com"]}

2020-08-02 09:45:17 605

原创 localstorage sessionstorage和cookie的区别

localstorage sessionstorage和cookie的区别基本概念cookie:是网景公司的前雇员在1993年发明。它的主要用于保存登陆信息,比如登陆某个网站市场可以看到'记住密码’,这就是通过在cookie中存入一段辨别用户身份的数据来实现的。sessionStorage:会话,是可以将一部分数据在当前会话中保存下来,刷新页面数据依旧存在。但是页面关闭后,sessionStorage中的数据就会被清空。localStorage:是HTML5标准中新加入的技术,当然早在IE6

2020-07-17 15:17:31 159

原创 vue配置 简单搭建项目

Vue初次尝试1、已安装nodejs2、安装vue3npm install -g @vue/cli(1) 将安装包放在 /usr/local 下或者你 node 的安装目录。(2)可以直接在命令行里使用。3、使用vue脚手架创建项目vue init webpack demo1(1)选中vue-router 为浏览器的请求做路由(2)选中esLint 编译时检查es6的语法错误(3)选中npm 项目的包依赖管理工具(4)在生成的目录下执行: npm

2020-07-15 16:37:29 184

原创 sql delete 嵌套 select查询 You can't specify target table 'student' for update in FROM clause

sql delete 嵌套 select查询 You can’t specify target table ‘student’ for update in FROM clause#删除 除了 sid相同其它均相同,并且保存sid最大的元祖 DELETE s FROM student AS s WHERE s.`sid`<> (SELE...

2019-05-06 21:40:49 836

原创 js传参

js传参了解java的人都知道,java的传参传的是值而不是引用。今天在写js的时候就想“是不是js的参数也是传值”,于是做了一下测试。js中数据分为基本类型(number、string、boolean、null、undefined)和引用类型(Object、Array、Data、RegExp、Function等)两种。参数为基本类型时传值,为引用类型时传引用。...

2019-04-30 13:31:13 308

原创 group by

group by#查询 group by col是将符合where条件的记录按特定的col进行分组,然后使用聚合函数对组进行统计;#count(*)打印出每组的记录数;#min(*),*打印出组内col最小的行;max与min同理。#sum(col):计算出组内的col列的总和#avg(col):计算出组内col列的平均值SELECT MIN(createDate) AS su...

2019-04-26 22:14:42 612

原创 java.util.ConcurrentModificationException

ArrayList使用增强循环for(Object o:ArrayList){//遍历}如果在遍历过程中修改ArrayList的元素则会报此错误。可以使用如下代码代替即可,允许在遍历中修改数据。for(int i=0;i<list.size;i++){ Object o=list.get(i); //此时可以修改对象}...

2019-04-26 00:03:41 145

原创 meta标签

HTML <meta> 标签浏览器支持IE Firefox Chrome Safari Opera所有浏览器都支持 <meta> 标签。定义和用法<meta> 元素可提供有关页面的元信息(meta-information),比如针对搜索引擎和更新频度的描述和关键词。<meta> 标签位于文档的头部,不包含任何内容。<meta&g...

2019-04-24 21:49:42 195

google bigtable.pdf

google分布式系统奠基论文之一

2021-03-29

the google file system.pdf

google分布式三大奠基文章之一

2021-03-29

Mycat2资源文件下载

mycat2 资源文件

2023-12-25

mysql一主双从环境搭建-docker-compose

可以作为分库分表的测试环境。自带两个独立的mysql集群,每个集群为一主双从。

2023-12-25

Android音乐播放器

android毕业设计完整项目,包含所需jar包,androidstudio导入即可运行。包中包含已编译好的apk,可以拷贝到手机中直接运行,测试效果。 并且包含毕业设计论文。

2019-04-16

hdfs_design.pdf

TheHadoopDistributedFileSystem:ArchitectureandDesign pdf下载

2021-03-29

MapReduce Simplified Data Processing on Large Clusters.pdf

google 分布式三大奠基理论之一

2021-03-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除