TaroLee
码龄9年
求更新 关注
提问 私信
  • 博客:33,706
    社区:237
    问答:12,504
    46,447
    总访问量
  • 15
    原创
  • 11
    粉丝
  • 11
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
加入CSDN时间: 2017-01-05
博客简介:

qq_37257738的博客

查看详细资料
个人成就
  • 获得23次点赞
  • 内容获得10次评论
  • 获得118次收藏
  • 代码片获得679次分享
  • 博客总排名942,786名
创作历程
  • 10篇
    2021年
  • 3篇
    2020年
  • 3篇
    2018年
成就勋章
TA的专栏
  • 集群搭建
    9篇
  • 问题记录
    4篇
  • 大数据系列
    3篇
  • 大数据
  • shell
    1篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 1

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

28人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

编写集群 xsync 分发脚本

参考书籍:尚硅谷 -- 大数据分析 - 数据仓库项目实战第一步:脚本需求分析。1、原始复制rsync -rv -/opt/module bigdata@hadoop129:/opt/2、期望脚本效果xsync path/filename #要同步的文件路径或文件名3、在 /home/bigdata/bin 目录下存放的脚本,bigdata用户可以在系统任何地方直接执行。第二步:脚本实现。1、在 /home/bigdata 目录下创建 bin 目录mkdir bin
原创
博文更新于 2021.01.15 ·
806 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

rsync error: some files/attrs were not transferred (see previous errors) (code 23)

在执行xsync 对已经 ssh 免密登录的 普通用户的 机器进行 分发命令时,报如下错:rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]是要操作的主机目录没有普通用户的权限,使用如下命令,给要操作的主机上的相应文件夹赋予普通用户权限chown username [文件夹]# 示例:chown -R bigdat.
原创
博文更新于 2021.01.14 ·
6153 阅读 ·
0 点赞 ·
1 评论 ·
6 收藏

Centos7 配置三台虚拟机免密登录 root 及 非root 稍有差异

我们搭建的Hadoop分布式集群是“主从架构”,配置了节点服务器间免密登录之后,就可以方便地通过主节点服务器启动从节点服务器,从而不用手动输入用户名和密码。1、配置SSH。基本语法:假设要用用户名root登录远程主机host,只需要输入ssh root@host,如ssh root@192.168.28.129,若本地用户名与远程用户名一致,登录时则可以省略用户名,如ssh host。 第一次连接时会出现Are you sure you want to continue connecting ..
原创
博文更新于 2021.01.14 ·
1065 阅读 ·
1 点赞 ·
1 评论 ·
3 收藏

Centos7创建新用户

1、创建bigdata用户useradd bigdata2、为bigdata用户设置密码passwd bigdata这里如果输入的密码太简单或者包含用户名称,如我这里的密码设置的是:bigdata@2021,会有提示,如果不在意可直接忽略。3、配置bigdata用户具有root权限修改配置文件 /etc/sudoers添加两行:bigdata ALL=(ALL) ALL# 配置成执行sudo命令时,不需要输入密码。bigdata ALL=(ALL) NOPAS
原创
博文更新于 2021.01.11 ·
1307 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Centos7 修复时间不正确

使用date -R查看时区是否正确date -R修改时区timedatectl set-timezone Asia/Shanghai安装NTPsudo yum -y install ntp使用ntpdate更新系统时间ntpdate pool.ntp.org启动ntpd daemon,持续校准时间systemctl start ntpd查看ntpd daemon是否启动systemctl status ntpd...
转载
博文更新于 2021.01.11 ·
384 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

Centos7 安装yum源

参考链接:https://www.cnblogs.com/guanbin-529/p/11980400.html一、安装wget的rpm包:1、下载wget的rpm包:首先去 http://mirrors.163.com/centos/7/os/x86_64/Packages/ 下找到wget的rpm包,复制链接,使用curl命令下载:curl http://mirrors.163.com/centos/7/os/x86_64/Packages/wget-1.14-18.el7_6
原创
博文更新于 2021.01.08 ·
10398 阅读 ·
7 点赞 ·
1 评论 ·
49 收藏

Centos7 配置完成网络后 ping 不通百度

1、网络连接适配器设置。控制面板 -> 网络和Internet -> 网络和共享中心 -> 点击 更改适配器配置 ->右键“VMware Network Adapter VMnet8” -> 选择属性 -> 选中 Internet 协议版本 4 -> 选择 属性2、配置虚拟机。使用命令编辑网络配置:vi /etc/sysconfig/network-scripts/ifcfg-ens32,编辑完成后 使用 :wq保存并退出,然后使用命令 servic
原创
博文更新于 2021.01.08 ·
6221 阅读 ·
10 点赞 ·
4 评论 ·
26 收藏

Centos 7 修改主机名

参考链接:https://jingyan.baidu.com/article/0964eca24fea938284f53669.html1、使用Xshell远程连接Centos 7 主机。2、输入hostname 查看当前系统的主机名,知道当前主机名位localhost。3、使用hostnamectl set-hostname 命令修改主机名,可永久生效。4、重启后查看主机名称变化。5、 还有一种方法直接修改主机名文件,vi /etc/hostname,这种方法也是永久.
原创
博文更新于 2021.01.05 ·
349 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Centos 7 网络配置

参考博客:https://blog.csdn.net/u013301376/article/details/1051089791、执行命令dhclient,然后使用 ip addr命令查看虚机的IP地址。2、设置静态IP地址。使用命令 vi /etc/sysconfig/network-scripts/ifcfg-ens32 编辑配置文件,点击 i 进行编辑,编辑完成后,摁Esc退出,输入 “:wq” 进行保存。3、取消dns自动检测,解决SXhell连接Linux慢的问题。
原创
博文更新于 2021.01.03 ·
358 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

VMware Workstation 16 Player 安装Centos 7

环境准备:VMware Workstation 16 Player 官方下载:https://www.vmware.com/products/workstation-player/workstation-player-evaluation.htmlCentos 7 镜像,我用的版本是:CentOS-7-x86_64-DVD-1810.iso,我原本想放百度云网盘的,但是由于文件大小超出了4G的限制,而我又是一个穷逼,所以大家还是去官网下载吧,附上链接:https://www.centos.o
原创
博文更新于 2021.01.03 ·
2463 阅读 ·
2 点赞 ·
0 评论 ·
28 收藏

Mysql导入csv文件中文乱码,报错[ERR] 1366 - Incorrect string value: ‘\xD4\xC2 -13‘ for column ‘PRODATTRVALU

解决办法:在选中导入的CSV文件之后,编码格式选择10008(MAC - Simplified Chinese GB 2312),因为含有中文的CSV文件一般都是采用10008这种编码方式而不是utf8。
原创
博文更新于 2020.12.22 ·
504 阅读 ·
1 点赞 ·
1 评论 ·
0 收藏

Spark 学习小记

Spark DataFrame和RDD相互操作1、RDD转DF 需要引入隐式转换import spark.implicits._2、spark 读取文件可定义一个case class 通过反射转成RDD::val rdd = spark.sparkContext.textFile("file:///......")import spark.implicits._val resultDF = rdd.map(_.split(",")).map(line => Perso.
原创
博文更新于 2020.11.18 ·
129 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

HIVE UNION ALL 报错 SemanticException org.apache.hadoop.hive.ql.metadata.HiveException

HIVE 上执行两个字段名称完全一样的表进行union all 总是报如下异常:Error: Error while compiling statement: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: The column KEY._col4:0._col0 is not in the vectorization context column map {KEY._col0=0, KEY._col1=
原创
博文更新于 2020.09.15 ·
1585 阅读 ·
1 点赞 ·
1 评论 ·
0 收藏

JAVA 如何倒序读取并输出rtf文件的内容?

发布问题 2019.12.22 ·
1 回答

spark(scala) 以空格进行分割,忽略引号内的空格

发布问题 2019.03.11 ·
1 回答

shell 脚本 日期

#! /bin/bashfirst=$1second=$2while [ "$first" != "$second" ]do#echo $firstlet first=`date -d "-1 days ago ${first}" +%Y%m%d`echo `date -d "${first}" +%Y-%m-%d`done 假设将上述的内容放到名为test.sh的脚本中...
原创
博文更新于 2018.08.03 ·
531 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据--MapReduce学习笔记

一、MapReduce简介MapReduce:2004年 Google paper中提出。 一个用于分布式数据处理的编程模型和运行环境。适合处理各种结构化和非结构化的数据。 HDFS(hadoop 分布式文件系统)是MapReduce的基础。 分布式系统的设计原则moving computation is more cheaper than moving data。(现场办公) ...
原创
博文更新于 2018.08.01 ·
441 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

大数据--hive学习笔记

一、Hive简介建立在Hadoop之上的数据仓库架构hive的设计目标:可伸缩、可扩展、容错及输入格式松耦合!一套方便的实施数据抽取(ETL)的工具。 一种让用户对数据描述其结构的机制。 支持用户对存储在Hadoop中的海量数据进行查询和分析的能力。特性使用HDFS作为数据存储 通过Map Reduce完成数据运算 提供类似SQL的语言(HQL) HQL灵活的可扩展性(...
原创
博文更新于 2018.07.30 ·
428 阅读 ·
1 点赞 ·
0 评论 ·
3 收藏

日志数据分析,计算流量时取哪些状态码的?

发布问题 2018.07.24 ·
1 回答

在MapReduce处理数据时根据ip获取国家名称和国家码等信息

答:

在linux下单独执行IP2CCUtil 方法可以获取数据,不知为什么一执行CleanData ,countryCode 和countryName 两个变量值没有获取到,还是默认的“-”

回答问题 2018.06.11
加载更多