小鹿学程序
码龄7年
求更新 关注
提问 私信
  • 博客:104,774
    动态:3
    104,777
    总访问量
  • 57
    原创
  • 632
    粉丝
  • 175
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:安徽省
加入CSDN时间: 2018-11-21

个人简介:小鹿努力学大数据

博客简介:

qq_43761012的博客

查看详细资料
个人成就
  • 获得376次点赞
  • 内容获得27次评论
  • 获得818次收藏
  • 代码片获得10,539次分享
  • 博客总排名22,229名
  • 原力等级
    原力等级
    4
    原力分
    904
    本月获得
    45
创作历程
  • 13篇
    2025年
  • 6篇
    2024年
  • 18篇
    2023年
  • 18篇
    2022年
  • 2篇
    2020年
成就勋章
TA的专栏
  • bigdata
    12篇
  • 机器学习-西瓜书
    11篇
  • 实习记录
    11篇
  • 算法刷题
    1篇
  • 软件设计师-初级-笔记
  • 还记不住就是猪系列
    3篇
  • 机器视觉课程复习
    1篇
  • 数学知识
    3篇
  • 图像处理
    3篇
  • python神经网络编程
    5篇
  • 实用
    13篇
  • python
    16篇

TA关注的专栏 20

TA关注的收藏夹 0

TA关注的社区 5

TA参与的活动 2

兴趣领域 设置
  • Python
    python
  • 大数据
    hbasehadoophivezookeeperkafkaflink大数据
  • 人工智能
    opencv计算机视觉机器学习深度学习神经网络视觉检测图像处理数据分析
创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

28人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

任务一- 2.子任务二:Hadoop完全分布式安装配置

本文介绍了Hadoop 3.2.1完全分布式环境的安装配置过程。主要内容包括:1)在主节点解压Hadoop安装包;2)配置6个核心配置文件(hadoop-env.sh、core-site.xml等);3)创建必要的Hadoop数据目录;4)将配置好的Hadoop分发到从节点;5)配置环境变量;6)格式化集群并启动HDFS、YARN和历史服务。文中提供了详细的配置参数说明和操作命令,并展示了通过jps命令验证各节点服务启动情况的结果。该配置实现了2个数据副本,关闭了权限检查,并设置了必要的Web UI访问端口
原创
博文更新于 前天 18:05 ·
641 阅读 ·
8 点赞 ·
1 评论 ·
18 收藏

任务一-1.子任务一:基础环境准备

从本地上传文件到虚拟机使用到软件有Xshell,XFTP,Filezilla,需要主机先去官网下载文件(具体配置及使用参考。下载 JDK(以jdk-8u361-linux-x64.tar.gz为例,需提前从 Oracle 官网或镜像站下载);Hadoop 等分布式框架依赖 Java,需安装 JDK(推荐 JDK 8);2. 将master的配置文件。每个节点都需要安装JDK。(1)上传 JDK 到。
原创
博文更新于 前天 09:54 ·
258 阅读 ·
3 点赞 ·
0 评论 ·
8 收藏

04-模块一平台搭建与运维

本文档详细介绍了大数据平台搭建与运维的完整流程。主要内容包括:1)基础环境准备,重点讲解了JDK 8的安装配置、环境变量设置及验证方法;2)Hadoop完全分布式集群的安装配置;3)MySQL、Hive、Flume等组件的安装部署。文档采用分步骤命令行操作方式,配合截图说明,涵盖了软件目录创建、文件解压、环境变量配置等关键环节。后续模块还涉及数据库配置维护、数据获取清洗、统计分析以及可视化等大数据处理全流程任务。每个步骤都提供了详细的操作指南和注意事项,为大数据平台搭建提供了完整的技术参考。
原创
博文更新于 前天 08:56 ·
794 阅读 ·
13 点赞 ·
0 评论 ·
20 收藏

搭建hadoop集群

完成虚拟机环境(网络配置、免密登录、JDK 安装)后,下一步确实可以开始搭建 Hadoop 集群了。Hadoop 集群的搭建、部署与管理需要按步骤推进,以下是详细流程和关键操作,帮助你顺利完成.
原创
博文更新于 2025.12.17 ·
859 阅读 ·
15 点赞 ·
0 评论 ·
20 收藏

jdk配置完之后java -version还是默认的jdk版本如何更改

jdk安装已经成功,JAVA_HOME、PATH的环境变量也已经在/etc/profile文件下面配置成功,并且配置文件已经生效。
原创
博文更新于 2025.12.17 ·
812 阅读 ·
20 点赞 ·
0 评论 ·
7 收藏

FileZilla连接到虚拟机

摘要: 本文介绍使用FileZilla连接虚拟机的详细步骤。首先确保虚拟机与主机能互相ping通,并关闭双方防火墙。安装FileZilla后,切换虚拟机至root用户,打开软件输入主机IP、用户名及密码完成连接。通过图文展示了安装界面和连接配置过程,帮助用户实现文件传输功能。
原创
博文更新于 2025.12.12 ·
210 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

03-虚拟机之间配置免密登录(CentOS)

本文详细介绍了在多节点Hadoop集群中配置SSH免密登录的步骤。首先确保三台虚拟机(node1、node2、node3)IP固定且能互相通信,并在/etc/hosts中正确映射主机名。然后分别在每个节点生成RSA密钥对,推荐采用"合并后分发"方式:先在node1合并所有公钥到authorized_keys文件,再分发到其他节点。若非root用户操作需额外修复文件权限(chmod 700 ~/.ssh和600 authorized_keys)。最后通过节点间SSH互连测试验证配置,成功则
原创
博文更新于 2025.12.11 ·
518 阅读 ·
11 点赞 ·
0 评论 ·
6 收藏

01-安装VMware & 虚拟机 超详细一篇就够

本文详细介绍了VMware虚拟机的安装及CentOS 7系统的配置过程。安装时需加载ISO镜像,选择中文语言和时区设置。整个过程包含大量图文指引,帮助用户顺利完成虚拟化环境的搭建和Linux系统的安装。
原创
博文更新于 2025.12.10 ·
1034 阅读 ·
8 点赞 ·
0 评论 ·
21 收藏

02-集群节点准备:克隆虚拟机

本文介绍了搭建三节点集群环境的详细步骤:1)通过克隆或独立创建三台虚拟机(hadoop01-03);2)永久关闭防火墙(systemctl stop/disable firewalld);3)检查并配置SSH服务;4)为每台虚拟机生成新MAC地址并修改IP(需确保同网段互通);5)分别设置主机名;6)重启网络服务验证配置。最终要求三节点能互相ping通、SSH可远程登录且防火墙处于关闭状态。文中包含具体命令和操作截图,适用于单机克隆或多主机协作的集群搭建场景。
原创
博文更新于 2025.12.09 ·
313 阅读 ·
5 点赞 ·
0 评论 ·
5 收藏

SSH 免密登录的配置是用户隔离的

摘要:SSH免密登录配置具有用户隔离性,root用户的配置不会自动应用于普通用户(如hadoop01)。要在普通用户下实现免密登录,需在该用户下生成密钥对(ssh-keygen),将公钥分发到各节点(ssh-copy-id),并确保.ssh目录权限正确(700)。验证时需以普通用户身份测试登录(ssh hadoop01@hadoop2)。核心原则是SSH配置按用户独立生效,root与普通用户互不影响。
原创
博文更新于 2025.11.28 ·
943 阅读 ·
12 点赞 ·
0 评论 ·
10 收藏

4.子任务四:Hive 安装配置

(1) 将Hive 3.1.2的安装包解压到/root/software目录下;(2) 在“/etc/profile”文件中配置Hive环境变量HIVE_HOME和PATH的值,并让配置文件立即生效;(3) 查看Hive版本,检测Hive环境变量是否设置成功;(4) 切换到目录下,将hive-env.sh.template文件复制一份并重命名为hive-env.sh;
原创
博文更新于 2025.11.12 ·
869 阅读 ·
8 点赞 ·
0 评论 ·
28 收藏

安装MySQL

3.子任务三:MySQL 安装配置只在master节点操作。
原创
博文更新于 2025.11.10 ·
558 阅读 ·
23 点赞 ·
0 评论 ·
13 收藏

搭建虚拟机完全分布式(Centos)

在搭建完全分布式集群前,通常需要先在一台基础节点(可作为主节点或模板节点) 上完成基础环境配置,后续再通过克隆或批量操作同步到其他节点。
原创
博文更新于 2025.10.30 ·
932 阅读 ·
29 点赞 ·
0 评论 ·
23 收藏

实习总结2023.9.21=2024.3.8

广中医实习总结
原创
博文更新于 2024.09.22 ·
875 阅读 ·
28 点赞 ·
0 评论 ·
29 收藏

学习率调整

这个函数根据训练周期动态调整学习率,先进行线性预热,然后使用余弦退火策略。这样可以在初期稳定模型的训练,避免较大学习率带来的不稳定性,并在后期逐渐减小学习率,提高模型的收敛效果。,则使用余弦退火函数来调整学习率。线性增加,从 0 增加到初始学习率。
原创
博文更新于 2024.06.01 ·
1107 阅读 ·
18 点赞 ·
1 评论 ·
12 收藏

代码随想录刷题

刷题记录
原创
博文更新于 2024.03.27 ·
386 阅读 ·
8 点赞 ·
0 评论 ·
2 收藏

【无标题】

【代码】【无标题】
原创
博文更新于 2024.03.06 ·
302 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

服务器后台运行python程序

服务器后台运行python程序-python常用命令
原创
博文更新于 2024.03.06 ·
3194 阅读 ·
5 点赞 ·
4 评论 ·
33 收藏

Linux常用命令

grep(global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来) 是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。这个命令,可以优先指定这个GPU,使用第0个GPU(代码中的其他地方不能指定其他的cuda设备)会报错。查看CPU信息:grep CPU /proc/cpuinfo。在运行python代码的时候,在编译器之前加入。Linux中 / 表示根目录。
原创
博文更新于 2024.03.06 ·
182 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

python-pip常用镜像源

python-pip常用镜像源
原创
博文更新于 2024.03.01 ·
6322 阅读 ·
1 点赞 ·
0 评论 ·
10 收藏
加载更多