@在远方
码龄4年
求更新 关注
提问 私信
  • 博客:203,025
    社区:4,460
    问答:88
    207,573
    总访问量
  • 165
    原创
  • 4,920
    粉丝
  • 564
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:河南省
加入CSDN时间: 2021-07-26

个人简介:大数据学习记录与分享!

博客简介:

シ風

博客描述:
大数据自学历程,一步一个脚印!
查看详细资料
个人成就
  • 获得1,516次点赞
  • 内容获得431次评论
  • 获得1,176次收藏
  • 代码片获得835次分享
  • 博客总排名20,751名
  • 原力等级
    原力等级
    5
    原力分
    1,944
    本月获得
    14
创作历程
  • 69篇
    2025年
  • 4篇
    2024年
  • 2篇
    2023年
  • 18篇
    2022年
  • 84篇
    2021年
成就勋章
TA的专栏
  • .... ... .. . Kettle
    付费
    10篇
  • .... ... .. . Hadoop
    付费
    14篇
  • .... ... .. . BigData
    29篇
  • .... ... .. . Ollama
    5篇
  • .... ... .. . APM
    6篇
  • .... ... .. . SpringBoot
    8篇
  • .... ... .. . Tools
    12篇
  • .... ... .. . Database
    12篇
  • .... ... .. . Zabbix
    6篇
  • .... ... .. .Django
    4篇
  • .... ... .. . JavaCode
    23篇
  • .... ... .. . Hive
    9篇
  • .... ... .. . Shell
    8篇
  • .... ... .. . SSH
    4篇
  • .... ... .. . WEB
    3篇
  • ::: :: : 内容说明 : :: :::
    5篇
  • ::: :: : Flume : :: :::
    6篇
  • ::: :: : Spark : :: :::
    5篇
  • Kafka
    10篇

TA关注的专栏 30

TA关注的收藏夹 0

TA关注的社区 6

TA参与的活动 1

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

28人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 收藏
  • 代码仓
  • 关注/订阅/互动
  • 社区
  • 最近

  • 文章

  • 专栏

  • 收藏

  • 代码仓

  • 关注/订阅/互动

  • 社区

搜索 取消

Sqoop【付诸实践 02】Sqoop1最新版 全库导入 + 数据过滤 + 字段类型支持 说明及举例代码(query参数及字段类型强制转换)

本文介绍了Sqoop1最新版的全库导入、数据过滤及字段类型支持功能。主要内容包括:1)使用import-all-tables实现全库导出到HDFS/Hive,需注意主键限制和并行执行问题;2)通过query参数实现数据过滤导入,需遵循特定语法规则;3)处理不支持字段类型的方法,使用--map-column-java和--map-column-hive参数进行强制类型转换。文中提供了详细的示例代码,涵盖全库导出到HDFS/Hive、条件过滤查询以及字段类型转换等常见场景。环境要求为JDK1.8、MySQL5.
原创
博文更新于 10 小时前 ·
756 阅读 ·
3 点赞 ·
1 评论 ·
5 收藏

Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)

本文介绍了Sqoop在日常工作中的基本使用方法。首先展示了运行环境配置,包括JDK 1.8、MySQL 5.7、Hadoop 3.1.3、Hive 3.1.2和Sqoop 1.4.7。然后介绍了Sqoop的基本命令操作,包括查看所有命令(sqoop help)和查看具体命令用法(sqoop help COMMAND)。重点讲解了查询操作,包括list-databases命令用于查询MySQL所有数据库并测试连通性,以及list-tables命令用于查询指定数据库中的所有表和视图。文章还针对常见的WARN和E
原创
博文更新于 10 小时前 ·
806 阅读 ·
3 点赞 ·
4 评论 ·
3 收藏

Sqoop【环境搭建 01】CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证(附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源)

本文介绍了在CentOS 7.5系统上安装配置Sqoop-1.4.7的过程。主要内容包括:资源分享(提供Sqoop1和Sqoop2最新版下载链接)、Sqoop的基本功能(数据导入导出)、安装前置条件(需先安装Hadoop3.1.3)、详细安装步骤(解压、环境变量配置、sqoop-env.sh文件修改)、MySQL驱动拷贝,以及验证安装成功的步骤。文章还提供了去除警告信息的方法,通过修改configure-sqoop文件注释掉不必要的检查。最终成功安装并验证了Sqoop1.4.7版本,为后续使用奠定了基础。
原创
博文更新于 10 小时前 ·
1232 阅读 ·
14 点赞 ·
14 评论 ·
6 收藏

Elasticsearch【付诸实践 02】Java HTTP Rest client for ElasticSearch Jest 客户端集成(配置+增删改查测试源码)【推荐使用】

本文介绍了如何在SpringBoot项目中集成Jest客户端作为ElasticSearch的HTTP Rest接口。相比Spring Data Elasticsearch,Jest提供了更灵活的版本选择。文章详细说明了依赖配置、客户端初始化方法,并通过测试代码演示了索引的增删改查操作,包括创建索引、执行查询、更新文档和删除索引等功能。测试结果显示所有操作均成功执行,验证了Jest客户端的可用性。该方案为开发者提供了另一种与ElasticSearch交互的选择。
转载
博文更新于 10 小时前 ·
232 阅读 ·
12 点赞 ·
7 评论 ·
6 收藏

Elasticsearch【付诸实践 01】2️⃣ 种方式的高级客户端 RestHighLevelClient 使用(依赖+配置+客户端API测试源码)

本文介绍了两种使用RestHighLevelClient操作Elasticsearch的方式。第一种方式通过直接引入Elasticsearch和RestHighLevelClient依赖,不依赖Spring Boot Starter,可以自由选择ES版本。文章详细展示了从配置客户端到各种CRUD操作的完整代码示例,包括创建/删除索引、文档增删改查、批量操作和查询等核心功能。示例中使用JSON序列化对象,通过XContentType指定数据格式,并演示了如何设置请求超时、获取响应状态等常见操作场景。这种方式适
转载
博文更新于 10 小时前 ·
270 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

Elasticsearch【问题记录 02】【不能以root运行es + max virtual memory areas vm.max_map_count [65530] is too low处理】

本文解决了Elasticsearch运行时的两个常见问题:1)不能以root用户运行,通过创建elasticsearch专用用户并授权解决;2)虚拟内存区域不足,通过修改系统参数vm.max_map_count至262144。同时配置了文件描述符数量和用户线程数限制。操作包括创建用户、修改权限、调整系统参数等步骤,确保Elasticsearch能够正常启动运行。
转载
博文更新于 10 小时前 ·
299 阅读 ·
1 点赞 ·
2 评论 ·
2 收藏

Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)

本文介绍了在低配置云服务器上管理Elasticsearch服务的两种方法:1) 直接启动/停止方式,包括前台运行(Ctrl+C停止)和后台运行(kill进程停止);2) 通过PID文件管理方式,详细说明了如何编写shell脚本实现单命令启停服务,并验证了脚本的有效性。文章特别指出Elasticsearch默认不提供停止命令的问题,并提供了实用解决方案,最后强调该脚本方法可扩展应用于其他服务管理场景。
转载
博文更新于 10 小时前 ·
613 阅读 ·
1 点赞 ·
0 评论 ·
3 收藏

Elasticsearch【环境搭建 02】最新版 elasticsearch + kibana(7.15.0)安装、配置、启动(多个问题处理 + kibana仪表盘使用)

本文介绍了Elasticsearch 7.15.0和Kibana 7.15.0的安装配置过程。首先说明Elasticsearch需Java 8以上环境,测试使用JDK11。详细步骤包括:创建专用用户、配置系统参数vm.max_map_count、修改elasticsearch.yml和jvm.options配置文件。Kibana安装后需修改kibana.yml配置网络、ES连接地址及中文界面等。文章提供了完整的安装命令和常见错误解决方案,最后通过9200和5601端口验证服务启动成功。适用于单机环境部署,特
转载
博文更新于 10 小时前 ·
1078 阅读 ·
3 点赞 ·
0 评论 ·
2 收藏

Elasticsearch【环境搭建 01】【elasticsearch-6.4.3 单机版】(含 安装包+分词插件 云盘资源)

本文介绍了Elasticsearch 6.4.3单机版的安装配置过程。首先确认Java 8环境,然后解压安装包并创建专用用户。接着配置系统参数vm.max_map_count和ES配置文件,调整JVM内存参数以适应低配主机。最后以elasticsearch用户启动服务,并通过jps和9200端口验证安装成功。文章提供了详细的命令操作步骤,适合在1核2G内存的云主机上部署使用。
转载
博文更新于 10 小时前 ·
411 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

Kafka【部署 03】Zookeeper与Kafka自动部署脚本

本文提供了Zookeeper和Kafka的自动化部署脚本。Zookeeper部分包括安装3.6.2版本、配置环境变量、修改数据存储路径、启动服务及开放2181端口。Kafka部分包含安装2.6.0版本、设置环境变量、配置监听地址和日志路径、后台启动服务以及开放9092端口。两个脚本都采用了删除旧版本再安装新版本的方式,并自动完成主要配置参数的修改。使用时需根据实际安装版本调整脚本内容,确保路径和版本号与实际环境一致。
原创
博文更新于 10 小时前 ·
1411 阅读 ·
8 点赞 ·
6 评论 ·
4 收藏

ZooKeeper【基础知识 04】控制权限ACL(原生的 Shell 命令)

摘要:Zookeeper通过ACL(访问控制列表)机制保护数据安全,防止误修改。ACL由scheme、id和permissions三部分组成,支持world(默认)、auth、digest、ip和super五种权限模式。权限设置可通过setAcl或create命令实现,包括CREATE、READ等操作权限。特别地,super模式需修改zkServer.sh配置超级管理员账户。通过addauth命令添加认证信息实现登录,不同模式对应不同安全级别,其中auth是digest的简化实现。本文详细介绍了各模式的配置
原创
博文更新于 10 小时前 ·
237 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

ZooKeeper【基础 03】Java 客户端 Apache Curator 基础 API 使用举例(含源代码)

Apache Curator是Zookeeper的高阶Java客户端,提供了更丰富的功能。本文介绍了Curator的基础API使用,包括:1) 添加Maven依赖;2) 创建客户端连接;3) 节点操作(创建/查询/更新/删除);4) 监听机制(一次性/永久性监听)。通过测试类展示了完整的API调用示例,如createNodes()创建节点、getNode()获取节点数据、permanentWatch()实现永久监听等。相比原生客户端,Curator提供了更简洁的API和更强大的功能,是Java操作Zooke
原创
博文更新于 10 小时前 ·
174 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

ZooKeeper【基础 02】zookeeper-3.6.0 常用Shell命令(节点增删改查+监听器+四字指令)

本文介绍了ZooKeeper 3.6.0版本的常用Shell命令操作。主要内容包括:服务启动与连接方式、基础命令列表、节点查看(ls/get/stat)、节点创建(create)、节点更新(set)和删除(delete)等核心操作。重点演示了如何查看节点详细信息、创建临时/有序节点、基于版本号更新数据等实用技巧,并解释了节点状态中各参数的含义。文章以实际命令示例为主,帮助用户快速掌握ZooKeeper的基本运维操作。
原创
博文更新于 10 小时前 ·
438 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

ZooKeeper【基础 01】简介+设计目标+核心概念+ZAB协议+典型应用场景

Zookeeper是一个开源的分布式协调服务,广泛应用于微服务和大数据领域。它具有顺序一致性、原子性、单一视图等特性,采用树形数据模型存储数据,通过集群保证高可用性。核心概念包括集群角色(Leader/Follower/Observer)、会话、数据节点和Watcher监听机制。Zookeeper使用ZAB协议实现数据一致性,支持崩溃恢复和消息广播两种模式。典型应用场景包括配置中心、命名服务、Master选举等,为分布式系统提供协调服务。
原创
博文更新于 10 小时前 ·
301 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版(一台服务器实现三个节点的ZooKeeper集群)

摘要:本文介绍了在单台服务器上搭建Zookeeper 3.6.0伪集群的方法。通过创建三个独立节点,分别配置不同的数据目录、日志目录和客户端端口(2181-2183),并使用不同的通讯端口(2287-2289)和选举端口(3387-3389)实现节点间通信。每个节点通过myid文件标识身份(1-3)。测试表明该伪集群在JDK11环境下能正常运行,成功选举出leader节点(2号节点),其余节点为follower。这种方法解决了只有单台服务器时无法搭建标准集群的问题。
原创
博文更新于 10 小时前 ·
1044 阅读 ·
10 点赞 ·
8 评论 ·
8 收藏

ZooKeeper【搭建 02】apache-zookeeper-3.6.0 集群版(准备+安装配置+启动验证)

本文介绍了Apache Zookeeper 3.6.0集群版的安装配置过程。主要内容包括:前期准备(主机名映射、JDK安装、防火墙关闭)、集群配置(环境变量设置、zoo.cfg文件修改、myid文件创建)、以及集群启动与验证。重点说明了Zookeeper集群需要奇数节点(最少3个)的特性,详细解释了server配置参数含义,并演示了通过scp命令分发安装包的方法。最终通过zkServer.sh命令验证集群状态,确认一个Leader节点和两个Follower节点正常运行。该配置方案适用于构建高可用的Zooke
原创
博文更新于 10 小时前 ·
789 阅读 ·
2 点赞 ·
0 评论 ·
4 收藏

ZooKeeper【搭建 01】apache-zookeeper-3.6.2 单机版安装+配置+添加到service服务+开机启动配置+验证+chkconfig配置(一篇入门zookeeper)

本文详细介绍了ZooKeeper 3.6.2版本的安装配置过程。主要内容包括:1)解压安装文件到指定目录;2)配置环境变量和zoo.cfg配置文件;3)启动服务及配置开机自启;4)通过多种方式验证服务运行状态。文章还提供了chkconfig命令的使用说明,帮助用户管理系统服务。配置过程中详细说明了各项参数含义,如dataDir、tickTime等核心配置项的作用,为ZooKeeper的单机部署提供了完整指导。
原创
博文更新于 10 小时前 ·
1489 阅读 ·
2 点赞 ·
0 评论 ·
5 收藏

飞算JavaAI:Java程序员的AI助手,一天助你成为Java开发高手!

摘要:本文介绍了飞算AI助手如何帮助Java开发者快速提升开发效率。从技术迭代的焦虑出发,作者分享了从传统开发到AI辅助的转变体验。飞算AI具备需求分析、代码生成、优化及注释等核心功能,大幅降低开发门槛。文章详细展示了安装步骤和功能测试,包括智能引导生成完整项目代码、SQL Chat解答数据库问题等。该工具支持主流IDE,免费使用且与项目深度结合,能显著提升开发效率,尤其适合应对复杂业务逻辑和代码优化场景。
原创
博文更新于 10 小时前 ·
1369 阅读 ·
54 点赞 ·
36 评论 ·
30 收藏

AI【基础 01】神经网络基础知识(不断进行补充整理)

本文介绍了神经网络的基础知识,包括回归模型、损失函数、权重和偏置、梯度下降以及激活函数。回归模型用于预测连续数值输出,损失函数衡量预测误差,权重和偏置是模型的关键参数。梯度下降是优化算法,用于最小化损失函数。激活函数引入非线性,常见的有Sigmoid、tanh、ReLU和Softmax等。其中,Softmax函数适用于多分类问题,将输出转化为概率分布。这些概念是理解和构建神经网络的基础。
原创
博文更新于 10 小时前 ·
786 阅读 ·
27 点赞 ·
0 评论 ·
14 收藏

Airflow【部署 01】Airflow官网Quick Start实操(一篇学会部署Airflow)

本文介绍了在本地机器上快速部署Apache Airflow单机版的步骤。首先需要设置AIRFLOW_HOME环境变量指定安装目录,然后使用约束文件通过pip安装指定版本的Airflow(示例使用2.7.2版本)。安装完成后,可以通过airflow standalone命令一键启动所有组件(包括数据库初始化、创建管理员用户、启动Web服务器和调度器),也可以分步骤执行:先初始化数据库,创建用户,再分别启动Web服务器(默认8080端口)和调度器。启动成功后,可通过浏览器访问Web界面,使用创建的管理员账号登录
原创
博文更新于 10 小时前 ·
1614 阅读 ·
17 点赞 ·
0 评论 ·
30 收藏
加载更多