飞哥大数据
码龄2年
求更新 关注
提问 私信
  • 博客:111,187
    111,187
    总访问量
  • 193
    原创
  • 33
    粉丝
  • 76
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:河南省
加入CSDN时间: 2023-11-07

个人简介:无

博客简介:

2301_80954266的博客

查看详细资料
个人成就
  • 获得2,407次点赞
  • 内容获得0次评论
  • 获得1,437次收藏
  • 博客总排名17,767名
  • 原力等级
    原力等级
    4
    原力分
    680
    本月获得
    273
创作历程
  • 193篇
    2025年
成就勋章
TA的专栏
  • sqoop
    1篇

TA关注的专栏 1

TA关注的收藏夹 0

TA关注的社区 4

TA参与的活动 14

兴趣领域 设置
  • Java
    tomcatjvmlog4jmybatisjava-zookeeper
  • 编程语言
    pythonjavac语言javascriptmatlab
创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

28人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

clickhouse的背景及问题

✅适合:实时日志分析、时序数据监控、用户行为分析(低延迟复杂查询)。❌不适合:高并发在线事务(OLTP)、强一致性场景、频繁更新的行级操作。通过合理架构设计(如读写分离、数据分片)和查询优化(避免大JOIN),ClickHouse仍是当前OLAP领域的高性价比解决方案。
原创
博文更新于 17 小时前 ·
276 阅读 ·
2 点赞 ·
0 评论 ·
3 收藏

doris环境部署

Doris(原Apache Doris)是一款高性能、实时的分布式分析型数据库。生产环境建议部署至少3个FE(保障高可用)和多个BE(横向扩展)。通过MySQL客户端连接FE(默认用户。从官网下载二进制包(如。
原创
博文更新于 17 小时前 ·
189 阅读 ·
6 点赞 ·
0 评论 ·
1 收藏

doris数据库通过 MySQL 协议连接

Doris 数据库支持通过进行连接,其前端节点(FE)默认监听端口为3305。以下是连接方式示例:Apache Doris 采用 MySQL 网络连接协议,兼容 MySQL 生态的命令行工具、JDBC/ODBC 和各种可视化工具。同时 Apache Doris 也内置了一个简单的 Web UI,方便使用。下面分别介绍如何通过 MySQL Client、MySQL JDBC Connector、DBeaver 和 Doris 内置的 Web UI 来连接 Doris。
原创
博文更新于 17 小时前 ·
167 阅读 ·
3 点赞 ·
0 评论 ·
1 收藏

doris的湖仓一体

其融合了数据湖的低成本、高扩展性与数据仓库的高性能、强数据治理能力,从而实现对大数据时代各类数据的高效、安全、质量可控的存储和处理分析。同时通过标准化的数据格式和元数据管理,统一了实时、历史数据,批处理和流处理,正在逐步成为企业大数据解决方案新的标准。
原创
博文更新于 17 小时前 ·
230 阅读 ·
9 点赞 ·
0 评论 ·
1 收藏

doris安装 BE

好的,安装 Doris 的 BE(Backend)节点是 Doris 集群部署的重要一步。完成以上步骤后,Doris BE 节点应该成功安装并加入集群,可以开始存储和处理数据了。# 指定 FE 监听 IP 的 CIDR 网段。## 指定 Java 环境。修改 BE 配置文件。
原创
博文更新于 17 小时前 ·
466 阅读 ·
4 点赞 ·
0 评论 ·
13 收藏

Doris安装 FE

好的,我们来详细说明如何安装 Apache Doris 的前端(FE)节点。FE 负责元数据管理、集群管理、查询解析和规划等任务。以下是安装步骤:编辑 FE 配置文件 apache-doris/fe/conf/fe.conf,修改以下参数:## 指定 Java 环境# 指定 FE 监听 IP 的 CIDR 网段。
原创
博文更新于 17 小时前 ·
225 阅读 ·
13 点赞 ·
0 评论 ·
4 收藏

clickhouse的MVP数据分析系统

ClickHouse作为高性能的列式数据库,非常适合构建MVP(最小可行产品)级数据分析系统。以下是关键组件及实现方案:MVP数据分析系统分为四个模块,
原创
博文更新于 17 小时前 ·
192 阅读 ·
3 点赞 ·
0 评论 ·
2 收藏

Doris的自增列介绍

在 Doris 中,自增列(Auto Increment Column)是一种自动生成唯一数字值的功能,常用于为每一行数据生成唯一的标识符,如主键。每当插入新记录时,自增列会自动分配一个递增的值,避免了手动指定数字的繁琐操作。使用 Doris 自增列,可以确保数据的唯一性和一致性,简化数据插入过程,减少人为错误,并提高数据管理的效率。总之,Doris 的自增列提供了一种在分布式环境下生成全局唯一、单调递增 ID 的有效解决方案,特别适合用作表的主键或需要唯一标识的场景,简化了应用开发。
原创
博文更新于 17 小时前 ·
612 阅读 ·
8 点赞 ·
0 评论 ·
4 收藏

yarn的队列任务优先级

特性优先级主要作用对象同一队列内的任务同一叶子队列内的任务优先级数值整数,值越大优先级越高整数,值越大优先级越高影响范围仅限同一队列内部仅限同一叶子队列内部是否影响总量否,只影响调度顺序否,只影响调度顺序是否支持抢占队列间支持(基于公平性),任务间不支持队列间支持(基于容量),任务间不支持队列作用公平分配资源保障队列资源容量。
原创
博文更新于 前天 08:13 ·
378 阅读 ·
7 点赞 ·
0 评论 ·
4 收藏

yarn配置公平调度器的多队列

配置Yarn使用公平调度器</description><description>禁止队列中资源抢占
原创
博文更新于 前天 08:12 ·
243 阅读 ·
4 点赞 ·
0 评论 ·
3 收藏

flume的选择器的介绍

如果复制和多路复用选择器不能满足复杂的路由逻辑,可以自定义选择器。需要实现接口(用于修改或检查事件)和接口(核心,决定事件发往哪个 Channel)。通常自定义逻辑会放在的实现中。需要基于事件内容(Body)、复杂的业务逻辑或外部条件进行路由时使用。在配置中指定自定义类的全限定名。a1.sources.s1.selector.prop1 = value1 # 可以传递自定义参数选择器类型核心功能典型应用场景路由依据复制 (同一事件复制到多个 Channel数据备份、多路输出。
原创
博文更新于 前天 08:12 ·
540 阅读 ·
20 点赞 ·
0 评论 ·
9 收藏

flume的自动容灾

通过上述机制,Flume可实现秒级故障转移与零数据丢失的容灾能力。实际部署时需结合监控系统(如Prometheus)实时预警,并定期演练容灾流程。当主节点故障时,客户端自动将数据路由至备用节点。通过心跳机制监测Agent状态,结合。即使进程崩溃,重启后可恢复未发送数据。
原创
博文更新于 前天 08:12 ·
273 阅读 ·
3 点赞 ·
0 评论 ·
3 收藏

flume负载均衡中的轮询

在 Flume 中,是一种常用的策略,用于在多节点间均匀分配数据流量。一段时间。
原创
博文更新于 前天 08:11 ·
135 阅读 ·
1 点赞 ·
0 评论 ·
4 收藏

flume负载均衡的随机

随机负载均衡策略是一种常见的方法,它通过随机选择Sink来处理事件,确保负载均匀分布。在Flume的配置文件中,您需要设置Sink组(Sink Group)并使用负载均衡处理器(Load Balancing Sink Processor)。随机负载均衡策略的核心是:当一个事件从Channel传递到Sink组时,系统会随机选择一个Sink实例来处理该事件。这种策略特别适用于Sink实例性能相近的场景,但如果Sink的响应时间差异较大,随机策略可能不如加权随机或其他策略高效。
原创
博文更新于 前天 08:11 ·
220 阅读 ·
3 点赞 ·
0 评论 ·
8 收藏

scala的变量中的模式匹配

在Scala编程语言中,模式匹配是一种强大的特性,允许根据数据的结构进行匹配和解构数据。当应用于变量声明时,模式匹配可以简化代码,使变量赋值更加直观和灵活。),模式匹配允许你解构复杂的数据类型(如元组、case类或集合),并将部分值绑定到新变量上。通过以上解释和示例,你应该对Scala变量中的模式匹配有了清晰的理解。如果你有更多具体场景或问题,可以提供细节,我可以进一步帮助!以下是一些Scala代码示例,展示如何在变量声明中使用模式匹配。表达式,但它也可以在变量声明中直接使用。在变量声明中(例如使用。
原创
博文更新于 前天 08:11 ·
205 阅读 ·
4 点赞 ·
0 评论 ·
4 收藏

CDH大数据平台的介绍

CDH(Cloudera's Distribution including Apache Hadoop)是一个集成的企业级大数据平台,基于Apache Hadoop生态系统构建。它通过整合多个开源组件(如HDFS、YARN、MapReduce等)提供统一的管理界面,简化了大数据集群的部署、监控和维护流程。
原创
博文更新于 前天 08:10 ·
136 阅读 ·
3 点赞 ·
0 评论 ·
1 收藏

CDP大数据平台的介绍

CDP(Customer Data Platform)大数据平台是一种集成化的数据管理系统,旨在统一收集、整合并激活企业内外部多源异构的客户数据。$$ CLV = \sum_{t=1}^{T} \frac{Revenue_t - Cost_t}{(1 + r)^t} $$ 其中$r$为折现率,$T$为预测周期。某连锁品牌通过CDP整合线下POS交易与线上商城数据,发现30%的用户存在跨渠道购买行为,据此优化库存调配策略,推动全渠道GMV提升18%。:计算客户生命周期价值(CLV)
原创
博文更新于 前天 08:10 ·
115 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

HDP大数据平台的介绍

它旨在提供一个稳定、安全且可扩展的环境,用于存储、处理和分析大规模数据集(即大数据)。HDP 的核心价值在于它将 Hadoop 生态系统中的众多关键组件集成、测试并打包,确保它们能够协同工作,为企业提供一个开箱即用的大数据解决方案。合并后,HDP 和 Cloudera 的 CDH (Cloudera Distribution Hadoop) 逐渐被整合到一个新的统一平台。因此,虽然 HDP 曾是一个重要的独立产品,但现在新部署通常更倾向于使用 CDP,它融合了两家公司的技术和优势。好的,我们来介绍一下。
原创
博文更新于 前天 08:10 ·
583 阅读 ·
20 点赞 ·
0 评论 ·
6 收藏

yarn向hive提交队列的方式

此配置对所有Hive会话生效。此配置仅对当前会话生效。
原创
博文更新于 2025.12.17 ·
243 阅读 ·
4 点赞 ·
0 评论 ·
5 收藏

flink的二阶段提交流程分析

好的,我们来详细分析 Flink 的二阶段提交流程(Two-Phase Commit, 2PC)。这个流程是 Flink 实现端到端 Exactly-Once 语义的关键机制之一,尤其在涉及外部系统(如 Kafka、数据库)作为 Sink 时。确保所有参与计算的算子在发生故障恢复后,能够基于一致的、已提交的数据状态继续处理,并且 Sink 端写入外部系统的数据是原子性的(要么全部成功写入,要么全部不写入,避免重复或丢失)。
原创
博文更新于 2025.12.17 ·
875 阅读 ·
7 点赞 ·
0 评论 ·
11 收藏
加载更多