QMY520520
码龄110天
求更新 关注
提问 私信
  • 博客:36,416
    36,416
    总访问量
  • 75
    原创
  • 12
    粉丝
  • 2
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:江苏省
加入CSDN时间: 2025-09-01
博客简介:

QMY520520的博客

查看详细资料
个人成就
  • 获得223次点赞
  • 内容获得14次评论
  • 获得171次收藏
  • 博客总排名29,996名
  • 原力等级
    原力等级
    3
    原力分
    215
    本月获得
    0
创作历程
  • 75篇
    2025年
成就勋章

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 1

TA参与的活动 0

创作活动更多

AI 镜像开发实战征文活动

随着人工智能技术的飞速发展,AI 镜像开发逐渐成为技术领域的热点之一。Stable Diffusion 3.5 FP8 作为强大的文生图模型,为开发者提供了更高效的图像生成解决方案。为了推动 AI 镜像开发技术的交流与创新,我们特此发起本次征文活动,诚邀广大开发者分享在 Stable Diffusion 3.5 FP8 文生图方向的实战经验和创新应用 本次征文活动鼓励开发者围绕 Stable Diffusion 3.5 FP8 文生图方向,分享以下方面的内容: 1. 技术实践与优化 - Stable Diffusion 3.5 FP8 模型架构解析与优化技巧 - 文生图生成效果的提升方法与技巧 - 模型部署与加速策略,例如使用 Hugging Face、Diffusers 等工具 - 针对特定场景(例如二次元、写实风)的模型微调与定制化开发 2. 应用场景探索 - Stable Diffusion 3.5 FP8 在不同领域的应用案例分享,例如游戏设计、广告创意、艺术创作等 - 利用 Stable Diffusion 3.5 FP8 实现图像编辑、图像修复、图像增强等功能的探索 - 结合其他 AI 技术(例如 NLP、语音识别)构建更强大的应用 3. 创新应用与思考 - 基于 Stable Diffusion 3.5 FP8 的创新应用场景设计 - AI 镜像开发的未来发展方向的思考与展望 - 对 AI 镜像开发伦理、安全等问题的探讨

28人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

学习爬虫知识

以post方式爬取:调用开发者模式,选取network,查找来往文件,取出url和formdata中的内容组成新的字典,request.post(url,formdata),并用json解析,即可获得数据。问题:原文中的链接已经不让爬取了,get的我是用baidu,post可以参考其他文章,将url中的_o去掉或者实时生成参数。以get方式爬取:request.get(url),返回response,使用response.text输出html文件。
原创
博文更新于 2025.11.18 ·
975 阅读 ·
5 点赞 ·
0 评论 ·
3 收藏

学习爬虫知识

以post方式爬取:调用开发者模式,选取network,查找来往文件,取出url和formdata中的内容组成新的字典,request.post(url,formdata),并用json解析,即可获得数据。问题:原文中的链接已经不让爬取了,get的我是用baidu,post可以参考其他文章,将url中的_o去掉或者实时生成参数。以get方式爬取:request.get(url),返回response,使用response.text输出html文件。
原创
博文更新于 2025.11.18 ·
1005 阅读 ·
5 点赞 ·
0 评论 ·
5 收藏

爬虫技术概述

爬虫是一种自动化工具,用于从互联网上提取数据并将其存储到本地数据库或文件中以便进一步分析。
原创
博文更新于 2025.11.17 ·
484 阅读 ·
4 点赞 ·
0 评论 ·
3 收藏

增量爬取策略:如何持续监控贝壳网最新成交数据

我们只需在本地维护一个已爬取ID的集合,新的爬取任务中,遇到已存在的ID即停止或跳过。基于列表页的发布时序识别:持续监控小区或区域的成交列表页,列表通常按成交时间倒序排列。因为列表页本身提供了时序信息,我们可以在不访问详情页的情况下就判断出新数据的范围,从而避免大量无效的详情页请求。减轻目标网站压力:遵循了良好的爬虫礼仪,避免了不必要的重复请求,降低了IP被封禁的风险。初始化:首次运行,全量抓取当前列表页的所有数据,并记录下“最新成交日期”作为基准点。b. 逐条解析列表项中的成交日期(和ID)。
原创
博文更新于 2025.11.17 ·
232 阅读 ·
4 点赞 ·
0 评论 ·
7 收藏

什么是爬虫?

爬虫(Web Crawler)是自动化程序,用于自动访问网页并抓取网页数据。爬虫可以系统性地从一个或多个网站收集数据,并将其用于多种目的,例如搜索引擎索引、数据分析、市场研究等。常见的爬虫工具如Googlebot会抓取网页内容并存储到搜索引擎的数据库中,以便用户搜索时快速显示相关信息。
原创
博文更新于 2025.11.14 ·
760 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

什么是爬虫?

常见的爬虫工具如Googlebot会抓取网页内容并存储到搜索引擎的数据库中,以便用户搜索时快速显示相关信息。异步爬取:为提高效率,爬虫可以采用异步方式并发访问多个页面,如Python中的aiohttp库,可以显著加速抓取过程。HTML解析:爬虫通过解析HTML文档来提取有用的数据,通常使用如BeautifulSoup、lxml等库。递归处理:爬虫会发现网页中的链接,继续访问这些链接的网页,重复以上步骤,直到完成任务。正则表达式:用于从网页中查找特定模式的数据,如特定格式的日期、电话号码或电子邮件地址。
原创
博文更新于 2025.11.14 ·
964 阅读 ·
7 点赞 ·
0 评论 ·
1 收藏

什么是爬虫?

爬虫可以系统性地从一个或多个网站收集数据,并将其用于多种目的,例如搜索引擎索引、数据分析、市场研究等。异步爬取:为提高效率,爬虫可以采用异步方式并发访问多个页面,如Python中的aiohttp库,可以显著加速抓取过程。HTML解析:爬虫通过解析HTML文档来提取有用的数据,通常使用如BeautifulSoup、lxml等库。递归处理:爬虫会发现网页中的链接,继续访问这些链接的网页,重复以上步骤,直到完成任务。正则表达式:用于从网页中查找特定模式的数据,如特定格式的日期、电话号码或电子邮件地址。
原创
博文更新于 2025.11.13 ·
454 阅读 ·
4 点赞 ·
0 评论 ·
1 收藏

增量爬取策略:如何持续监控贝壳网最新成交数据

我们只需在本地维护一个已爬取ID的集合,新的爬取任务中,遇到已存在的ID即停止或跳过。基于列表页的发布时序识别:持续监控小区或区域的成交列表页,列表通常按成交时间倒序排列。因为列表页本身提供了时序信息,我们可以在不访问详情页的情况下就判断出新数据的范围,从而避免大量无效的详情页请求。减轻目标网站压力:遵循了良好的爬虫礼仪,避免了不必要的重复请求,降低了IP被封禁的风险。初始化:首次运行,全量抓取当前列表页的所有数据,并记录下“最新成交日期”作为基准点。b. 逐条解析列表项中的成交日期(和ID)。
原创
博文更新于 2025.11.12 ·
256 阅读 ·
7 点赞 ·
1 评论 ·
2 收藏

爬虫技术抓取网站数据的方法

它可以从任何网站获取特定的或更新的数据并将其存储下来,极大地简化了手动收集数据的过程。网络爬虫是一种自动化程序,用于访问和提取网站上的数据。
原创
博文更新于 2025.11.10 ·
492 阅读 ·
3 点赞 ·
0 评论 ·
6 收藏

爬虫技术概述

原创
博文更新于 2025.11.07 ·
128 阅读 ·
3 点赞 ·
0 评论 ·
0 收藏

为什么选择独享静态住宅 IP

固定城市降低波动:城市级定位一致性提升内容推荐与用户交互相关性 [1]长会话更稳定:持久连接减少上下文波动,保障持续运营稳定性 [1]数据驱动更精准:固定变量减少干扰,提升评估与迭代的准确性 [2]环境可复制可移交:标准化配置便于团队内沉淀与规模化扩展 [1]
原创
博文更新于 2025.10.31 ·
237 阅读 ·
3 点赞 ·
0 评论 ·
4 收藏

为什么选择独享静态住宅 IP

固定城市降低波动:城市级定位一致性提升内容推荐与用户交互相关性 [1]长会话更稳定:持久连接减少上下文波动,保障持续运营稳定性 [1]数据驱动更精准:固定变量减少干扰,提升评估与迭代的准确性 [2]环境可复制可移交:标准化配置便于团队内沉淀与规模化扩展 [1]
原创
博文更新于 2025.10.30 ·
228 阅读 ·
4 点赞 ·
0 评论 ·
10 收藏

为什么选择独享静态住宅 IP

固定城市降低波动:城市级定位一致性提升内容推荐与用户交互相关性 [1]长会话更稳定:持久连接减少上下文波动,保障持续运营稳定性 [1]数据驱动更精准:固定变量减少干扰,提升评估与迭代的准确性 [2]环境可复制可移交:标准化配置便于团队内沉淀与规模化扩展 [1]
原创
博文更新于 2025.10.27 ·
115 阅读 ·
4 点赞 ·
0 评论 ·
0 收藏

豌豆 IP 方案与核心能力

原创
博文更新于 2025.10.25 ·
187 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

TikTok 独立 IP 解决方案:独享静态住宅 IP + 环境隔离 + 粘性会话

初次配置后固化参数,设置变更窗口期;所有变更记录入库,支持回溯与审计 [3]:接入统一观测平台,建立日常基线与异常阈值,通过回归测试验证优化收益 [2]
原创
博文更新于 2025.10.24 ·
599 阅读 ·
5 点赞 ·
1 评论 ·
11 收藏

爬虫的意义

通俗来讲,假如你需要互联网上的信息,如商品价格,图片视频资源等,但你又不想或者不能自己一个一个自己去打开网页收集,这时候你便写了一个程序,让程序按照你指定好的规则去互联网上收集信息,这便是。背后其实也是一个巨大的。
原创
博文更新于 2025.10.23 ·
1829 阅读 ·
9 点赞 ·
2 评论 ·
9 收藏

爬虫的基本概念

1。
原创
博文更新于 2025.10.23 ·
1023 阅读 ·
4 点赞 ·
0 评论 ·
9 收藏

爬虫基本方法

2。
原创
博文更新于 2025.10.22 ·
514 阅读 ·
5 点赞 ·
0 评论 ·
10 收藏

使用爬虫技术抓取网站数据的方法和工具

它可以从任何网站获取特定的或更新的数据并将其存储下来,极大地简化了手动收集数据的过程。网络爬虫是一种自动化程序,用于访问和提取网站上的数据。
原创
博文更新于 2025.10.22 ·
85 阅读 ·
2 点赞 ·
0 评论 ·
0 收藏

数据抓取在数据分析中的作用

数据抓取是数据分析的第一步,它涉及到从结构化或非结构化的数据源中提取有用信息。数据分析:清洗后的数据可以用于统计分析、趋势预测、用户行为研究等多种分析场景。数据清洗:抓取的数据通常需要经过清洗,去除无用或重复的信息,以提高数据质量。数据提取:通过网络爬虫抓取的数据可以包括文本、图片、链接等多种形式。数据抓取在数据分析中的作用。
原创
博文更新于 2025.10.21 ·
288 阅读 ·
3 点赞 ·
0 评论 ·
7 收藏
加载更多