VSCode远程开发-本地SSH隧道保存即时修改 我这边是在宝塔里docker的应用商店里下了个mysql多版本管理，在配置里自己配置自己要上传的数据库端口密码这些，配置好之后。

阅读 442

3赞

收藏 5
spark-AQE/Tungsten介绍及其触发条件 定义：Spark 3.0引入的自适应查询优化技术运行时动态调整执行计划。核心能力动态分区合并：自动合并小分区以减少Shuffle数据量。自动Broadcast Join：根据数据量动态切换Join策略。Skew Join优化：识别数据倾斜并自动调整分区策略。配置参数Tungsten（钨丝计划）定义：Spark 1.6推出的底层性能优化框架，通过内存管理和代码生成提升效率。关键技术内存列式存储：减少内存占用并提升缓存利用率。代码生成（Codegen）：动态生成JVM字节码替代解释执行。

阅读 1.3k

22赞

收藏 12
【JavaEE】Spring事务 Spring事务的注解实现@Transaction，以及三个主要属性，异常回滚属性rollbackFor，事务隔离级别Isolation，事务传播机制propagation

阅读 1.9k

58赞

收藏 42
Wireshark 在 macOS 上使用及问题解决 本文介绍了在 macOS 上使用 Wireshark 进行网络抓包的完整流程，包括安装方法、权限配置、抓包接口选择、过滤规则设置及常见协议分析，适合初学者快速上手网络数据分析。

阅读 1.4k

32赞

收藏 20
Wireshark 使用教程：让抓包不再神秘 tshark是 Wireshark 的命令行版本，支持几乎所有 Wireshark 的核心功能。它可以用来：抓包并保存为 pcap 文件实时显示数据包信息提取指定字段进行分析配合 shell 脚本完成自动化任务。

阅读 660

3赞

收藏 4
大数据量下的数据修复与回写Spark on Hive 的大数据量主键冲突排查：COUNT(DISTINCT) 的陷阱 本文总结了大表数据(日均五六千万)处理中的去重优化和资源调优经验。Hive入库阶段通过distinct()、dropDuplicates()、开窗函数等多重去重策略确保数据唯一性。Hive到Oracle迁移时发现NULL值导致主键冲突和资源不足问题，通过NULL值预处理和调整Executor配置(最终采用45G内存)解决。关键经验包括：早期处理NULL值、渐进式资源调优、多维度监控指标及详细文档记录。作者强调大数据问题需综合考虑数据特性、处理逻辑和集群资源，并建议建立系统的参数调优知识库以提高处理效率。

阅读 1.1k

25赞

收藏 16
Hive的存储格式如何优化？ Hive存储格式的选择对性能和效率至关重要。ORC和Parquet作为列式存储格式，适合查询少量列的OLAP场景，提供高速查询和压缩支持；行式存储如TextFile和SequenceFile适合全表扫描。ORC在Hive中性能更优，而Parquet跨引擎兼容性更好。优化方法包括合理配置参数（如块大小、压缩算法）、合并小文件以及分区分桶策略。实际选择需根据查询模式、数据类型和压缩需求确定，决策树可帮助快速匹配适用格式。

阅读 1.1k

9赞

收藏 12
Hive 分桶（Bucketing）深度解析：原理、实战与核心概念对比 分桶技术通过哈希算法将数据按表内字段细粒度划分到多个桶中，解决分区数据不均衡问题。其核心优势包括：优化大表JOIN性能（相同字段分桶时避免全表扫描）、支持高效数据抽样、实现数据均衡分布。

阅读 1.3k

27赞

收藏 20
MySQL 索引和事务 MySQL索引与事务是数据库性能与完整性的两大核心。索引通过有序列表存储字段值与物理地址，加速查询但占用额外空间，包含聚簇/非聚簇索引及普通、唯一、主键等类型，需遵循创建原则并注意最左前缀规则。事务通过ACID原则确保数据一致性，支持显式控制（BEGIN/COMMIT/ROLLBACK）和自动提交模式修改。合理使用索引和事务能显著提升数据库效率和数据可靠性。

阅读 1.3k

27赞

收藏 12
捋捋wireshark 本文介绍了Wireshark的基本功能和安装使用方法。Wireshark是用于网络封包分析的软件，可用于流量抓取和分析，适用于网络管理、安全检测、质量验证等多种场景。文章提供了官方文档和下载链接，详细说明了在Windows系统下安装Wireshark的步骤。重点演示了如何使用Wireshark抓取ICMP协议数据包，包括选择网口、设置过滤规则、开始捕获、保存数据包等操作流程。通过ping百度网站的实例展示了捕获请求和应答数据包的过程，适合初学者快速入门Wireshark的基本使用。

阅读 447

5赞

收藏 9
Java 大数据处理：使用 Hadoop 和 Spark 进行大规模数据处理 本文介绍了Java在大数据处理中的应用，重点对比Hadoop和Spark两大框架。Java凭借跨平台性和稳定性成为大数据处理的核心语言。Hadoop基于HDFS和MapReduce实现分布式存储与批处理，适合海量静态数据处理；Spark则通过内存计算和RDD抽象提供更快的处理速度，适合迭代计算和实时分析。文章详细讲解了两者的环境搭建和编程示例，并指出Hadoop适合大规模批处理，而Spark更适用于快速处理、实时计算等场景。开发者应根据具体需求选择合适的框架。

阅读 1.2k

26赞

收藏 23
第八章 Wireshark工具的安装与使用 本文介绍了Wireshark工具的安装与使用方法，重点演示了如何监控MQTT协议通信。主要内容包括：Wireshark官网下载、监听以太网接口、设置MQTT过滤器、分析MQTT连接报文、查看不同质量等级的发布消息、订阅与取消订阅过程，以及连接断开时的报文捕获。通过实际案例展示了Wireshark在EMQX消息服务器通信分析中的应用，为后续网络问题排查提供了实用工具。文章是系列教程的第8章，完整目录包含从系统安装到MQTT客户端使用的全流程指导。

阅读 485

3赞

收藏 3
pyspark实践 通过 PySpark，Python 开发者可以方便地进行大规模数据分析和数据挖掘工作，而无需深入了解分布式计算的复杂性。：用于图形处理的库（在 PySpark 中通过第三方库如 GraphFrames 访问）。：用于执行 SQL 查询以及读取数据的库，支持多种数据格式和存储系统。：提供了一个分布式数据集合，使得数据处理和分析更加直观和高效。：用于实时数据流处理的库。pyspark是什么。：用于进行机器学习的库。对csv文件进行处理。

阅读 1.9k

33赞

收藏 21
python同步mysql数据 python写了一个简单的mysql数据同步脚本。

阅读 401

1赞

收藏 0
4.8.2 利用Spark SQL计算总分与平均分 在本次实战中，我们的目标是利用Spark SQL计算学生的总分与平均分。首先，我们准备了包含学生成绩的数据文件，并将其上传至HDFS。接着，通过Spark的交互式编程环境，我们读取了成绩文件并将其转换为结构化的DataFrame。然后，我们创建了一个临时视图，并通过SQL查询计算了每个学生的总分和平均分。此外，我们还通过创建一个Spark项目来实现相同的功能。

阅读 757

7赞

收藏 1
wireshark分析国标rtp ps流 2.电话->RTP->RTP播放器 选择Export 里面的Payload 就可以导出原始PS流。1.将抓到的tcp或者udp视频流使用decode as 转为rtp包。

阅读 338

3赞

收藏 0
华为计试——刷题 思路：首先，判断这个 IP 地址和子网掩码格式是否正确，不正确输出 ‘1’，进而结束；子网掩码可以简单看成一串连续的 1 和一串连续的 0 拼接而成的 32 位二进制数，左边部分都是 1，右边部分都是 0。：遍历所有的砝码，记录当前砝码在不同数量下的重量，并与之前的所得到的重量相加并去重；接着，将 s 与现有的 res 集合逐元素相加并去重，得到新的 res 集合，即。，计算不同数量下不同的重量并存储到列表中，即 s =（2）遍历砝码，记当前砝码的重量为。的砝码，以及选择全部的砝码。的砝码，它们可以称出。

阅读 1.3k

20赞

收藏 15
Hive中资源优化方法的详细说明 本文介绍了Hive资源优化的核心方法，主要包括：合理配置YARN集群资源（节点内存、CPU和Container资源）；优化Hive任务并行度（自动计算Map/Reduce任务数量）；精细化管理内存分配（Map/Reduce任务内存、元数据缓存）；启用JVM重用和推测执行提升效率；通过YARN队列管理实现资源隔离；针对数据倾斜场景进行特殊处理。此外还推荐使用监控工具实时分析性能瓶颈，综合运用这些方法可以有效提升Hive查询效率并避免资源浪费。

阅读 1.2k

17赞

收藏 29
vscode中让文件夹一直保持展开不折叠 vscode中让文件夹一直保持展开不折叠

阅读 442

3赞

收藏 0
作者推荐
涛歌依旧
毕业后就职于华为和腾讯
关注
hello-java-maker
为了我们，做最好的自己
关注
喜欢打酱油的老鸟
致力于企业信息化&数字化转型。读万卷书，行万里路，阅无数人。超级吃货，爱吃湖南菜，川菜，粤菜，尝遍天下美食。摄影爱好者，游历全国各地，阅尽人间春色。爱看电影电视剧，尤其是国产商业大片以及好莱坞科幻片！
关注
SophiaCV
微信搜索【计算机视觉联盟】，回复关键字【西瓜书手推笔记】获得Github标星2000+的机器学习笔记PDF版本。我的微信：PursueWin 一起进步学习
关注
李发展
《iOS移动开发从入门到精通》、《神奇的Photoshop脚本自动化与插件开发》、《幻灯之美-PPT设计艺术》图书作者，苹果商店热门应用《互动教程》作者，互动教程网创始人。拥有20多年的IT行业工作和教学经验，曾就职于知名外企，主要负责iOS高级开发、Java开发，服务过中国电信，宾利，古琦，香格里拉，杜蕾斯等行业标杆品牌。拥有丰富的实战和教学经验，授课形式不拘一格。熟悉iOS、Swift、Java、UI设计、Javascript开发等技术。
关注
Java笔记虾
欢迎微信搜索【Java笔记虾】关注我的公众号，号内回复“后端面试”，送你一份精心准备的Java面试题（提纲+解析），后端技术精选每天定时推送优质Java技术博客，可以琐碎时间学点儿东西
关注
小雷FansUnion
懂商业的技术合伙人。个人微信：FansUnion 微信订阅号：XiaoLeiFansUnion。
关注
涂作权的博客
To do what I want to do!
关注
小刘要努力。
未来不担心，过去不后悔，现在不犹豫。
关注
自由程序员
TA很懒，还没有添加简介
关注