IT懒猫 - 技术成就梦想

catroom

catroom

学习给人智慧，对真理而言，信服比流言更危险。

Elasticsearch脑裂问题分析

elasticsearch脑裂现象 elasticsearch脑裂现象直白的表述就是一个大的es集群分裂成了多个小的集群。比如有 a b c d 四个es节点，a b c d 之间选取一个master，比如master是a。若某时刻 c d 访问不到a ，b能访问到a。c d之间会重新选举一个master。这样整个a b c d的es集群就会分裂为a b 和 b c 两个集群。正常情况下，当主...

博客 2023-11-05 231 标签: elasticsearch

windows上的双系统分区设置

通过DiskPart对固态硬盘进行双系统分区 1、同时按Windows + R，输入diskpart并按回车键。 2、依次输入以下命令，在每个命令后面按回车。 list disk select disk X（X是目标硬盘） create partition extended（或create partition extended size=102400，即创建一个100GB大小的Exten...

操作系统 2023-10-22 374 标签: win10系统 操作系统 windows

OpenAI中 Whisper模型进行语音识别使用

语音识别是人工智能中的一个领域，它允许计算机理解人类语音并将其转换为文本。wav2vec2、Conformer 和 Hubert 等最先进模型的最新发展极大地推动了语音识别领域的发展。这些模型采用无需人工标记数据即可从原始音频中学习的技术，从而使它们能够有效地使用未标记语音的大型数据集。 Whisper 模型介绍使用数据集： Whisper模型是在68万小时标记音频数据的数据集上训练的，其中包括...

博客 2023-10-22 271 标签: 算法

Java多线程 ThreadPoolExecutor示例

Java提供了ThreadPoolExecutor类，它是一种高度优化的多线程执行器，可以管理线程池、执行线程任务和控制线程池的大小和生命周期等 ThreadPoolExecutor类的参数 corePoolSize：核心线程池大小，即线程池中始终存在的线程数量，除非设置了allowCoreThreadTimeOut参数，默认情况下，即使空闲，核心线程也不会被回收。 maximumPoolSiz...

脚本代码 2023-10-22 282 标签: java

华为Mate60，全球第一款卫星通话的手机

2023年8月29日上午，华为终端突然通过微博发布了华为 Mate 60 Pro 于当日12:08开售的消息。华为终端在微博上表示，“今天，华为Mate系列手机累计发货达到了一亿台，感谢每一位消费者的支持与热爱！为此，我们推出了“HUAWEI Mate 60 Pro先锋计划”，今日12:08 正式上线，让部分消费者提前体验史上最强大的Mate手机！” 华为Mate 60 Pro的配置信息 M...

博客 2023-10-19 300 标签: 手机相关

在Windows、Linux、Mac上如何查看Wi-Fi密码

Wi-Fi密码经常忘记如何在PC端查看密码呢，可以参考下面的方法 windows平台快捷键 win+R 进入cmd命令窗口，输入下面的命令 netsh wlan show profiles name=wifi名称 key=clear 关键内容即wifi密码 ..... 安全设置 ----------------- 身份验证 : WPA2 - 个人密码 ...

博客 2023-09-23 445 标签: 操作系统

Apache hudi COW表和 MOR表

Hudi表分为Copy on Write和Merge on Read两种类型，Copy on Write（简称COW）或Merge on Read（简称MOR），Merge on Read是对Copy on Write的优化，主要是写入性能优化。对于COW表，每次更新都会生成一个新的文件，里面包括了更新的数据以及属于同一个文件但没有被更新的老数据。所以这个文件比较大，写入也会比较慢。为了加快写...

博客 2023-09-22 366 标签: 大数据 hadoop

Apache Hudi 原理解析二-- hudi upsert过程

Hudi的Upsert的过程整体分为3步（这里省略了很多不太重要的步骤）： 1、根据partitionPath进行重新分区。 2、根据recordKey确定哪些记录需要插入，哪些记录需要更新。对于需要更新的记录，还需要找到旧的记录所在的文件。（这个过程被称为tagging） 3、把记录写入实际的文件。重新分区无论DataFrame在写入前是如何分区的，Hudi都会对它们进行重新...

博客 2023-09-22 343 标签: 大数据 hadoop

Apache Hudi 原理解析一

Hudi，正式的全称是Hadoop Upsert Delete and Incremental，从源代码里可以看到这个项目最初的名字是hoodie，和现在的名字发音相同。但这个名字还是透露了一些信息的，那就是Hudi项目最初的设计目标：在hadoop上实现update和delete操作。Hudi经常被拿来跟Delta，Iceberg一起，并称为“数据湖三剑客”。众所众知的是，无论是HDFS还是云...

博客 2023-09-21 301 标签: 大数据 hadoop

文本向量化方法汇总--NLP文本向量化处理方法

NLP文本向量化，即用向量或矩阵的形式表示文本，也可以理解为对文本的数值化处理。文本向量化从数学角度可以解释为映射，即将单词映射到另一个空间，f : A -> B，生成一个在新空间上的表达。常用的向量化方法：One-Hot独热编码、词集模型/词袋模型、TF-IDF（词频-逆文本频率）、N-gram 一、One-Hot独热编码原理：将每个单词与唯一的一个整数索引相关联，然后将这个整数索引 ...

博客 2023-09-05 462 标签: 算法

user_photo default icons

catroom

学习给人智慧，对真理而言，信服比流言更危险。

热门文章

最新文章