个人技术随想

星期天Pluma

想在本地玩大模型但服务器光有CPU没有高端显卡?

No No No,为什么不试试最新最潮(也不算)的LLaMA.cpp,只要有一定内存,和支持AVX512指令集的英特尔服务器CPU,尽管推理速度慢了一些,但只需要64G以上普通内存,依然可以试玩大模型。

打开教程一看,又得自己编译,又要配环境,还要量化模型……

觉得复杂?一切没有想象中困难!

阅读全文 »

还在为帮导师纯体力打工而烦恼吗?还在为统计论文分区而浪费时间吗?面对数以千计的论文记录和期刊列表,还在寻找浏览器扩展一条条搜索分区信息吗?

计算机的学生要有计算机学生解决问题的方式。说得好,我们要来点替代体力劳动的东西。

阅读全文 »

或许家家都有本难念的经,而在我的电脑上常常有些奇怪的问题或需求。为了这样的内容单独写一篇文章真的很逊,但如果不找个地方记下来又怕哪日再寻找时完全忘记了。

不如在这里将这些奇怪的内容整理在一个页面中,方便快速搜索查找。

阅读全文 »

基于方面的情感分析(Aspect Based Sentiment Analysis, ABSA)是一种细粒度的情感分析任务,即,对于给定的一段文本,识别出该文本针对文中指定的某一方面的情感极性。

本文将介绍如何在本机上部署并使用预训练的DeBERTa V3模型对文本中的某一特定方面进行情感分析,从而实现观点挖掘相关的工作。当然,由于本人没有涉足过NLP的具体研究,可能很多表述并不严谨,敬请批评指正。

阅读全文 »

前言

因为一些缘故,接触了一下对空间地理数据的分析工作。忙完以后,想了想决定写下这篇文章,方便日后如有需要,可以快速查阅,也供后人参考。

背景条件

在我的分析过程中,需要使用PostgreSQL,但我之前用MySQL/MariaDB比较多,稍微花了一点点时间适应。怕下次忘了,干脆写出来。

本文还假设你已经具备了最基本的SQL,尤其是MySQL知识。有了这些基础知识,我们的适应就会非常迅速。

阅读全文 »

前言

因为一些缘故,接触了一下对空间地理数据的分析工作。忙完以后,想了想决定写下这篇文章,方便日后如有需要,可以快速查阅,也供后人参考。

背景条件

我们主要是针对给定的空间地理数据(如GeoJson,Shapefile)进行一些数据提取和分析,获得我们想要的分析结果。本文不讨论这些数据如何收集,抑或是如何编制,我们只讨论分析方面的内容,并且也不会涉及非常深,因为本文重点更在于,快速介绍对地理数据进行分析的大致方法,而具体的分析思路、分析流程,是各位灵感发挥的重要地方。

本文会涉及到对PostgreSQL数据库的使用,建议未接触过PostgreSQL的读者自行查阅相关的基础资料。不过,假如对基本的SQL,特别是MySQL/MariaDB有基本的了解,甚至是一定的使用经验,可以参考本文的前序文章在MySQL基础上速通PostgreSQL

阅读全文 »

前言

想必各位对ASP.NET Core容器化部署,特别是微软非常喜欢强调的 微服务(Micro-Service) 概念有一定的兴趣。

这一过程需要使用到ASP.NET Core, Docker, Nginx三个组件,要让它们相互良好地配合起来,还是需要精心编写一下配置文件的。

然而,当真的开始着手实操的时候,假如阅读微软文档给出的一些文章或者链接,例如:

或许对于幼儿园的小朋友来说,这些文章可能显得比较幼稚。但对我这种饭来张口衣来伸手的大学生来说,这些文章只能说刚刚好。把文章拼起来就是需要的答案,可惜在尝试的过程中会显得有些不适。所以不妨总结一下,如何将一个ASP.NET Core Web应用部署到Docker中,然后用Nginx做反向代理进行访问。

阅读全文 »

前言

叔叔我啊,最讨厌不能赚钱的东西了。

今年不知道哪个版本号更新后,Windows应用商店里的B站客户端下载的视频即便设置导出为MP4文件,也无法直接用通用的视频播放器播放,这实在是有失体统。偌大一个公司开发的软件,怎么能“写错”这么基本的功能呢?

问题分析

MP4文件头为三个00字节,这是公开的标准。我们将从B站上随意下载的一个视频放到十六进制编辑器中,可以看到

1
2
3
4
5
6
7
Hex View  00 01 02 03 04 05 06 07  08 09 0A 0B 0C 0D 0E 0F

00000000 FF FF FF 00 00 00 20 66 74 79 70 69 73 6F 6D 00 ...... ftypisom.
00000010 00 02 00 69 73 6F 6D 69 73 6F 32 61 76 63 31 6D ...isomiso2avc1m
00000020 70 34 31 00 00 00 08 66 72 65 65 04 2B B2 37 6D p41....free.+.7m
00000030 64 61 74 00 00 00 5C 06 05 58 B3 E1 63 30 8C 3C dat...\..X..c0.<
00000040 9E 4F C2 39 81 09 7E AA A5 2E 20 42 49 4C 49 41 .O.9..~... BILIA

后面都是很正常的MP4文件内容,唯独在文件前端,多出了三个FF字节,这就是导致下载的视频文件无法被通用视频播放器播放的原因。我想肯定是程序员不小心写出来的bug啦,才不是叔叔想要赚钱呢!

解决方法

那么接下来,我们就帮粗心的程序员修复一下下载的文件,让它们能被正常播放吧!

如果电脑上有Linux环境(WSL也可以),那就是再方便不过的事情啦。只需要执行如下命令:

1
tail -c +4 YourLoveYourLife.mp4 > LemonRipe.mp4

其中,tail读取文件内容并输出到标准输出中。-c +NUM参数,代表从NUM位字节开始读取文件内容,如上面的-c +4表示从第4个字节开始读取文件(跳过前3个FF字节),YourLoveYourLife.mp4是你使用Windows哔哩哔哩客户端下载的视频文件路径,LemonRipe.mp4是最终你生成的可以用第三方播放器播放的视频文件路径。使用>进行输出重定向。

前言

前几天在咸鱼上买到了一块龙芯的电脑主板,CPU型号是龙芯(Loongson) 3A3000,芯片组似乎是780E。回来装系统的时候遇到了不少麻烦,这里记录一下,如果能帮到后来者,那自然是最好不过。

系统选择

实际上,我仍然推荐有条件的用户,使用龙芯官方适配的操作系统Loongnix,因为这是龙芯优化过的系统。

只不过,因为mips64el架构上的Loongnix是基于Fedora发行版的,且版本古老。我个人习惯的环境是Debian,只有LoongArch上的Loongnix才是基于Debian制作的。况且,Loongnix默认带一个GUI,连服务器版都带,我不是很喜欢先装后卸,因此我还是希望安装一个相对干净的Debian系统上去。

阅读全文 »
0%