hstk30

每当你想要批评别人时，你要记住，这个世界上所有的人，并不是个个都有过你拥有的那些优越条件。

Callee-saved register meet Thread switch

Callee-saved registers and Thread switch Caller-saved registers Callee-saved registers Caller-saved registers : 保存这些寄存器的责任在调用者，也就是说被调用者（callee）可以任意修改。 因此，又名 volatile registers （对于调用者而言，这些寄存器...

Posted by hstk30 on December 31, 2023

Tensorflow2pytorch Exp

从tensorflow 转pytorch 的一些经验之谈 ChatGPT的回答 现在 ChatGPT 已经成为一种 基准 了，所以先问下它。 这是说如何让代码跑起来，语法上正确。 这是说如何让代码的达到一致的效果，类似与语意上正确。 我的想法 代码上正确是一定要保证的，但是深度学习的东西吧，不好说。 可能代码有微小的差别，也能跑起来，有时候效果还比原来好了，这都是说不准的。

Posted by hstk30 on May 10, 2023

torch 中的 CrossEntropyLoss 和 NLLLoss

torch 中的 CrossEntropyLoss 和 NLLLoss CrossEntropyLoss == NLLLoss + LogSoftmax == NLLLoss + Log + Softmax >>> import torch >>> from torch import nn >>> x = torch.randn(3,...

Posted by hstk30 on April 25, 2023

LLM LoRA 调参学习

LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS 学习 两种主流的高效调参策略 模型太大 Fine Tuning 调不动 adding adapter layers，就是加入额外的辅助层，LoRA 属于这种 optimizing some forms of the input layer activations，就是优...

Posted by hstk30 on April 20, 2023

Shell 问题记录

shell 问题记录 You can’t connect the dots looking forward; you can only connect them looking backwards. So you have to trust that the dots will somehow connect in your future. You have to trust in...

Posted by hstk30 on December 5, 2022

Unicode 中遇到的一些问题和一些必知必会

Unicode 一些知识和遇到的错误 bytes.decode -> str 将存在文件里的二进制byte 解码 为我们能看的文本 str.encode -> bytes 将我们能看的文本 编码 为存在文件中的二进制byte utf-8 与字节顺序无关。 大概有1.1M 码点（code point），也就是说大概21位就可以表示所有的码点， Unicode 编码的字符一般...

Posted by hstk30 on August 28, 2022

会话式重写中遇到的问题

nlp 会话式断句拼接中遇到的问题 后面的消息用来纠正前面的错别字、词。 case 1: - 一个星期了，快递怎么一直听在 - 停 case 2: - 还会伤心 - 上新 case 3: - 能用揪心 - 就行 单句的查看消息，除了case 1，就算是人也不能看出是否正确。 结合上下文，则是需要使用下文的字、词来替换当前消息相应位置上的字、词。 不过，现在的研究方向好像都是...

Posted by hstk30 on August 8, 2022

中文拼写纠错

中文拼写纠错 数据的收集 字形，需要有个常用字的字形字典 字音，需要有个常用字的字音字典，包括多音字 常用错词的语义，根据训练好的词向量计算相似度得到语义相似的错词 键盘键位 常用知识，实体识别一些专有名词 数据构造 2023.3.29更新： 在大概两年的深度学习的工作经历中，其实我的大部分工作就是处理数据： 想办法构造数据 想办法清洗已有数据 ...

Posted by hstk30 on August 8, 2022

英文缩写

English Abbreviations and Acronyms 搞了份twitter 上的语料做了下实验，太多的缩写了记录一下 谁说英文的nlp 比中文简单啊🤡 BTW: by the way SMFH: shaking my fucking head. disappointment SMH: shakeing my head. disappointment, di...

Posted by hstk30 on June 14, 2022

PracticalVim 笔记

Practical Vim note core Act, Repeat, Reverse Dot Formula: One Keystroke to Move, One Keystroke to Execute Combo line/word action: {action} {move}.{move}.{move}. line search action: f...

Posted by hstk30 on May 19, 2022

FEATURED TAGS
Python 深度学习 随笔 读书笔记 编程问题记录
ABOUT ME

看书，写代码，听音乐，打篮球，看海贼，吃饭和睡觉