python2和python3共存使用

virtualenvwrapper-win管理环境

python 写入Excel参考

pycharm 相关

python读取本地session

python html表格样式参考

fastapi记录

Python

python Excel处理特殊字符写入多个sheet

Django页面爬虫登录

python实现VLOOKUP功能

python sso爬虫登陆且并发获取数据

python递归查询深层嵌套的json

排障

容器CPU飙升的排查

思考

运维方法论

网络

spring boot网关的流量流向

口罩结束后，本以为经济开始好转，结果每况愈下，各种裁员降薪，不由得再次思考运维的价值

运维的价值

利用jsonpath获取deployment元信息，细节部分通过awk完善

kubectl获取deployment的request.cpu

整理了kube-proxy常见的模式，主要是记录数据在iptables的流向

k8s kube-proxy的模式

跨主机pod通过CNI插件通信，纯ip的实现，不涉及dns服务发现

k8s pod间的网络实现

k8s故障排查

本文记录了使用deployment部署ldap服务+管理页面，集成到Jenkins的关键点，以及ldap部署后的几个注意事项

devops

openldap的搭建和集成使用

以Jenkins k8s插件的实现为例，展现pipeline语法和其他细节

Jenkins scripted pipeline使用sshagent和参数

Jenkins pipeline实验

很多文章对kubernetes插件里面的信息一笔带过，本文稍微深入“研究”了一下，特别是凭据部分

Jenkins pod插件相关

Jenkins pod的存储和网络

k8s模式的Jenkins slave pod怎么实现CICD？本文记录了一些细节，包括scripted pipeline语法，pipeline样本

Jenkins slave pod的pipeline实现

介绍了pam口令复杂度和重复检查的配置

系统

安全

centos7 pam密码策略

ansible find和fetch结合，查找、拉取匹配的文件

ansible

ansible find的paths & patterns

chatgpt可以是你的学习工具，比如用来学习terraform。先要一个配置模板，根据模板一步步追问

公有云

通过chatgpt学习terraform

这篇文章介绍了使用notion和next.js建立网站的一些要点，包括角色理解、动态更新和CDN配置。文章提到，为了使用notion和next.js，需要将它们与vercel集成，以便在vercel上部署网站。此外，文章还提供了一些关于动态更新和CDN配置的建议。

建站

Notion建站的补充点

本文介绍在Ubuntu 20.04上安装k8s with containerd1.6.6的步骤。需要注意的是，Ubuntu 20.04自带的containerd存在bug，因此需要使用官网的二进制安装。同时，安装过程中还需要修改containerd的配置文件和安装cni插件等。具体步骤详见文中。

Ubuntu 20.04安装k8s with containerd 1.6.6

本文介绍了使用阿里云terraform的记录，包括安装terraform、配置阿里云鉴权AK、调试demo的main.tf等内容。同时，还提到了一些需要注意的问题，如国内网络对terraform不友好、阿里云的Cloud Shell存活时间只有1小时等。

阿里云terraform记录

scripts

shell判断ssl证书过期时间

date获取GMT时间差

中间件

nginx跨域

本文介绍了Prometheus Operator的作用和好处。Prometheus Operator通过CRD定义好Schema，使得API对象能够被api-server校验，降低了配置异常的风险；Prometheus Operator借助k8s实现了Prometheus as a Service，让用户能够自助式地创建Prometheus服务或Alertmanager服务；ServiceMonitor和PrometheusRule对象解决了Prometheus配置难维护的问题，让用户只需要关心监控需求，而不需要关心需求的实现方。此外，这些API对象能够复用k8s的生态，提供了友好的Prometheus管理接口，对于平台化是很重要的。

监控

Prometheus Operator的理解

这篇文章介绍了如何使用awk实现可变参数的正则匹配，以及如何在b.txt的第二个字段中匹配a.txt并输出匹配结果。同时，还提供了一种简单的取反方法。

awk正则匹配参数

状态不是Published，故不会被显示

未发布文章，作为菜单和文章的隔断

Google搜索“derp自建”，排名靠前的一般都是docker镜像部署，不过官网 是通过go直接二进制部署。derp服务首选是域名模式，ip模式未尝试。

自建derp中继遇到的坑

未发布文章，作为新旧菜单隔断

友情链接

往期整理

其他建站方案

首页

文章分类

文章标签

历史归档

go exporter模板

go mod记录

git常用

Git HTTPS密码登录的问题

这篇文章介绍了如何使用awk实现类SQL的join功能。通过构造数组，按照数组匹配实现join，同时输出不匹配的结果。具体实现可以参考代码示例。

awk实现类SQL的join功能

本文介绍了如何使用awk根据第一列的相同值取第二列的最大值和最小值。通过定义数组和比较操作实现了这个功能。

awk根据key列相同值取value列最大最小值

本文介绍了如何使用awk实现类似VLOOKUP的功能，即在一个大文件中查找另一个小文件中的字符串，并输出匹配的行。作者使用了a.txt和b.txt两个文件作为示例，实测在64G内存的服务器上，处理3000W+行log日志只需要1分钟左右，而传统的for循环则需要4个小时左右。

awk实现类VLOOKUP的功能（取交集）

这篇草稿文章介绍了如何使用logstash和阿里云的logservice插件采集docker容器中的日志，并将其投递到阿里云的es集群中。文章详细介绍了安装插件、生成镜像、修改投递配置和优化阿里云sls索引的步骤。

阿里sls采集logstash处理过的日志

本文介绍了使用Prometheus pushgateway采集shell脚本获取的指标的方法。通过获取动态指标、创建监控指标模板文件、awk格式化和重定向到指定文本，最终将指标推送到pushgateway中。这种方法可以动态监控多个服务的多个指标，同时也可以实现秒级精细监控。

Prometheus pushgateway采集shell脚本获取的指标

本文介绍了处理kafka的broker不均衡和leader不均衡的方法。通过重新选举leader来解决leader不均衡问题，而broker不均衡则需要将topic均衡到新的节点。此外，还提到了提交到topic时的公式和consumer group订阅过多的topic可能导致读写瓶颈的问题。

kafka的broker不均衡和leader不均衡处理

本文介绍了在钉钉告警中使用${content}变量替换一行文字时可能出现的JSON解析异常问题，并提供了两种解决办法：1.使用\n替换换行符；2.使用Unicode编码替换空格。

curl钉钉告警${content}文本含空格/换行的问题

本文介绍了在k8s环境下排查jvm内存泄漏的方法。首先通过排查系统的oom-killer原因和pod内存不断上涨的原因来缓解oom，然后介绍了寻找“隐藏的”jvm内存泄漏点的方法，最后提到了其他可能的排查方向。

k8s的jvm内存泄露排查

可用链接/example-3访问，不会在菜单栏显示

隐藏单页

单页不会显示在博客列表，会在导航添加一个菜单。

友链

文字

关于我

本文介绍了nginx的try_files和alias指令的验证过程。其中，try_files指令的使用需要注意浏览器的行为和nginx内部行为，建议在生产环境中使用绝对路径。另外，建议和前端约定每个项目index静态文件都带路由，以避免出现问题。

nginx的try_files验证

本文介绍了如何在nginx中获取XFF的第一个IP和真正的realip，以及如何将set_real_ip与阿里云CDN和WAF配合使用。此外，还介绍了如何在nginx日志中添加来自CDN或WAF的realip字段。

nginx 获取 XFF 的第一个 ip 和 “真正的” realip 

搜索

password

icon

date

type

slug

status

title

summary

编辑视图

表格

类型为Notice的文章将被显示为公告，仅 hexo和next支持；仅限一个公告