在GO项目中使用Uber-zap日志框架

Tech

现在需要把一个日志框架加入到新的项目中，对比了一下GO语言里的几个日志框架，最后发现zap是个不错的选择。
https://github.com/uber-go/zap
官网也把zap和其他框架做了一些对比，看起挺不错。

不过在集成到Cobra里的过程中遇到了一点点小坑，记录一下。

utils/zap_logger.go
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
package utils

import (
	"os"
	"sync"

	"github.com/natefinch/lumberjack"
	"github.com/spf13/viper"

	"go.uber.org/zap"
	"go.uber.org/zap/zapcore"
)

var sugarLogger *zap.SugaredLogger

func getEncoder() zapcore.Encoder {
	encoderConfig := zap.NewProductionEncoderConfig()
	// The format time can be customized
	encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
	encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
	return zapcore.NewConsoleEncoder(encoderConfig)
}

// Save file log cut
func getLogWriter() zapcore.WriteSyncer {
	lumberJackLogger := &lumberjack.Logger{
		Filename:   "./nuke.log", // Log name
		MaxSize:    10,           // File content size, MB
		MaxBackups: 5,            // Maximum number of old files retained
		MaxAge:     30,           // Maximum number of days to keep old files
		Compress:   false,        // Is the file compressed
	}
	return zapcore.AddSync(lumberJackLogger)
}

func InitLog() *zap.SugaredLogger {
	var allCore []zapcore.Core
	writeSyncer := getLogWriter()
	encoder := getEncoder()

	consoleDebugging := zapcore.Lock(os.Stdout)
	// for human operators.
	consoleEncoder := zapcore.NewConsoleEncoder(zap.NewDevelopmentEncoderConfig())

	log_level := viper.GetString("log")

	if log_level == zapcore.DebugLevel.String() {
		allCore = append(allCore, zapcore.NewCore(consoleEncoder, consoleDebugging, zapcore.DebugLevel))
		allCore = append(allCore, zapcore.NewCore(encoder, writeSyncer, zapcore.DebugLevel))
	} else {
		allCore = append(allCore, zapcore.NewCore(consoleEncoder, consoleDebugging, zapcore.InfoLevel))
		allCore = append(allCore, zapcore.NewCore(encoder, writeSyncer, zapcore.InfoLevel))
	}

	core := zapcore.NewTee(allCore...)
	// Print function lines
	logger := zap.New(core).WithOptions(zap.AddCaller())
	return logger.Sugar()
}

var once sync.Once

func SugaredLogger() *zap.SugaredLogger {
	once.Do(func() {
		sugarLogger = InitLog()
	})
	return sugarLogger
}

代码中使用了单例，尝试过使用init(), preRun和postRun,发现都无法正常读取viper里的值，很明显是因为初始化先后顺序的问题。
不太确定最佳的解决方案是啥，但是这里弄一个单例，看似是最保险的。

初始后，在core里放了两个对象，可以同时输出到控制台和文件中，文件加了循环。

在别的文件用的时候

1
2
3
utils.SugaredLogger().Infof("info log")
utils.SugaredLogger().Debugf("debug format log")
utils.SugaredLogger().Debug("debug log")

Python判断一个函数是否被一个装饰器修饰

Tech

今天正在做新项目的框架，比如下面的gen_task方法是一个很耗时的方法，这样的方法在系统里有很多，于是就写了一个装饰器nuke_long_task用于处理长请求事务，用它去处理一些常规通用的业务，比如记录和更新状态等。

1
2
3
4
5
6
7
@nuke_long_task()
def gen_task(data):
    print("  start -- " + threading.current_thread().name)
    time.sleep(15)
    print("  finish -- " + threading.current_thread().name)
    return "%s finish" % (threading.current_thread().name)

装饰器：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
def nuke_long_task():
    def out_wrapper(func):
        @wraps(func)
        def wrapper(*args, **kwargs):

            transaction_id = uuid.uuid4().hex
            # start a new transaction
            update_transaction(transaction_id, TASK_RUNNING)
            try:
                result = func(*args, **kwargs)
                update_transaction(transaction_id, TASK_DONE)
            except Exception as exc:
                traceback.print_exc()
                update_transaction(transaction_id, TASK_FAILED, error_msg=str(exc))
                result = {"error": str(exc)}, 500
                return result

            return result

        # flag, make sure this decorator has been added for long task function.
        wrapper.nuke_long_task_func = True # 关键代码

        return wrapper

    return out_wrapper

遇到的问题是，当想把这个业务提交到线程池之前，想去判断一下这个方法gen_task有没有被正确加上这个装饰器nuke_long_task，找了一圈，没有发现好办法，从gen_task的函数中直接找到与nuke_long_task的相关性，于是换了个思路，在装饰器里给加了一行“wrapper.nuke_long_task_func = True”，就可以解决这个问题了。

提交任务：

1
submit_jobs(gen_task, "datas", get_result)

检查方法:

1
2
3
4
5
6
7
def submit_jobs(task_func, task_func_args, callback_func=None):
    if hasattr(task_func, 'nuke_long_task_func'):#关键代码
         future = executor.submit(task_func, task_func_args) 
    else:
        raise Exception("need to add @nuke_long_task() for task_func")
    if callback_func is not None:
        future.add_done_callback(callback_func)

以上

linux下根据IP反查MAC

Tech

今天遇到一个问题，给一个VM上配置了两个IP，同时配置到了同一个网卡上，结果一个IP通，一个IP不通。
排查半天，最后发现可以在另外一个VM上利用arp命令，查出来两个配置的IP，发现IP对应的MAC不一样，说明其中一个IP的MAC地址是不对的。
这种情况一般是由于IP地址引起，更换一下IP就好了。
同时根据MAC的前几位可以查询一下设备生产厂家，这样大致能猜出来占用IP的是什么类型的设备。

1
2
3
4
[root@skeet-deploy ~]# arp -n
Address                  HWtype  HWaddress           Flags Mask            Iface
10.99.52.82              ether   fa:16:3e:9a:42:d9   C                     eth0
10.99.52.84              ether   fa:16:3e:ef:c2:03   C                     eth0

McAfee会误认为GoLang多线程程序是病毒

Tech

这几天在学习GoLang, 今天遇到一个有趣的现象，写了下面这段关于多线程routine的代码，一执行就会被McAfee认为是病毒。
程序被kill掉，甚至连VS code都被关掉，并且桌面上的VS code图标都被删掉了，有意思。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
package main

import (
	"fmt"
	"time"
)

func main() {
	go c()
	fmt.Println("I am main")
	time.Sleep(time.Second * 2)
}
func c() {
	time.Sleep(time.Second * 2)
	fmt.Println("I am concurrent")
}

//=> I am main
//=> I am concurrent

McAfee-log

预览FontAwesome

Tech

现在在用的HEXO主题里，有一个标题旁边的图片写错了，导致显示是个方块，挺丑，想从现在的字体里选一个，却不知道怎么弄出来全部的。
发现有个网站，https://icomoon.io/app/#/select
选择导入图标，然后选择SVG文件。
选择一个图标，点下面的产生字体，就能在下一页看到这个图标的16进制编码了。

新一轮学习开始了

share

新的产品release，经过两个多月的努力已经正式的发布了，突然感觉又要闲下来了。
过去的一段时间还是挺充实的，干的不少的活，下一步计划还没有完全确定下来，不过，现在可以准备学习一个Go Lang了。

活在当下

share

思考过去，过去全是悔恨；
思考未来，未来全是焦虑。
只有当下的时刻，才是生命的展开。
过去的快乐被回忆，害怕将来不再拥有，徒增焦虑；
过去的不快乐被回忆，悔恨又增加几分。
担心未来的快乐会变成泡影，快乐变焦虑；
惦记未来的不快乐是徒劳无功，更加焦虑。

人生不会有永恒的快乐，只有快乐和不快乐，
活在当下，活在现在的这一刻，
忘掉所有的不快乐，平淡才是真的快乐。

github push失败，删除git历史中的大文件

Tech

转移repo的时候，直接push会报错文件大小受到限制，但是这个文件只存在于commit history, 并不在实际文件中。解决步骤如下。

  1. 使用如下的命令找出history的大文件.

https://stackoverflow.com/questions/10622179/how-to-find-identify-large-commits-in-git-history

1
2
3
4
5
6
git rev-list --objects --all |
  git cat-file --batch-check='%(objecttype) %(objectname) %(objectsize) %(rest)' |
  sed -n 's/^blob //p' |
  sort --numeric-sort --key=2 |
  cut -c 1-12,41- |
  $(command -v gnumfmt || echo numfmt) --field=2 --to=iec-i --suffix=B --padding=7 --round=nearest
  1. 使用bfg -D <文件名＞, 直接删除。

https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/removing-sensitive-data-from-a-repository

  1. 清理缓存。
1
git reflog expire --expire-now --all && git gc --prune-now --aggressive
  1. 强制推上Github。
1
git push -f

Powered by Hexo and Hexo-theme-hiker

Copyright © 2013 - 2024 Tiaobug All Rights Reserved.

本站总访问量    次