日志服务

一、SocketLog

前言

前言：ThinkPHP框架的页面Trace

配置：

'SHOW_PAGE_TRACE'=>1

在页面的右下角能够看到新版的页面Trace的默认显示区域（其中默认会显示当前页面的执行时间）。
trace-click-img
点击该区域，就会弹出详细的页面Trace信息，如图：
base

默认情况下，会包含基本、文件、流程、错误、SQL和调试 几个选项卡，点击不同的选项卡会切换显示不同的页面Trace信息。

  • 文件选项卡会列出当前页面加载的文件信息，并且会列出文件的大小。
    file
  • 流程选项卡是当前页面执行的行为信息记录
  • 错误选项卡是当前页面所有的错误信息记录，为了方便，该示例模拟了一些错误信息。
  • SQL选项卡则显示了当前页面所有执行过的sql语句
    sql
  • 调试选项卡则显示当前页面的调试信息，主要是通过trace方法来进行调试输出的。
    debug

SocketLog简介

Author:ThinkPHP框架核心开发者-罗飞
项目Github url：https://github.com/luofei614/SocketLog

  • SocketLog适合Ajax调试和API调试， 举一个常见的场景，用SocketLog来做微信调试， 我们在做微信API开发的时候，如果API有bug，微信只提示“改公众账号暂时无法提供服务，请稍候再试” ，我们根本不知道API出来什么问题。 有了SocketLog就不一样了， 我们可以知道微信给API传递了哪些参数， 程序有错误我们也能看见错误信息
    socket-api

  • 正在运行的API有bug，不能var_dump进行调试，因为会影响client的调用。 将日志写到文件，查看也不方便，特别是带调用栈或大数据结构的文件日志，查看日志十分困难。 这时候用SocketLog最好，SocketLog通过websocket将调试日志打印到浏览器的console中。你还可以用它来分析开源程序，分析SQL性能，结合taint分析程序漏洞。

使用方法

  • 首先，请在chrome浏览器上安装好插件。 https://chrome.google.com/webstore/detail/socketlog/apkmbfpihjhongonfcgdagliaglghcod
  • 安装服务端npm install -g socketlog-server , 运行命令 socketlog-server 即可启动服务。 将会在本地起一个websocket服务 ，监听端口是1229 。 如果想服务后台运行： socketlog-server > /dev/null & 我们提供公用的服务端，需要去申请client_id : http://111.202.76.133/
  • 如果你的服务器有防火墙，请开启1229和1116两个端口，这两个端口是socketlog要使用的。

  • 在自己的程序中发送日志：

    1
    2
    3
    4
    <?php
    include './php/slog.function.php';
    slog('hello world');
    ?>

  • 用slog函数发送日志， 支持多种日志类型：
    slog(‘msg’,’log’); //一般日志
    slog(‘msg’,’error’); //错误日志
    slog(‘msg’,’info’); //信息日志
    slog(‘msg’,’warn’); //警告日志
    slog(‘msg’,’trace’);// 输入日志同时会打出调用栈
    slog(‘msg’,’alert’);//将日志以alert方式弹出
    slog(‘msg’,’log’,’color:red;font-size:20px;’);//自定义日志的样式，第三个参数为css样式

  • 通过上面例子可以看出， slog函数支持三个参数：
    第一个参数是日志内容，日志内容不光能支持字符串哟，大家如果传递数组,对象等一样可以打印到console中。第二个参数是日志类型，可选，如果没有指定日志类型默认类型为log， 第三个参数是自定样式，在这里写上你自定义css样式即可。

配置

  • 在载入slog.function.php文件后，还可以对SocketLog进行一些配置。

  • 例如：我们如果想将程序的报错信息页输出到console，可以配置

    1
    2
    3
    4
    5
    6
    7
    8
    <?php
    include './php/slog.function.php';
    slog(array(
        'error_handler'=>true
    ),'config');
    echo notice;//制造一个notice报错
    slog('这里是输出的一般日志');
    ?>

  • 配置SocketLog也是用slog函数， 第一个参数传递配置项的数组，第二个参数设置为config

  • 还支持其他配置项

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    <?php
    include './php/slog.function.php';
    slog(array(
        'enable'=>true,//是否打印日志的开关
        'host'=>'localhost',//websocket服务器地址，默认localhost
        'optimize'=>false,//是否显示利于优化的参数，如果运行时间，消耗内存等，默认为false
        'show_included_files'=>false,//是否显示本次程序运行加载了哪些文件，默认为false
        'error_handler'=>false,//是否接管程序错误，将程序错误显示在console中，默认为false
        'force_client_id'=>'',//日志强制记录到配置的client_id,默认为空
        'allow_client_ids'=>array()////限制允许读取日志的client_id，默认为空,表示所有人都可以获得日志。
    ),'config');
    ?>

  • optimize 参数如果设置为true， 可以在日志中看见利于优化参数，如：[运行时间：0.081346035003662s][吞吐率：12.29req/s][内存消耗：346,910.45kb]

  • show_included_files 设置为true，能显示出程序运行时加载了哪些文件，比如我们在分析开源程序时，如果不知道模板文件在那里， 往往看一下加载文件列表就知道模板文件在哪里了。
  • error_handler 设置为true，能接管报错，将错误信息显示到浏览器console， 在开发程序时notice报错能让我们快速发现bug，但是有些notice报错是不可避免的，如果让他们显示在页面中会影响网页的正常布局，那么就设置error_handler,让它显示在浏览器console中吧。 另外此功能结合php taint也是极佳的。 taint能自动检测出xss，sql注入， 如果只用php taint， 它warning报错只告诉了变量输出的地方，并不知道变量在那里赋值、怎么传递。通过SocketLog， 能看到调用栈，轻松对有问题变量进行跟踪。 更多taint的信息：http://www.laruence.com/2012/02/14/2544.html

error_handler 原理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
/**
 * 接管报错
 */
public static function registerErrorHandler()
{
    if(!self::check())
    {
        return ;
    }
    set_error_handler(array(__CLASS__,'error_handler'));
    register_shutdown_function(array(__CLASS__,'fatalError'));
}
public static function fatalError()
{
    // 保存日志记录
    if ($e = error_get_last())
    {
            self::error_handler($e['type'],$e['message'],$e['file'],$e['line']);
            self::sendLog();//此类终止不会调用类的 __destruct 方法，所以此处手动sendLog
    }
}

public static function error_handler($errno, $errstr, $errfile, $errline)
{
    switch($errno){
        case E_WARNING: $severity = 'E_WARNING'; break;
        case E_NOTICE: $severity = 'E_NOTICE'; break;
        case E_USER_ERROR: $severity = 'E_USER_ERROR'; break;
        case E_USER_WARNING: $severity = 'E_USER_WARNING'; break;
        case E_USER_NOTICE: $severity = 'E_USER_NOTICE'; break;
        case E_STRICT: $severity = 'E_STRICT'; break;
        case E_RECOVERABLE_ERROR: $severity = 'E_RECOVERABLE_ERROR'; break;
        case E_DEPRECATED: $severity = 'E_DEPRECATED'; break;
        case E_USER_DEPRECATED: $severity = 'E_USER_DEPRECATED'; break;
        case E_ERROR: $severity = 'E_ERR'; break;
        case E_PARSE: $severity = 'E_PARSE'; break;
        case E_CORE_ERROR: $severity = 'E_CORE_ERROR'; break;
        case E_COMPILE_ERROR: $severity = 'E_COMPILE_ERROR'; break;
        case E_USER_ERROR: $severity = 'E_USER_ERROR'; break;
        default: $severity= 'E_UNKNOWN_ERROR_'.$errno; break;
    }
    $msg="{$severity}: {$errstr} in {$errfile} on line {$errline} -- SocketLog error handler";
    self::trace($msg,2,self::$css['error_handler']);
}

  • 设置client_id: 在chrome浏览器中，可以设置插件的Client_ID ，Client_ID是你任意指定的字符串。
    socketlog-client_id

  • 设置client_id后能实现以下功能：
    1，配置allow_client_ids 配置项，让指定的浏览器才能获得日志，这样就可以把调试代码带上线。 普通用户访问不会触发调试，不会发送日志。 开发人员访问就能看的调试日志， 这样利于找线上bug。 Client_ID 建议设置为姓名拼命加上随机字符串，这样如果有员工离职可以将其对应的client_id从配置项allow_client_ids中移除。 client_id除了姓名拼音，加上随机字符串的目的，以防别人根据你公司员工姓名猜测出client_id,获取线上的调试日志。
    设置allow_client_ids示例代码：

    1
    2
    3
    4
    <?php
    slog(array(
    'allow_client_ids'=>array('luofei_zfH5NbLn','easy_DJq0z80H')
    ),'set_config')

    2, 设置force_client_id配置项，让后台脚本也能输出日志到chrome。 网站有可能用了队列，一些业务逻辑通过后台脚本处理， 如果后台脚本需要调试，你也可以将日志打印到浏览器的console中， 当然后台脚本不和浏览器接触，不知道当前触发程序的是哪个浏览器，所以我们需要强制将日志打印到指定client_id的浏览器上面。 我们在后台脚本中使用SocketLog时设置force_client_id 配置项指定要强制输出浏览器的client_id 即可。
    示例代码:

    1
    2
    3
    4
    5
    6
    <?php
    include './php/slog.function.php';
    slog(array(
        'force_client_id'=>'luofei_zfH5NbLn'
    ),'config');
    slog('test');

对数据库进行调试

SocketLog还能对sql语句进行调试，自动对sql语句进行explain分析，显示出有性能问题的sql语句。
SocketLog-sql
sql语句字体较大，是因为它有性能问题， 在sql语句的后台已经标注Using filesort。 我们还可以点击某个sql语句看到sql执行的调用栈，清楚的知道sql语句是如何被执行的，方便我们分析程序、方便做开源程序的二次开发。
用slog函数打印sql语句是，第二个参数传递为mysql或mysqli的对象即可。 示例代码：

1
2
3
4
5
<?php
$link=mysql_connect( 'localhost:3306' , 'root' , '123456' , true ) ;
mysql_select_db('kuaijianli',$link);
$sql="SELECT * FROM `user`";
slog($sql,$link);

通过上面的方法，socketlog还能自动为你检测没有where语句的sql操作，然后自动提示你。
注意，有时候在数据比较少的情况下，mysql查询不会使用索引，explain也会提示Using filesort等性能问题， 其实这时候并不是真正有性能问题， 你需要自行进行判断，或者增加更多的数据再测试。

对API进行调试

  • 网站调用了API ，如何将API程序的调试信息也打印到浏览器的console中？ 前面我们讲了一个配置 force_client_id， 能将日志强制记录到指定的浏览器。 用这种方式也可以将API的调试信息打印到console中，但是force_client_id 只能指定一个client_id， 如果我们的开发环境是多人共用，这种方式就不方便了。

  • 其实只要将浏览器传递给网站的User-Agent 再传递给API， API程序中不用配置force_client_id， 也能识别当前访问程序的浏览器， 将日志打印到当前访问程序的浏览器， 我们需要将SDK代码稍微做一下修改。 调用API的SDK，一般是用curl写的，增加下面代码可以将浏览器的User-Agent传递到API 。 

1
2
3
4
5
6
7
8
9
10
11
<?php
$headers=array();
if(isset($_SERVER['HTTP_USER_AGENT']))
{
    $headers[]='User-Agent: '.$_SERVER['HTTP_USER_AGENT'];
}
if(isset($_SERVER['HTTP_SOCKETLOG']))
{
    $headers[]='Socketlog: '.$_SERVER['HTTP_SOCKETLOG'];
}
curl_setopt($ch,CURLOPT_HTTPHEADER,$headers);

二、SeasLog

简介

为什么使用SeasLog

log日志，通常是系统或软件、应用的运行记录。通过log的分析，可以方便用户了解系统或软件、应用的运行情况；如果你的应用log足够丰富，也可以分析以往用户的操作行为、类型喜好、地域分布或其他更多信息；如果一个应用的log同时也分了多个级别，那么可以很轻易地分析得到该应用的健康状况，及时发现问题并快速定位、解决问题，补救损失。
php内置error_log、syslog函数功能强大且性能极好，但由于各种缺陷(error_log无错误级别、无固定格式，syslog不分模块、与系统日志混合)，灵活度降低了很多，不能满足应用需求。

好消息是，有不少第三方的log类库弥补了上述缺陷，如log4php、plog、Analog等(当然也有很多应用在项目中自己开发的log类)。其中以log4php最为著名，设计精良、格式完美、文档完善、功能强大。推荐。
不过log4php在性能方面表现非常差,下图是SeasLog与log4php的ab并发性能测试( 测试环境:Ubuntu12.04单机,CPU I3,内存 16G,硬盘 SATA 7200):
SeasLogVSlog4php

那么有没有一种log类库满足以下需求呢：

  • 分模块、分级别
  • 配置简单(最好是勿须配置)
  • 日志格式清晰易读
  • 应用简单、性能很棒

目前提供了什么

  • 在PHP项目中便捷、规范地记录log
  • 可配置的默认log目录与模块
  • 指定log目录与获取当前配置
  • 初步的分析预警框架
  • 高效的日志缓冲、便捷的缓冲debug
  • 遵循 PSR-3 日志接口规范
  • 自动记录错误信息
  • 自动记录异常信息
  • 连接TCP端口发送
  • 连接UDP端口发送

目标是怎样的

  • 便捷、规范的log记录
  • 高效的海量log分析
  • 可配置、多途径的log预警

安装

编译安装 SeasLog

1
2
3
$ /path/to/phpize
$ ./configure --with-php-config=/path/to/php-config
$ make && make install

PECL安装SeasLog

1
$ pecl install seaslog

Windows环境中使用SeasLog

到PECL/SeasLog主页找到对应的dll进行安装 PECL/SeasLog Windows Dll

seaslog.ini的配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
; configuration for php SeasLog module
extension = seaslog.so
seaslog.default_basepath = /log/seaslog-test            ;默认log根目录
seaslog.default_logger = default                        ;默认logger目录
seaslog.disting_type = 1                                ;是否以type分文件 1是 0否(默认)
seaslog.disting_by_hour = 1                             ;是否每小时划分一个文件 1是 0否(默认)
seaslog.use_buffer = 1                                  ;是否启用buffer 1是 0否(默认)
seaslog.buffer_size = 100                               ;buffer中缓冲数量 默认0(不使用buffer_size)
seaslog.level = 0                                       ;记录日志级别 默认0(所有日志)
seaslog.trace_error = 1                                 ;自动记录错误 默认1(开启)
seaslog.trace_exception = 0                             ;自动记录异常信息 默认0(关闭)
seaslog.default_datetime_format = "Y:m:d H:i:s"         ;日期格式配置 默认"Y:m:d H:i:s"
seaslog.appender = 1                                    ;日志存储介质 1File 2TCP 3UDP (默认为1)
seaslog.remote_host = 127.0.0.1                         ;接收ip 默认127.0.0.1 (当使用TCP或UDP时必填)
seaslog.remote_port = 514                               ;接收端口 默认514 (当使用TCP或UDP时必填)
  • seaslog.disting_type = 1 开启以type分文件，即log文件区分info\warn\erro
  • seaslog.disting_by_hour = 1 开启每小时划分一个文件
  • seaslog.use_buffer = 1 开启buffer。默认关闭。当开启此项时，日志预存于内存，当请求结束时(或异常退出时)一次写入文件。
  • seaslog.buffer_size = 100 设置缓冲数量为100. 默认为0,即无缓冲数量限制.当buffer_size大于0时,缓冲量达到该值则写一次文件.
  • seaslog.level = 3 记录的日志级别.默认为0,即所有日志均记录。当level为1时,关注debug以上级别(包括debug)，以此类推。level大于8时，所有日志均不记录。

使用

常量与函数

常量列表

SeasLog 共将日志分成8个级别

  • SEASLOG_DEBUG “debug”
  • SEASLOG_INFO “info”
  • SEASLOG_NOTICE “notice”
  • SEASLOG_WARNING “warning”
  • SEASLOG_ERROR “error”
  • SEASLOG_CRITICAL “critical”
  • SEASLOG_ALERT “alert”
  • SEASLOG_EMERGENCY “emergency”
    1
    2
    3
    4
    5
    6
    var_dump(SEASLOG_DEBUG,SEASLOG_INFO,SEASLOG_NOTICE);
    /*
    string('debug') debug级别
    string('info')  info级别
    string('notice') notice级别
    */

函数列表

SeasLog 提供了这样一组函数，可以方便地获取与设置根目录、模块目录、快速写入与统计log。
相信从下述伪代码的注释中，您可以快速获取函数信息，具体使用将紧接其后：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
<?php
/**
 * @author neeke@php.net
 * Date: 14-1-27 下午4:47
 */
class SeasLog
{
    public function __construct()
    {
        #SeasLog init
    }  
     
    public function __destruct()
    {
        #SeasLog distroy
    }
    
    /**
     * 设置basePath
     *
     * @param $basePath
     *
     * @return bool
     */
    static public function setBasePath($basePath)
    {
        return TRUE;
    }
    
    /**
     * 获取basePath
     *
     * @return string
     */
    static public function getBasePath()
    {
        return 'the base_path';
    }

    /**
     * 设置模块目录
     * @param $module
     *
     * @return bool
     */
    static public function setLogger($module)
    {
        return TRUE;
    }

    /**
     * 获取最后一次设置的模块目录
     * @return string
     */
    static public function getLastLogger()
    {
        return 'the lastLogger';
    }

    /**
     * 设置DatetimeFormat配置
     * @param $format
     *
     * @return bool
     */
    static public function setDatetimeFormat($format)
    {
        return TRUE;
    }

    /**
     * 返回当前DatetimeFormat配置格式
     * @return string
     */
    static public function getDatetimeFormat()
    {
        return 'the datetimeFormat';
    }

    /**
     * 统计所有类型（或单个类型）行数
     * @param string $level
     * @param string $log_path
     * @param null   $key_word
     *
     * @return array | long
     */
    static public function analyzerCount($level = 'all', $log_path = '*', $key_word = NULL)
    {
        return array();
    }

    /**
     * 以数组形式，快速取出某类型log的各行详情
     *
     * @param        $level
     * @param string $log_path
     * @param null   $key_word
     * @param int    $start
     * @param int    $limit
     * @param        $order 默认为正序 SEASLOG_DETAIL_ORDER_ASC，可选倒序 SEASLOG_DETAIL_ORDER_DESC
     *
     * @return array
     */
    static public function analyzerDetail($level = SEASLOG_INFO, $log_path = '*', $key_word = NULL, $start = 1, $limit = 20, $order = SEASLOG_DETAIL_ORDER_ASC)
    {
        return array();
    }

    /**
     * 获得当前日志buffer中的内容
     *
     * @return array
     */
    static public function getBuffer()
    {
        return array();
    }

    /**
     * 将buffer中的日志立刻刷到硬盘
     *
     * @return bool
     */
    static public function flushBuffer()
    {
        return TRUE;
    }

    /**
     * 记录debug日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function debug($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_DEBUG
    }

    /**
     * 记录info日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function info($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_INFO
    }

    /**
     * 记录notice日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function notice($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_NOTICE
    }

    /**
     * 记录warning日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function warning($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_WARNING
    }

    /**
     * 记录error日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function error($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_ERROR
    }

    /**
     * 记录critical日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function critical($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_CRITICAL
    }

    /**
     * 记录alert日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function alert($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_ALERT
    }

    /**
     * 记录emergency日志
     *
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function emergency($message, array $content = array(), $module = '')
    {
        #$level = SEASLOG_EMERGENCY
    }

    /**
     * 通用日志方法
     * @param        $level
     * @param        $message
     * @param array  $content
     * @param string $module
     */
    static public function log($level, $message, array $content = array(), $module = '')
    {

    }
}

SeasLog Logger的使用

获取与设置basePath

1
2
3
4
5
6
7
8
9
10
11
$basePath_1 = SeasLog::getBasePath();

SeasLog::setBasePath('/log/base_test');
$basePath_2 = SeasLog::getBasePath();

var_dump($basePath_1,$basePath_2);

/*
string(19) "/log/seaslog-ciogao"
string(14) "/log/base_test"
*/

直接使用 SeasLog::getBasePath()，将获取php.ini(seaslog.ini)中设置的 seaslog.default_basepath 的值。

使用 SeasLog::setBasePath() 函数，将改变 SeasLog::getBasePath() 的取值。

设置logger与获取lastLogger

1
2
3
4
5
6
7
8
9
10
$lastLogger_1 = SeasLog::getLastLogger();

SeasLog::setLogger('testModule/app1');
$lastLogger_2 = SeasLog::getLastLogger();

var_dump($lastLogger_1,$lastLogger_2);
/*
string(7) "default"
string(15) "testModule/app1"
*/

与basePath相类似的，

直接使用 SeasLog::getLastLogger()，将获取php.ini(seaslog.ini)中设置的 seaslog.default_logger 的值。

使用 SeasLog::setLogger() 函数，将改变 SeasLog::getLastLogger() 的取值。

快速写入log

上面已经设置过了basePath与logger，于是log记录的目录已经产生了，

log记录目录 = basePath / logger / {fileName}.log
log文件名，以 年月日 分文件，如今天是2014年02月18日期，那么 {fileName} = 20140218;

还记得 php.ini 中设置的 seaslog.disting_type 吗？

默认的 seaslog.disting_type = 0，如果今天我使用了 SeasLog ，那么将产生最终的log文件：

  • LogFile = basePath / logger / 20140218.log

如果 seaslog.disting_type = 1，则最终的log文件将是这样的三个文件

  • infoLogFile = basePath / logger / INFO.20140218.log

  • warnLogFile = basePath / logger / WARN.20140218.log

  • erroLogFile = basePath / logger / ERRO.20140218.log

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

SeasLog::log(SEASLOG_ERROR,'this is a error test by ::log');

SeasLog::debug('this is a {userName} debug',array('{userName}' => 'neeke'));

SeasLog::info('this is a info log');

SeasLog::notice('this is a notice log');

SeasLog::warning('your {website} was down,please {action} it ASAP!',array('{website}' => 'github.com','{action}' => 'rboot'));

SeasLog::error('a error log');

SeasLog::critical('some thing was critical');

SeasLog::alert('yes this is a {messageName}',array('{messageName}' => 'alertMSG'));

SeasLog::emergency('Just now, the house next door was completely burnt out! {note}',array('{note}' => 'it`s a joke'));

/*
这些函数同时也接受第3个参数为logger的设置项
注意，当last_logger == 'default'时等同于:
SeasLog::setLogger('test/new/path');
SeasLog::error('test error 3');
如果已经在前文使用过SeasLog::setLogger()函数，第3个参数的log只在此处临时使用，不影响下文。
*/

log格式统一为： {type} | {pid} | {timeStamp} |{dateTime} | {logInfo}

1
2
3
4
5
6
7
8
error | 23625 | 1406422432.786 | 2014:07:27 08:53:52 | this is a error test by log
debug | 23625 | 1406422432.786 | 2014:07:27 08:53:52 | this is a neeke debug
info | 23625 | 1406422432.787 | 2014:07:27 08:53:52 | this is a info log
notice | 23625 | 1406422432.787 | 2014:07:27 08:53:52 | this is a notice log
warning | 23625 | 1406422432.787 | 2014:07:27 08:53:52 | your github.com was down,please rboot it ASAP!
error | 23625 | 1406422432.787 | 2014:07:27 08:53:52 | a error log
critical | 23625 | 1406422432.787 | 2014:07:27 08:53:52 | some thing was critical
emergency | 23625 | 1406422432.787 | 2014:07:27 08:53:52 | Just now, the house next door was completely burnt out! it is a joke

当seaslog.appender配置为 2（TCP） 或 3（UDP） 时，日志将推送至remote_host:remote_port的TCP或UDP端口

此时log格式统一为 {hostName} | {loggerName} | {type} | {pid} | {timeStamp} |{dateTime} | {logInfo}

1
2
3
4
5
6
7
8
9
vagrant-ubuntu-trusty | test/logger | error | 21423 | 1466787583.321 | 2016:06:25 00:59:43 | this is a error test by ::log 
vagrant-ubuntu-trusty | test/logger | debug | 21423 | 1466787583.322 | 2016:06:25 00:59:43 | this is a neeke debug 
vagrant-ubuntu-trusty | test/logger | info | 21423 | 1466787583.323 | 2016:06:25 00:59:43 | this is a info log 
vagrant-ubuntu-trusty | test/logger | notice | 21423 | 1466787583.324 | 2016:06:25 00:59:43 | this is a notice log 
vagrant-ubuntu-trusty | test/logger | warning | 21423 | 1466787583.325 | 2016:06:25 00:59:43 | your github.com was down,please rboot it ASAP! 
vagrant-ubuntu-trusty | test/logger | error | 21423 | 1466787583.326 | 2016:06:25 00:59:43 | a error log 
vagrant-ubuntu-trusty | test/logger | critical | 21423 | 1466787583.327 | 2016:06:25 00:59:43 | some thing was critical 
vagrant-ubuntu-trusty | test/logger | alert | 21423 | 1466787583.328 | 2016:06:25 00:59:43 | yes this is a alertMSG 
vagrant-ubuntu-trusty | test/logger | emergency | 21423 | 1466787583.329 | 2016:06:25 00:59:43 | Just now, the house next door was completely burnt out! it`s a joke

SeasLog Analyzer的使用

快速统计某类型log的count值

SeasLog在扩展中使用管道调用shell命令 grep -wc快速地取得count值，并返回值(array || int)给PHP。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$countResult_1 = SeasLog::analyzerCount();
$countResult_2 = SeasLog::analyzerCount(SEASLOG_WARNING);
$countResult_3 = SeasLog::analyzerCount(SEASLOG_ERROR,date('Ymd',time()));
var_dump($countResult_1,$countResult_2,$countResult_3);
/*
array(8) {
  ["debug"]=>
  int(3)
  ["info"]=>
  int(3)
  ["notice"]=>
  int(3)
  ["warning"]=>
  int(3)
  ["error"]=>
  int(6)
  ["critical"]=>
  int(3)
  ["alert"]=>
  int(3)
  ["emergency"]=>
  int(3)
}
int(7)
int(1)
*/

获取某类型log列表

SeasLog在扩展中使用管道调用shell命令 grep -w快速地取得列表，并返回array给PHP。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
$detailErrorArray_inAll   = SeasLog::analyzerDetail(SEASLOG_ERROR);
$detailErrorArray_today   = SeasLog::analyzerDetail(SEASLOG_ERROR,date('Ymd',time()));
var_dump($detailErrorArray_inAll,$detailErrorArray_today);
/*
SeasLog::analyzerDetail(SEASLOG_ERROR) == SeasLog::analyzerDetail(SEASLOG_ERROR,'*');
取当前模块下所有level为 SEASLOG_ERROR 的信息列表:
array(6) {
 [0] =>
  string(66) "error | 8568 | 1393172042.717 | 2014:02:24 00:14:02 | test error 3 "
  [1] =>
  string(66) "error | 8594 | 1393172044.104 | 2014:02:24 00:14:04 | test error 3 "
  [2] =>
  string(66) "error | 8620 | 1393172044.862 | 2014:02:24 00:14:04 | test error 3 "
  [3] =>
  string(66) "error | 8646 | 1393172045.989 | 2014:02:24 00:14:05 | test error 3 "
  [4] =>
  string(66) "error | 8672 | 1393172047.882 | 2014:02:24 00:14:07 | test error 3 "
  [5] =>
  string(66) "error | 8698 | 1393172048.736 | 2014:02:24 00:14:08 | test error 3 "
}
SeasLog::analyzerDetail(SEASLOG_ERROR,date('Ymd',time()));
只取得当前模块下，当前一天内,level为SEASLOG_ERROR 的信息列表:
array(2) {
  [0] =>
  string(66) "error | 8568 | 1393172042.717 | 2014:02:24 00:14:02 | test error 3 "
  [1] =>
  string(66) "error | 8594 | 1393172044.104 | 2014:02:24 00:14:04 | test error 3 "
}
同理，取当月
$detailErrorArray_mouth = SeasLog::analyzerDetail(SEASLOG_ERROR,date('Ym',time()));
*/

使用SeasLog进行健康预警

预警的配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
[base]
wait_analyz_log_path = /log/base_test

[fork]
;是否开启多线程 1开启 0关闭
fork_open = 1

;线程个数
fork_count = 3

[warning]
email[smtp_host] = smtp.163.com
email[smtp_port] = 25
email[subject_pre] = 预警邮件 -
email[smtp_user] = seaslogdemo@163.com
email[smtp_pwd] = seaslog#demo
email[mail_from] = seaslogdemo@163.com
email[mail_to] = gaochitao@weiboyi.com
email[mail_cc] = ciogao@gmail.com
email[mail_bcc] =

[analyz]
; enum
; SEASLOG_DEBUG      "debug"
; SEASLOG_INFO       "info"
; SEASLOG_NOTICE     "notice"
; SEASLOG_WARNING    "warning"
; SEASLOG_ERROR      "error"
; SEASLOG_CRITICAL   "critical"
; SEASLOG_ALERT      "alert"
; SEASLOG_EMERGENCY  "emergency"

test1[module] = test/bb
test1[level] = SEASLOG_ERROR
test1[bar] = 1
test1[mail_to] = gaochitao@weiboyi.com

test2[module] = 222
test2[level] = SEASLOG_WARNING

test3[module] = 333
test3[level] = SEASLOG_CRITICAL

test4[module] = 444
test4[level] = SEASLOG_EMERGENCY

test5[module] = 555
test5[level] = SEASLOG_DEBUG

crontab配置

1
2
;每天凌晨3点执行
0 3 * * * /path/to/php /path/to/SeasLog/Analyzer/SeasLogAnalyzer.php

扩展

默认SeasLog会将日志记录到文件，但是现在大多数应用都是集群，可能会出现某几台机器出现问题记录到了日志，但是查询的时候偏偏没从这几台查询，这样就会把问题漏掉，但是有解决方案，比如将日志存储的硬盘挂载到多个服务器上面或者直接使用阿里云的日志服务。如果需要将日志记录到更多存储介质，可以用rsyslog或ELK（Elasticsearch + Logstash + Kibana）搭建接口服务器，然后用TCP或UDP发送过去。

三、Monolog

Monolog是PHP的一个日志类库。相比于其他的日志类库，它有以下的特点：

  • 功能强大。可以把日志发送到文件、socket、邮箱、数据库和各种web services。
  • 遵循PSR3的接口规范。可以很轻易的替换成其他遵循同一规范的日志类库。
  • 良好的扩展性。通过Handler、Formatter和Processor这几个接口，可以对Monolog类库进行各种扩展和自定义。

框架集成

基本用法

安装最新版本：
composer require monolog/monolog
要求PHP版本为5.3以上。

1
2
3
4
5
6
7
8
9
10
11
12
<?php

use Monolog\Logger;
use Monolog\Handler\StreamHandler;

// 创建日志频道
$log = new Logger('name');
$log->pushHandler(new StreamHandler('path/to/your.log', Logger::WARNING));

// 添加日志记录
$log->addWarning('Foo');
$log->addError('Bar');

Monolog图解

Monolog

核心概念

  • 每一个Logger实例都包含一个频道名(channel)和handler的堆栈。当你添加一条记录时，记录会依次通过handler堆栈的处理。而每个handler也可以决定是否把记录传递到下一个堆栈里的下一个handler。

  • 通过handler，我们可以实现一些复杂的日志操作。例如我们把StreamHandler放在堆栈的最下面，那么所有的日志记录最终都会写到硬盘文件里。同时我们把MailHandler放在堆栈的最上面，通过设置日志等级把错误日志通过邮件发送出去。Handler里有个$bubble属性，这个属性定义了handler是否拦截记录不让它流到下一个handler。所以如果我们把MailHandler的$bubble参数设置为false，则出现错误日志时，日志会通过MailHandler发送出去，而不会经过StreamHandler写到硬盘上。

  • Logger可以创建多个，每个都可以定义自己的频道名和handler堆栈。handler可以在多个Logger中共享。频道名会反映在日志里，方便我们查看和过滤日志记录。

  • 如果没有指定日志格式（Formatter），Handler会使用默认的Formatter。
  • 日志的等级不能自定义，目前使用的是RFC 5424里定义的8个等级：debug、info、notice、warning、error、critical、alert和emergency。如果对日志记录有其他的需求，可以通过Processo对日志记录添加内容。

日志等级

  • DEBUG (100): 详细的debug信息。
  • INFO (200): 关键事件,例如：用户登录和SQL记录。
  • NOTICE (250): 一般性重要的事件。
  • WARNING (300): 出现非错误的异常,例如：使用了被弃用的API、错误地使用了API或者非预想的不必要错误。
  • ERROR (400): 运行时错误,不需要立刻处理,但必须记录下来以备检测。
  • CRITICA (500): 严重错误,例如：程序组件不可用或者出现非预期的异常。
  • ALERT (550): 必须立刻采取行动,例如：在整个网站都垮掉了、数据库不可用了或者其他的情况下， 应该 发送一条警报短信把你叫醒。。
  • EMERGENCY (600): 系统不可用。

用法详解

多个handler

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php

use Monolog\Logger;
use Monolog\Handler\StreamHandler;
use Monolog\Handler\FirePHPHandler;

// 创建Logger实例
$logger = new Logger('my_logger');
// 添加handler
$logger->pushHandler(new StreamHandler(__DIR__.'/my_app.log', Logger::DEBUG));
$logger->pushHandler(new FirePHPHandler());

// 开始使用
$logger->addInfo('My logger is now ready');

  • 第一步我们先创建一个Logger实例，传入的是频道名，这个频道名可以用于区分多个Logger实例。

  • 实例本身并不知道如何处理日志记录，它是通过handler进行处理的。handler可以设置多个，例如上面的例子设置了两个handler，可以对日志记录进行两种不同方式的处理。

  • 需要注意的是，由于handler是采用堆栈的方式保存，所以后面添加的handler位于栈顶，会首先被调用。

添加额外的数据

Monolog有两种方式对日志添加额外的信息。

使用上下文

第一个方法是使用$context参数，传入一个数组：

1
2
3
<?php

$logger->addInfo('Adding a new user', array('username' => 'Seldaek'));

使用processor

第二个方法是使用processor。processor可以是任何可调用的方法，这些方法把日志记录作为参数，然后经过处理修改extra部分后返回。

1
2
3
4
5
6
7
<?php

$logger->pushProcessor(function ($record) {
    $record['extra']['dummy'] = 'Hello world!';

    return $record;
});

Processor不一定要绑定在Logger实例上，也可以绑定到某个具体的handler上。使用handler实例的pushProcessor方法进行绑定。

频道的使用

使用频道名可以对日志进行分类，这在大型的应用上是很有用的。通过频道名，可以很容易的对日志记录进行刷选。

例如我们想在同一个日志文件里记录不同模块的日志，我们可以把相同的handler绑定到不同的Logger实例上，这些实例使用不同的频道名：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<?php

use Monolog\Logger;
use Monolog\Handler\StreamHandler;
use Monolog\Handler\FirePHPHandler;

// 创建handler
$stream = new StreamHandler(__DIR__.'/my_app.log', Logger::DEBUG);
$firephp = new FirePHPHandler();

// 创建应用的主要logger
$logger = new Logger('my_logger');
$logger->pushHandler($stream);
$logger->pushHandler($firephp);

// 通过不同的频道名创建一个用于安全相关的logger
$securityLogger = new Logger('security');
$securityLogger->pushHandler($stream);
$securityLogger->pushHandler($firephp);

Handler

Monolog内置很多很实用的handler，它们几乎囊括了各种的使用场景，这里介绍一些使用的：

  • StreamHandler：把记录写进PHP流，主要用于日志文件。
  • SyslogHandler：把记录写进syslog。
  • ErrorLogHandler：把记录写进PHP错误日志。
  • NativeMailerHandler：使用PHP的mail()函数发送日志记录。
  • SocketHandler：通过socket写日志。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<?php

use Monolog\Logger;
use Monolog\Handler\SocketHandler;

// Create the logger
$logger = new Logger('my_logger');

// Create the handler
$handler = new SocketHandler('unix:///var/log/httpd_app_log.socket');
$handler->setPersistent(true);

// Now add the handler
$logger->pushHandler($handler, Logger::DEBUG);

// You can now use your logger
$logger->addInfo('My logger is now ready');
  • AmqpHandler：把记录写进兼容amqp协议的服务。
  • BrowserConsoleHandler：把日志记录写到浏览器的控制台。由于是使用浏览器的console对象，需要看浏览器是否支持。
  • RedisHandler：把记录写进Redis。
  • MongoDBHandler：把记录写进Mongo。
  • ElasticSearchHandler：把记录写到ElasticSearch服务。
  • BufferHandler：允许我们把日志记录缓存起来一次性进行处理。
    更多的Handler请看 https://github.com/Seldaek/monolog#handlers。

使用MongoDBHandler

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php 
require __DIR__.'/vendor/autoload.php';

use Monolog\Logger;
use Monolog\Handler\MongoDBHandler;

// Create the logger                                                                             
$logger = new Logger('channel');

// Now add some handlers
$mongo = new MongoClient();
$database = 'test';//相当于数据库
$collection = 'cron_log';//相当于一张表
$logger->pushHandler(new MongoDBHandler($mongo, $database, $collection));

// You can now use your logger
$log_info = array();
$log_info['run_time'] = 11;
$log_info['msg'] = 'success';
$logger->addError('Adding a new user', array('username' => 'Seldaek'));

扩展handler

Monolog内置了很多handler，但是并不是所有场景都能覆盖到，有时需要自己去定制handler。写一个handler并不难，只需要实现Monolog\Handler\HandlerInterface这个接口即可。
下面这个例子实现了把日志记录写到数据库里。我们不需要把接口里的方法全部实现一次，可以直接使用Monolog提供的抽象类AbstractProcessingHandler进行继承，实现里面的write方法即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
<?php
use Monolog\Logger;
use Monolog\Handler\AbstractProcessingHandler;
class PDOHandler extends AbstractProcessingHandler
{
    private $initialized = false;
    private $pdo;
    private $statement;
    
    public function __construct(PDO $pdo, $level = Logger::DEBUG, $bubble = true)
    {
        $this->pdo = $pdo;
        parent::__construct($level, $bubble);
    }
    
    protected function write(array $record)
    {
        if (!$this->initialized) {
            $this->initialize();
        }
        $this->statement->execute(array(
            'channel' => $record['channel'],
            'level' => $record['level'],
            'message' => $record['formatted'],
            'time' => $record['datetime']->format('U'),
        ));
    }
    
    private function initialize()
    {
        $this->pdo->exec(
            'CREATE TABLE IF NOT EXISTS monolog '
            .'(channel VARCHAR(255), level INTEGER, message LONGTEXT, time INTEGER UNSIGNED)'
        );
        $this->statement = $this->pdo->prepare(
            'INSERT INTO monolog (channel, level, message, time) VALUES (:channel, :level, :message, :time)'
        );
    }
}

然后我们就可以使用它了：

1
2
3
4
5
6
<?php

$logger->pushHandler(new PDOHandler(new PDO('sqlite:logs.sqlite'));

// You can now use your logger
$logger->addInfo('My logger is now ready');

Formatter

同样的，这里介绍几个自带的Formatter：

  • LineFormatter：把日志记录格式化成一行字符串。
  • HtmlFormatter：把日志记录格式化成HTML表格，主要用于邮件。
  • JsonFormatter：把日志记录编码成JSON格式。
  • LogstashFormatter：把日志记录格式化成logstash的事件JSON格式。
  • ElasticaFormatter：把日志记录格式化成ElasticSearch使用的数据格式。
    更多的Formatter请看 https://github.com/Seldaek/monolog#formatters。

Processor

前面说过，Processor可以为日志记录添加额外的信息，Monolog也提供了一些很实用的processor：

  • IntrospectionProcessor：增加当前脚本的文件名和类名等信息。
  • WebProcessor：增加当前请求的URI、请求方法和访问IP等信息。
  • MemoryUsageProcessor：增加当前内存使用情况信息。
  • MemoryPeakUsageProcessor：增加内存使用高峰时的信息。
    更多的Processor请看 https://github.com/Seldaek/monolog#processors。

扩展

  • 可以将SocketLog对于错误的处理应用到Monolog
  • 尝试使用Monolog的ChromePHPHandler和FirePHPHandler完成SocketLog的功能

其他日志服务

  • FaceBook的Scribe
  • 链家网日志系统架构-Kafka
    lianjia-log
  • 阿里云日志服务
    aliyun-log-service

总结

  • SocketLog适合Ajax调试和API调试
  • Monolog适合将日志记录到多种存储介质的日志服务

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

陈晨，<br/>PHP开发工程师，<br/>现就职于百度。