参考视频: http://www.mayikt.com/front/couinfo/193/0

0 运行效果

使用jenkins自动build运行效果

1 Docker 安装

使用脚本自动安装

在测试或开发环境中 Docker 官方为了简化安装流程，提供了一套便捷的安装脚本，CentOS 系统上可以使用这套脚本安装：

1
2

$ curl -fsSL get.docker.com -o get-docker.sh
$ sudo sh get-docker.sh --mirror Aliyun

执行这个命令后，脚本就会自动的将一切准备工作做好，并且把 Docker CE 的 Edge 版本安装在系统中。

启动 Docker CE

1
2

$ sudo systemctl enable docker
$ sudo systemctl start docker

建立 docker 用户组

默认情况下，docker 命令会使用 Unix socket 与 Docker 引擎通讯。而只有 root 用户和 docker 组的用户才可以访问 Docker 引擎的 Unix socket。出于安全考虑，一般 Linux 系统上不会直接使用 root 用户。因此，更好地做法是将需要使用 docker 的用户加入 docker 用户组。

建立 docker 组：

1

$ sudo groupadd docker

将当前用户加入 docker 组：

1

$ sudo usermod -aG docker $USER

退出当前终端并重新登录，进行如下测试。

测试 Docker 是否安装正确

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

$ docker run hello-world

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
d1725b59e92d: Pull complete
Digest: sha256:0add3ace90ecb4adbf7777e9aacf18357296e799f81cabc9fde470971e499788
Status: Downloaded newer image for hello-world:latest

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (amd64)
 3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

若能正常输出以上信息，则说明安装成功。

CentOS 安装 Docker CE

警告：切勿在没有配置 Docker YUM 源的情况下直接使用 yum 命令安装 Docker.

准备工作

系统要求

Docker CE 支持 64 位版本 CentOS 7，并且要求内核版本不低于 3.10。 CentOS 7 满足最低内核的要求，但由于内核版本比较低，部分功能（如 overlay2 存储层驱动）无法使用，并且部分功能可能不太稳定。

卸载旧版本

旧版本的 Docker 称为 docker 或者 docker-engine，使用以下命令卸载旧版本：

1
2
3
4
5
6
7
8
9
10

$ sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine

使用 yum 安装

执行以下命令安装依赖包：

1
2
3

$ sudo yum install -y yum-utils \
           device-mapper-persistent-data \
           lvm2

鉴于国内网络问题，强烈建议使用国内源，官方源请在注释中查看。

执行下面的命令添加 yum 软件源：

1
2
3
4
5
6
7
8
9

$ sudo yum-config-manager \
    --add-repo \
    https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo


# 官方源
# $ sudo yum-config-manager \
#     --add-repo \
#     https://download.docker.com/linux/centos/docker-ce.repo

如果需要测试版本的 Docker CE 请使用以下命令：

1

$ sudo yum-config-manager --enable docker-ce-test

如果需要每日构建版本的 Docker CE 请使用以下命令：

1

$ sudo yum-config-manager --enable docker-ce-nightly

安装 Docker CE

更新 yum 软件源缓存，并安装 docker-ce。

1
2

$ sudo yum makecache fast
$ sudo yum install docker-ce

使用脚本自动安装

在测试或开发环境中 Docker 官方为了简化安装流程，提供了一套便捷的安装脚本，CentOS 系统上可以使用这套脚本安装：

1
2

$ curl -fsSL get.docker.com -o get-docker.sh
$ sudo sh get-docker.sh --mirror Aliyun

执行这个命令后，脚本就会自动的将一切准备工作做好，并且把 Docker CE 的 Edge 版本安装在系统中。

视频地址 https://subscription.packtpub.com/video/cloud_and_networking/9781838827946

Docker网络入门

原文地址: https://yq.aliyun.com/articles/72501

• 1、LIMIT 语句
• 2、隐式转换
• 3、关联更新、删除
• 4、混合排序
• 5、EXISTS语句
• 6、条件下推
• 7、提前缩小范围
• 8、中间结果集下推
• 总结

sql语句的执行顺序：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

FROM 
<left_table>

ON 
<join_condition>

<join_type>
 JOIN 
<right_table>

WHERE 
<where_condition>

GROUP BY 
<group_by_list>

HAVING 
<having_condition>

SELECT

DISTINCT 
<select_list>

ORDER BY 
<order_by_condition>

LIMIT 
<limit_number>

1、LIMIT 语句

分页查询是最常用的场景之一，但也通常也是最容易出问题的地方。比如对于下面简单的语句，一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。

1
2
3
4
5
6

SELECT * 
FROM   operation 
WHERE  type = 'SQLStats' 
       AND name = 'SlowLog' 
ORDER  BY create_time 
LIMIT  1000, 10; 

好吧，可能90%以上的 DBA 解决该问题就到此为止。但当 LIMIT 子句变成 “LIMIT 1000000,10” 时，程序员仍然会抱怨：我只取10条记录为什么还是慢？

要知道数据库也并不知道第1000000条记录从什么地方开始，即使有索引也需要从头计算一次。出现这种性能问题，多数情形下是程序员偷懒了。

在前端数据浏览翻页，或者大数据分批导出等场景下，是可以将上一页的最大值当成参数作为查询条件的。SQL 重新设计如下：

1
2
3
4
5
6

SELECT   * 
FROM     operation 
WHERE    type = 'SQLStats' 
AND      name = 'SlowLog' 
AND      create_time > '2017-03-16 14:00:00' 
ORDER BY create_time limit 10;

在新设计下查询时间基本固定，不会随着数据量的增长而发生变化。

2、隐式转换

SQL语句中查询变量和字段定义类型不匹配是另一个常见的错误。比如下面的语句：

1
2
3
4
5
6

mysql> explain extended SELECT * 
     > FROM   my_balance b 
     > WHERE  b.bpn = 14000000123 
     >       AND b.isverified IS NULL ;
mysql> show warnings;
| Warning | 1739 | Cannot use ref access on index 'bpn' due to type or collation conversion on field 'bpn'

其中字段 bpn 的定义为 varchar(20)，MySQL 的策略是将字符串转换为数字之后再比较。函数作用于表字段，索引失效。

上述情况可能是应用程序框架自动填入的参数，而不是程序员的原意。现在应用框架很多很繁杂，使用方便的同时也小心它可能给自己挖坑。

3、关联更新、删除

虽然 MySQL5.6 引入了物化特性，但需要特别注意它目前仅仅针对查询语句的优化。对于更新或删除需要手工重写成 JOIN。

比如下面 UPDATE 语句，MySQL 实际执行的是循环/嵌套子查询（DEPENDENT SUBQUERY)，其执行时间可想而知。

1
2
3
4
5
6
7
8
9
10
11

UPDATE operation o 
SET    status = 'applying' 
WHERE  o.id IN (SELECT id 
                FROM   (SELECT o.id, 
                               o.status 
                        FROM   operation o 
                        WHERE  o.group = 123 
                               AND o.status NOT IN ( 'done' ) 
                        ORDER  BY o.parent, 
                                  o.id 
                        LIMIT  1) t); 

执行计划：

1
2
3
4
5
6
7

+----+--------------------+-------+-------+---------------+---------+---------+-------+------+-----------------------------------------------------+
| id | select_type        | table | type  | possible_keys | key     | key_len | ref   | rows | Extra                                               |
+----+--------------------+-------+-------+---------------+---------+---------+-------+------+-----------------------------------------------------+
| 1  | PRIMARY            | o     | index |               | PRIMARY | 8       |       | 24   | Using where; Using temporary                        |
| 2  | DEPENDENT SUBQUERY |       |       |               |         |         |       |      | Impossible WHERE noticed after reading const tables |
| 3  | DERIVED            | o     | ref   | idx_2,idx_5   | idx_5   | 8       | const | 1    | Using where; Using filesort                         |
+----+--------------------+-------+-------+---------------+---------+---------+-------+------+-----------------------------------------------------+

重写为 JOIN 之后，子查询的选择模式从 DEPENDENT SUBQUERY 变成 DERIVED，执行速度大大加快，从7秒降低到2毫秒。

视频地址: https://www.bilibili.com/video/av33345933/?p=1

01 宏观篇

02 下意识对英语学习的重要帮助

视频地址: https://www.bilibili.com/video/av41654978

《单核工作法》-升级版的时间管理方法

本期目标
防止走神 提升专注 善用手机 增强自律

一、恶性反馈循环：揭露走神的生理原因

我们学习时容易走神，搞小动作，但请别太自责，这不是你一个人的问题，本书指出这是生理本能的锅。

1.让人无奈的本能：多巴胺会鼓励你走神

当我们完成走神行为时，大脑就会获得一份多巴胺奖励。然后进入走神→爽→走神→爽→走神……的恶性反馈循环，这使走神成为一件上瘾的事。
所以每当你学习时，就蠢蠢欲动，总想再做点什么来消遣一下，作者倡导“单核”的原因就在于此。
小妙招：

⑴ 手边管理法：把你的学习区域划分成 高危区 中危区 低危区 三个区域依次远离你的“手边”

①高危区只能存放当前任务必要的用品
②中危区是你站起来才能触达的区域，存放当前不太需要的用品
③低危区是离你最远的区域，需要走很多步才能拿到的(手机 电脑等高诱惑物品要放在这个区域)
④“手边管理”的本质：提高屈服诱惑的成本。
(手机放在手边肯定动不动就看一眼，但是如果把手机放在离你10米远的地方充电，就可以大大降低你玩它的频率

⑵ 化“被动推送”为“主动收取”

为了避免诱惑，我们可以将“被动推送”的逻辑转换成“主动收取”，关掉所以的手机推送消息，掌握主动权，你自己决定什么时候去查看app消息，而不是接受被动轰炸

二、“时间错觉”：你总觉得当下是最忙的

研究显示 人们对时间的判断都存在一种错觉，给事情安排时间的时候，总觉得当下很忙没空做，未来很闲有空做，实际上这是一种是误区，未来也许会更忙，只是因为未来还没有来到，让你误以为未来的时间多的是，这也是造成拖延的心理因素之一
当我们遇到重要的事情时候，总会想着以后有时间再做，结果往往是未来也没有空做，拖延拖到死。
启示：对于重要的事现在就做不要等，否则你就做好事情“泡汤”的准备吧

三、学习时要不要听音乐

①对于学习和工作这种“认知活动”来讲，可能安静环境是最佳选择
②不具备安静环境时，听音乐确实可以帮你起到隔绝喧嚣，提高专注力
③音乐的类型很重要：
不会调动情绪的熟悉的纯音乐更好
安静的比聒噪的好 熟悉的比陌生的好 没歌词的比有歌词的好
▲up主建议⊂(˃̶͈̀㉨ ˂̶͈́ ⊂ )))≡=─
①音乐能提高你的效率吗？
↓
↓﹉﹉﹉﹉﹉﹉﹉﹉↓
不能 能
↓ ↓
不听 ②音乐消失，效率会不会随之消失
↓
↓﹉﹉﹉﹉﹉﹉﹉↓
会 不会
↓ ↓
不听 听

四、服务生效应：害人匪浅的的生理本能

1. 什么是服务生效应？

人类对于”还没完成的任务”记得特别清楚，催促你去完成它

2. 如何妙用”服务生效应”缓解拖延?

学习留两个步骤

3. 如何规避”服务生效应”的消极作用？

可以先记下来，放一边

总结

最近在公司做了几张报表，还记得刚开始要做报表的时候都快把SQL给忘光了（当时在广州休假了1个月多，在实习期间也没咋写过SQL），回到公司的第一个需求就是做报表。

于是我很不要脸地跟带我的学长说：“SQL我好像忘光了，group 分组查询好像都忘得差不多了，我得复习一下”。

这篇文章来记录一下我曾经忘掉的group查询、join查询等一些比较实用/常用的SQL

• 本文主打通俗易懂，不涵盖任何优化(适合新手观看)

一、回顾group 查询

group查询就是分组查询，为什么要分组查询？因为我们想按某个维度进行统计。下面来看个图：

比如说，我想知道：每天Java3y这个公众号的点击量是多少。按我们人工而言，思路很简单：把相同的天数以及公众号名称为Java3y的数据找出来，再将每个点击量相加，就得出了结果了。

用上SQL我们可能会这样写：

1
2
3

select name,time,sum(pv) as pv  
from xxx_table 
where name = 'Java3y' group by name,time

1.1 group 查询可能存在的误解

记得有一天，有个群友在群上问了一个问题：

其实他的需求很简单：检索出数据分组后时间最高的记录。但他是这样干的：

1. 把先按照时间 order by
2. 对order by后的记录进行分组

示例图：

1.2 造成这个误解的可能原因

有的工具可以支持这种的写法：

1

select * from xxx_table group by name

这种写法没有被禁止，并可以得出结果，比如得到的结果是：

1
2

Java4y    20  7月15号
Java3y    30  7月15号

这种写法其实是不合理的，要知道的是：使用group by分组统计之后，我们的select 后面只能跟着group by 的字段，或者是聚合函数。

因为，我们对数据进行了分组查询，数据的分布情况，我们是不关心的。

记住：先分组，后统计(先把数据归类后，再对相同的数据进行统计)

1.3 group查询最常用的SQL

去重是我们经常会遇到的问题，打个比方说，由于各种原因（不管是业务上还是说是脏数据），现在我有两条重复的数据（除了ID，其余的字段都是相同的）：

原文地址: https://mp.weixin.qq.com/s/YrTU-ZRYo7h2MN0GC6HdSQ

1、背景

说起应用分层，大部分人都会认为这个不是很简单嘛 就controller，service, mapper三层。看起来简单，很多人其实并没有把他们职责划分开，在很多代码中,controller做的逻辑比service还多,service往往当成透传了，这其实是很多人开发代码都没有注意到的地方，反正功能也能用，至于放哪无所谓呗。这样往往造成后面代码无法复用，层级关系混乱，对后续代码的维护非常麻烦。

的确在这些人眼中分层只是一个形式，前辈们的代码这么写的，其他项目代码这么写的，那么我也这么跟着写。但是在真正的团队开发中每个人的习惯都不同，写出来的代码必然带着自己的标签，有的人习惯controller写大量的业务逻辑，有的人习惯在service中之间调用远程服务，这样就导致了每个人的开发代码风格完全不同，后续其他人修改的时候，一看，我靠这个人写的代码和我平常的习惯完全不同，修改的时候到底是按着自己以前的习惯改，还是跟着前辈们走，这又是个艰难的选择，选择一旦有偏差，你的后辈又维护你的代码的时候，恐怕就要骂人了。

所以一个好的应用分层需要具备以下几点:

• 方便后续代码进行维护扩展；
• 分层的效果需要让整个团队都接受；
• 各个层职责边界清晰。

2、如何进行分层

2.1、阿里规范

在阿里的编码规范中约束的分层如下:

开放接口层：可直接封装 Service 方法暴露成 RPC 接口;通过 Web 封装成 http 接口;进行 网关安全控制、流量控制等。

终端显示层：各个端的模板渲染并执行显示的层。当前主要是 velocity 渲染，JS 渲染， JSP 渲染，移动端展示等。

Web 层：主要是对访问控制进行转发，各类基本参数校验，或者不复用的业务简单处理等。

Service 层：相对具体的业务逻辑服务层。

Manager 层：通用业务处理层，它有如下特征:1. 对第三方平台封装的层，预处理返回结果及转化异常信息;2. 对Service层通用能力的下沉，如缓存方案、中间件通用处理;3. 与DAO层交互，对多个DAO的组合复用。

DAO 层：数据访问层，与底层 MySQL、Oracle、Hbase 进行数据交互。

阿里巴巴规约中的分层比较清晰简单明了，但是描述得还是过于简单了，以及service层和manager层有很多同学还是有点分不清楚之间的关系，就导致了很多项目中根本没有Manager层的存在。下面介绍一下具体业务中应该如何实现分层。

2.2、优化分层

从我们的业务开发中总结了一个较为的理想模型,这里要先说明一下由于我们的rpc框架选用的是thrift可能会比其他的一些rpc框架例如dubbo会多出一层,作用和controller层类似

最上层controller和TService是我们阿里分层规范里面的第一层：轻业务逻辑，参数校验，异常兜底。通常这种接口可以轻易更换接口类型，所以业务逻辑必须要轻，甚至不做具体逻辑。

原文地址: https://mp.weixin.qq.com/s/A7SFmijk4_NZEG1HMkizhA

先别惊呼不可能，听我细细道来。

先看截图1：

注意右下角区域，红框部分。这块内存是什么呢？非堆！那么，左边是代码缓存区内存，右边红框就是字符串池，常量，基本类型数据的内存区。然后呢？已经满了。什么原因呢？

e.printStackTrace()！

满了的后果呢？整个web服务，访问之后，没响应了，就当是卡死掉了。

再来看截图2：

看看有多少web的请求线程，被卡住在打印这一步！原因呢？要打印字符串输出到控制台上，那你字符串常量池所在的内存块要有空间啊。然而，因为e.printStackTrace() 语句要产生的字符串记录的是堆栈信息，太长太多，内存被填满了！注意 上面代码语句：4208行！

来看图3：

没毛病，没没事儿找事儿冤枉谁。就是这句代码惹的祸！当然，我承认，被 try 住的代码本身就有问题，导致很多调用都会抛异常。

那么，让我们再来理理整个事件产生的经过：

• 短时间内大量请求访问此接口
• 代码本身有问题，很多情况下抛异常
• e.printStackTrace() 来打印异常到控制台
• 产生错误堆栈字符串到字符串池内存空间
• 此内存空间一下子被占满了
• 开始在此内存空间产出字符串的线程还没完全生产完整，就没空间了
• 大量线程产出字符串产出到一半，等在这儿（等有内存了继续搞啊）
• 相互等待，等内存，锁死了，整个应用挂掉了。

总结

总结当然重要，有3点：

1.代码质量啊亲，代码不抛异常咱不就能愉快的继续浪么？

2.不要使用 e.printStackTrace()啊，这玩意儿，在项目发布后，除过不断的刷控制台，并没用什么卵用啊，您到是用log对象输出到日志文件里面啊。

3.推及开来，在java中，会产生大量字符串的方法，使用时，一定得悠着点，别一不小心撑到肚子（字符串池所属的那么点非堆内存空间），撑到肚子了，会死的啊。

前言

Java 5 并发库主要关注于异步任务的处理，它采用了这样一种模式，producer 线程创建任务并且利用阻塞队列将其传递给任务的 consumer。这种模型在 Java 7 和 8 中进一步发展，并且开始支持另外一种风格的任务执行，那就是将任务的数据集分解为子集，每个子集都可以由独立且同质的子任务来负责处理。

这种风格的基础库也就是 fork/join 框架，它允许程序员规定数据集该如何进行分割，并且支持将子任务提交到默认的标准线程池中，也就是”通用的”ForkJoinPool。Java 8 中，fork/join 并行功能借助并行流的机制变得更加具有可用性。但是，不是所有的问题都适合这种风格的并行处理：所处理的元素必须是独立的，数据集要足够大，并且在并行加速方面，每个元素的处理成本要足够高，这样才能补偿建立 fork/join 框架所消耗的成本。CompletableFuture 类则是 Java 8 在并行流方面的创新。

准备知识

异步计算

所谓异步调用其实就是实现一个可无需等待被调用函数的返回值而让操作继续运行的方法。在 Java 语言中，简单的讲就是另启一个线程来完成调用中的部分计算，使调用继续运行或返回，而不需要等待计算结果。但调用者仍需要取线程的计算结果。

回调函数

回调函数比较通用的解释是，它是一个通过函数指针调用的函数。如果你把函数的指针（地址）作为参数传递给另一个函数，当这个指针被用为调用它所指向的函数时，我们就说这是回调函数。回调函数不是由该函数的实现方直接调用，而是在特定的事件或条件发生时由另外一方调用的，用于对该事件或条件进行响应。

回调函数的机制：

1. 定义一个回调函数；
2. 提供函数实现的一方在初始化时候，将回调函数的函数指针注册给调用者；
3. 当特定的事件或条件发生的时候，调用者使用函数指针调用回调函数对事件进行处理。

回调函数通常与原始调用者处于同一层次，如图 1 所示：

图 1. 回调函数示例图

Future 接口介绍

JDK5 新增了 Future 接口，用于描述一个异步计算的结果。虽然 Future 以及相关使用方法提供了异步执行任务的能力，但是对于结果的获取却是很不方便，只能通过阻塞或者轮询的方式得到任务的结果。阻塞的方式显然和我们的异步编程的初衷相违背，轮询的方式又会耗费无谓的 CPU 资源，而且也不能及时地得到计算结果，为什么不能用观察者设计模式呢？即当计算结果完成及时通知监听者。

有一些开源框架实现了我们的设想，例如 Netty 的 ChannelFuture 类扩展了 Future 接口，通过提供 addListener 方法实现支持回调方式的异步编程。Netty 中所有的 I/O 操作都是异步的,这意味着任何的 I/O 调用都将立即返回，而不保证这些被请求的 I/O 操作在调用结束的时候已经完成。取而代之地，你会得到一个返回的 ChannelFuture 实例，这个实例将给你一些关于 I/O 操作结果或者状态的信息。当一个 I/O 操作开始的时候，一个新的 Future 对象就会被创建。在开始的时候，新的 Future 是未完成的状态－－它既非成功、失败，也非被取消，因为 I/O 操作还没有结束。如果 I/O 操作以成功、失败或者被取消中的任何一种状态结束了，那么这个 Future 将会被标记为已完成，并包含更多详细的信息（例如：失败的原因）。请注意，即使是失败和被取消的状态，也是属于已完成的状态。阻塞方式的示例代码如清单 1 所示。

清单 1. 阻塞方式示例代码