Posted in Spring, Spring Boot, 技术

Spring Boot Dubbo applications.properties 配置清单

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!

『 与其纠结,不如行动学习。Innovate ,And out execute ! 』

本文提纲
一、前言
二、applications.properties 配置清单
三、@Service 服务提供者常用配置
四、@Reference 服务消费者常用配置
五、小结

 

运行环境:JDK 7 或 8、Maven 3.0+
技术栈:SpringBoot 1.5+、、Dubbo 2.5+

一、前言

在泥瓦匠出的
Springboot 整合 Dubbo/ZooKeeper 详解 SOA 案例

Spring Boot 中如何使用 Dubbo Activate 扩展点

两篇文章后,很多人跟我聊 Spring Boot 整合 Dubbo 的细节问题。当然最多的是配置问题,比如
Q:如果一个程序既提供服务又是消费者怎么配置 scan package?
A(群友周波): 就是 com.xxx.provider 生产者,com.xxx.consumer 消费者,那么 scan package 就设置到 com.xxx

 

Q:如何设置消费者调用生产者的超时时间?
A:目前不能通过 application.properties 定义。@Reference timeout

 

Q:consumer 怎么配置接入多个 provider?
A:@Reference 可以指定不同的 register。register (注册中心 like provider container)里面可以对应多个 provider

 

Q: @Service(version = “1.0.0”) 这个 1.0.0 可以从 application.properties 配置文件中读取吗?可以区分不同的环境,可以统一升级管理
A:占时还没有解决… 但是应用环境,如:dev/test/run 可以使用下面的配置,在 application.properties 定义
spring.dubbo.application.environment

Spring Boot 整合 Dubbo 的项目依赖了 spring-boot-starter-dubbo 工程,该项目地址是 https://github.com/teaey/spring-boot-starter-dubbo。 感谢作者~

二、applications.properties 配置清单

根据 starter 工程源码,可以看出 application.properties 对应的 Dubbo 配置类 DubboProperties 。

@ConfigurationProperties(prefix = "spring.dubbo")
public class DubboProperties {

    private String scan;

    private ApplicationConfig application;

    private RegistryConfig registry;

    private ProtocolConfig protocol;
}

包括了扫描路径、应用配置类、注册中心配置类和服务协议类

 

所以具体常用配置下
扫描包路径:指的是 Dubbo 服务注解的服务包路径

## Dubbo 配置
# 扫描包路径
spring.dubbo.scan=org.spring.springboot.dubbo

 

应用配置类:关于 Dubbo 应用级别的配置

## Dubbo 应用配置
# 应用名称
spring.dubbo.application.name=xxx

# 模块版本
spring.dubbo.application.version=xxx

# 应用负责人
spring.dubbo.application.owner=xxx

# 组织名(BU或部门)
spring.dubbo.application.organization=xxx

# 分层
spring.dubbo.application.architecture=xxx

# 环境,如:dev/test/run
spring.dubbo.application.environment=xxx

# Java代码编译器
spring.dubbo.application.compiler=xxx

# 日志输出方式
spring.dubbo.application.logger=xxx

# 注册中心 0
spring.dubbo.application.registries[0].address=zookeeper:#127.0.0.1:2181=xxx
# 注册中心 1
spring.dubbo.application.registries[1].address=zookeeper:#127.0.0.1:2181=xxx

# 服务监控
spring.dubbo.application.monitor.address=xxx

这里注意多个注册中心的配置方式。下面介绍单个注册中心的配置方式。

 

注册中心配置类:常用 ZooKeeper 作为注册中心进行服务注册。

## Dubbo 注册中心配置类
# 注册中心地址
spring.dubbo.application.registries.address=xxx

# 注册中心登录用户名
spring.dubbo.application.registries.username=xxx

# 注册中心登录密码
spring.dubbo.application.registries.password=xxx

# 注册中心缺省端口
spring.dubbo.application.registries.port=xxx

# 注册中心协议
spring.dubbo.application.registries.protocol=xxx

# 客户端实现
spring.dubbo.application.registries.transporter=xxx

spring.dubbo.application.registries.server=xxx

spring.dubbo.application.registries.client=xxx

spring.dubbo.application.registries.cluster=xxx

spring.dubbo.application.registries.group=xxx

spring.dubbo.application.registries.version=xxx

# 注册中心请求超时时间(毫秒)
spring.dubbo.application.registries.timeout=xxx

# 注册中心会话超时时间(毫秒)
spring.dubbo.application.registries.session=xxx

# 动态注册中心列表存储文件
spring.dubbo.application.registries.file=xxx

# 停止时等候完成通知时间
spring.dubbo.application.registries.wait=xxx

# 启动时检查注册中心是否存在
spring.dubbo.application.registries.check=xxx

# 在该注册中心上注册是动态的还是静态的服务
spring.dubbo.application.registries.dynamic=xxx

# 在该注册中心上服务是否暴露
spring.dubbo.application.registries.register=xxx

# 在该注册中心上服务是否引用
spring.dubbo.application.registries.subscribe=xxx

 

服务协议配置类:

## Dubbo 服务协议配置


# 服务协议
spring.dubbo.application.protocol.name=xxx

# 服务IP地址(多网卡时使用)
spring.dubbo.application.protocol.host=xxx

# 服务端口
spring.dubbo.application.protocol.port=xxx

# 上下文路径
spring.dubbo.application.protocol.contextpath=xxx

# 线程池类型
spring.dubbo.application.protocol.threadpool=xxx

# 线程池大小(固定大小)
spring.dubbo.application.protocol.threads=xxx

# IO线程池大小(固定大小)
spring.dubbo.application.protocol.iothreads=xxx

# 线程池队列大小
spring.dubbo.application.protocol.queues=xxx

# 最大接收连接数
spring.dubbo.application.protocol.accepts=xxx

# 协议编码
spring.dubbo.application.protocol.codec=xxx

# 序列化方式
spring.dubbo.application.protocol.serialization=xxx

# 字符集
spring.dubbo.application.protocol.charset=xxx

# 最大请求数据长度
spring.dubbo.application.protocol.payload=xxx

# 缓存区大小
spring.dubbo.application.protocol.buffer=xxx

# 心跳间隔
spring.dubbo.application.protocol.heartbeat=xxx

# 访问日志
spring.dubbo.application.protocol.accesslog=xxx

# 网络传输方式
spring.dubbo.application.protocol.transporter=xxx

# 信息交换方式
spring.dubbo.application.protocol.exchanger=xxx

# 信息线程模型派发方式
spring.dubbo.application.protocol.dispatcher=xxx

# 对称网络组网方式
spring.dubbo.application.protocol.networker=xxx

# 服务器端实现
spring.dubbo.application.protocol.server=xxx

# 客户端实现
spring.dubbo.application.protocol.client=xxx

# 支持的telnet命令,多个命令用逗号分隔
spring.dubbo.application.protocol.telnet=xxx

# 命令行提示符
spring.dubbo.application.protocol.prompt=xxx

# status检查
spring.dubbo.application.protocol.status=xxx

# 是否注册
spring.dubbo.application.protocol.status=xxx

三、@Service 服务提供者常用配置

常用 @Service 配置的如下

version 版本
group 分组
provider 提供者
protocol 服务协议
monitor 服务监控
registry 服务注册
…

 

四、@Reference 服务消费者常用配置

常用 @Reference 配置的如下

version 版本
group 分组
timeout 消费者调用提供者的超时时间
consumer 服务消费者
monitor 服务监控
registry 服务注册

 

五、小结

主要介绍了 Spring Boot Dubbo 整合中的细节问题大集合。

推荐:《Springboot 整合 Dubbo/ZooKeeper 详解 SOA 案例

 

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!
— http://www.bysocket.com/ —
— https://github.com/JeffLi1993 —

Posted in Working Skills, 技术

Elasticsearch 默认配置 IK 及 Java AnalyzeRequestBuilder 使用

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!
『 春夏秋冬失去了你,我怎么过一年四季- 民谣歌词 』
本文提纲
一、什么是 Elasticsearch-analysis-ik
二、默认配置 IK
三、使用 AnalyzeRequestBuilder 获取分词结果
四、小结

运行环境:JDK 7 或 8、Maven 3.0+、ElasticSearch 2.3.2、Elasticsearch-analysis-ik 1.9.2
技术栈:SpringBoot 1.5+、Spring-data-elasticsearch 2.1.0

前言

在 Elasticsearch 和插件 elasticsearch-head 安装详解 http://www.bysocket.com/?p=1744 文章中,我使用的是  Elasticsearch 5.3.x。这里我改成了 ElasticSearch 2.3.2。是因为版本对应关系 https://github.com/spring-projects/spring-data-elasticsearch/wiki/Spring-Data-Elasticsearch—Spring-Boot—version-matrix

Spring Boot Version (x)    Spring Data Elasticsearch Version (y)    Elasticsearch Version (z)
x <= 1.3.5    y <= 1.3.4    z <= 1.7.2*
x >= 1.4.x    2.0.0 <=y < 5.0.0**    2.0.0 <= z < 5.0.0**
*  – 只需要你修改下对应的 pom 文件版本号
** – 下一个 ES 的版本会有重大的更新
这里可以看出,5.3.x 不在第二行范围内。因此这里我讲下,如何在 ElasticSearch 2.3.2 中默认配置 IK。

一、什么是 Elasticsearch-analysis-ik

了解什么是 Elasticsearch-analysis-ik,首先了解什么是 IK Analyzer。 IK Analyzer 是基于 lucene 实现的分词开源框架。官方地址:https://code.google.com/p/ik-analyzer/ 。
Elasticsearch-analysis-ik 则是将 IK Analyzer 集成 Elasticsearch 的插件,并支持自定义词典。GitHub 地址:https://github.com/medcl/elasticsearch-analysis-ik。特性支持:
分析器 Analyzer: ik_smart 或 ik_max_word
分词器 Tokenizer: ik_smart 或 ik_max_word

二、默认配置 IK

在 Elasticsearch-analysis-ik  官网中可以看到,其中版本需要对应:
IK版    ES版本
主 5.x -> master
5.3.2    5.3.2
5.2.2    5.2.2
5.1.2    5.1.2
1.10.1    2.4.1
1.9.5    2.3.5
1.8.1    2.2.1
1.7.0    2.1.1
1.5.0    2.0.0
1.2.6    1.0.0
1.2.5    0.90.x
1.1.3    0.20.x
1.0.0    0.16.2 -> 0.19.0

这里使用的是 Elasticsearch-analysis-ik 1.9.2,支持 ElasticSearch 2.3.2。下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v1.9.2/elasticsearch-analysis-ik-1.9.2.zip,下载成功后进行安装。

解压 zip 文件,复制里面的内容到 elasticsearch-2.3.2/plugins/ik。
cd  elasticsearch-2.3.2/plugins
mkdir ik
cp ...

在 elasticsearch-2.3.2/config/elasticsearch.yml 增加配置:
index.analysis.analyzer.default.tokenizer : "ik_max_word"
index.analysis.analyzer.default.type: "ik"
配置默认分词器为 ik,并指定分词器为 ik_max_word。

然后重启 ES 即可。验证 IK 是否成功安装,访问下
localhost:9200/_analyze?analyzer=ik&pretty=true&text=泥瓦匠的博客是bysocket.com

可以得到下面的结果集:

{
    "tokens": [
        {
            "token": "泥瓦匠",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "泥",
            "start_offset": 0,
            "end_offset": 1,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "瓦匠",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "匠",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "博客",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "bysocket.com",
            "start_offset": 8,
            "end_offset": 20,
            "type": "LETTER",
            "position": 5
        },
        {
            "token": "bysocket",
            "start_offset": 8,
            "end_offset": 16,
            "type": "ENGLISH",
            "position": 6
        },
        {
            "token": "com",
            "start_offset": 17,
            "end_offset": 20,
            "type": "ENGLISH",
            "position": 7
        }
    ]
}

记得在Docker 容器安装时,需要对应的端口开发。

三、使用 AnalyzeRequestBuilder 获取分词结果

ES 中默认配置 IK 后,通过 Rest HTTP 的方式我们可以进行得到分词结果。那么在 Spring Boot 和提供的客户端依赖 spring-data-elasticsearch 中如何获取到分词结果。

加入依赖 pom.xml

<!-- Spring Boot Elasticsearch 依赖 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>

在 application.properties 配置 ES 的地址:
# ES
spring.data.elasticsearch.repositories.enabled = true
spring.data.elasticsearch.cluster-nodes = 127.0.0.1:9300

然后创建一个方法,入参是搜索词,返回的是分词结果列表。
    @Autowired
    private ElasticsearchTemplate elasticsearchTemplate;

    /**
     * 调用 ES 获取 IK 分词后结果
     *
     * @param searchContent
     * @return
     */
    private List<String> getIkAnalyzeSearchTerms(String searchContent) {
        // 调用 IK 分词分词
        AnalyzeRequestBuilder ikRequest = new AnalyzeRequestBuilder(elasticsearchTemplate.getClient(),
                AnalyzeAction.INSTANCE,"indexName",searchContent);
        ikRequest.setTokenizer("ik");
        List<AnalyzeResponse.AnalyzeToken> ikTokenList = ikRequest.execute().actionGet().getTokens();

        // 循环赋值
        List<String> searchTermList = new ArrayList<>();
        ikTokenList.forEach(ikToken -> { searchTermList.add(ikToken.getTerm()); });

        return searchTermList;
    }
indexName 这里是指在 ES 设置的索引名称。
从容器注入的 ElasticsearchTemplate Bean 中获取 Client ,再通过 AnalyzeRequestBuilder 分析请求类型中进行分词并获取分词结果 AnalyzeResponse.AnalyzeToken 列表。

四、小结

默认配置了 IK 分词器,则 DSL 去 ES 查询时会自动调用 IK 分词。
如果想要自定义词库,比如比较偏的领域性。可以参考 Elasticsearch-analysis-ik GiHub 地址去具体查阅。

推荐开源项目:《springboot-learning-example

spring boot 实践学习案例,是 spring boot 初学者及核心技术巩固的最佳实践

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!
Posted in Spring, Spring Boot, 技术

Spring Boot 配置文件 – 在坑中实践

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!
『 仓廪实而知礼节,衣食足而知荣辱 – 管仲 』

本文提纲
一、自动配置
二、自定义属性
三、random.* 属性
四、多环境配置

运行环境:JDK 7 或 8,Maven 3.0+

技术栈:SpringBoot 1.5+

一、自动配置

Spring Boot 提供了对应用进行自动化配置。相比以前 XML 配置方式,很多显式方式申明是不需要的。二者,大多数默认的配置足够实现开发功能,从而更快速开发。
什么是自动配置
Spring Boot 提供了默认的配置,如默认的 Bean ,去运行 Spring 应用。它是非侵入式的,只提供一个默认实现。
大多数情况下,自动配置的 Bean 满足了现有的业务场景,不需要去覆盖。但如果自动配置做的不够好,需要覆盖配置。比如通过命令行动态指定某个 jar ,按不同环境启动(这个例子在第 4 小节介绍)。那怎么办?这里先要考虑到配置的优先级。

Spring Boot 不单单从 application.properties 获取配置,所以我们可以在程序中多种设置配置属性。按照以下列表的优先级排列:
1.命令行参数
2.java:comp/env 里的 JNDI 属性
3.JVM 系统属性
4.操作系统环境变量
5.RandomValuePropertySource 属性类生成的 random.* 属性
6.应用以外的 application.properties(或 yml)文件
7.打包在应用内的 application.properties(或 yml)文件
8.在应用 @Configuration 配置类中,用 @PropertySource 注解声明的属性文件
9.SpringApplication.setDefaultProperties 声明的默认属性

可见,命令行参数优先级最高。这个可以根据这个优先级,可以在测试或生产环境中快速地修改配置参数值,而不需要重新打包和部署应用。
还有第 6 点,根据这个在多 moudle 的项目中,比如常见的项目分 api 、service、dao 等 moudles,往往会加一个 deploy moudle 去打包该业务各个子 moudle,应用以外的配置优先。

二、自定义属性

泥瓦匠喜欢按着代码工程来讲解知识。git clone 下载工程 springboot-learning-example ,项目地址见 GitHub – https://github.com/JeffLi1993/springboot-learning-example

a. 编译工程
在项目根目录 springboot-learning-example,运行 maven 指令:
cd springboot-learning-example
mvn clean install

b. 运行工程 test 方法

运行 springboot-properties 工程 org.spring.springboot.property.PropertiesTest 测试类的 getHomeProperties 方法。可以在控制台看到输出,这是通过自定义属性获取的值:

HomeProperties{province='ZheJiang', city='WenLing', desc='dev: I'm living in ZheJiang WenLing.'}

怎么定义自定义属性呢?

首先项目结构如下:

├── pom.xml
└── src
    ├── main
    │   ├── java
    │   │   └── org
    │   │       └── spring
    │   │           └── springboot
    │   │               ├── Application.java
    │   │               └── property
    │   │                   ├── HomeProperties.java
    │   │                   └── UserProperties.java
    │   └── resources
    │       ├── application-dev.properties
    │       ├── application-prod.properties
    │       └── application.properties
    └── test
        ├── java
        │   └── org
        │       └── spring
        │           └── springboot
        │               └── property
        │                   ├── HomeProperties1.java
        │                   └── PropertiesTest.java
        └── resouorces
            └── application.yml

在 application.properties 中对应 HomeProperties 对象字段编写属性的 KV 值:
## 家乡属性 Dev
home.province=ZheJiang
home.city=WenLing
home.desc=dev: I'm living in ${home.province} ${home.city}.
这里也可以通过占位符,进行属性之间的引用。

然后,编写对应的 HomeProperties Java 对象:

/**
 * 家乡属性
 *
 * Created by bysocket on 17/04/2017.
 */
@Component
@ConfigurationProperties(prefix = "home")
public class HomeProperties {

    /**
     * 省份
     */
    private String province;

    /**
     * 城市
     */
    private String city;

    /**
     * 描述
     */
    private String desc;

    public String getProvince() {
        return province;
    }

    public void setProvince(String province) {
        this.province = province;
    }

    public String getCity() {
        return city;
    }

    public void setCity(String city) {
        this.city = city;
    }

    public String getDesc() {
        return desc;
    }

    public void setDesc(String desc) {
        this.desc = desc;
    }

    @Override
    public String toString() {
        return "HomeProperties{" +
                "province='" + province + '\'' +
                ", city='" + city + '\'' +
                ", desc='" + desc + '\'' +
                '}';
    }
}

通过 @ConfigurationProperties(prefix = “home”) 注解,将配置文件中以 home 前缀的属性值自动绑定到对应的字段中。同是用 @Component 作为 Bean 注入到 Spring 容器中。

如果不是用 application.properties 文件,而是用 application.yml 的文件,对应配置如下:
## 家乡属性
home:
  province: 浙江省
  city: 温岭松门
  desc: 我家住在${home.province}的${home.city}
键值对冒号后面,必须空一格。

注意这里,就有一个坑了:
application.properties 配置中文值的时候,读取出来的属性值会出现乱码问题。但是 application.yml 不会出现乱码问题。原因是,Spring Boot 是以 iso-8859 的编码方式读取 application.properties 配置文件。

注意这里,还有一个坑:
如果定义一个键值对 user.name=xxx ,这里会读取不到对应写的属性值。为什么呢?Spring Boot 的默认 StandardEnvironment 首先将会加载 “systemEnvironment” 作为首个PropertySource. 而 source 即为System.getProperties().当 getProperty时,按照读取顺序,返回 “systemEnvironment” 的值.即 System.getProperty(“user.name“)
(Mac 机子会读自己的登录账号,这里感谢我的死党 http://rapharino.com/

三、random.* 属性

Spring Boot 通过 RandomValuePropertySource 提供了很多关于随机数的工具类。概括可以生成随机字符串、随机 int 、随机 long、某范围的随机数。
运行 springboot-properties 工程 org.spring.springboot.property.PropertiesTest 测试类的 randomTestUser 方法。多次运行,可以发现每次输出不同 User 属性值:
UserProperties{id=-3135706105861091890, age=41, desc='泥瓦匠叫做3cf8fb2507f64e361f62700bcbd17770', uuid='582bcc01-bb7f-41db-94d5-c22aae186cb4'}

application.yml 方式的配置如下( application.properties 形式这里不写了):
## 随机属性
user:
  id: ${random.long}
  age: ${random.int[1,200]}
  desc: 泥瓦匠叫做${random.value}
  uuid: ${random.uuid}

四、多环境配置

很多场景的配置,比如数据库配置、Redis 配置、注册中心和日志配置等。在不同的环境,我们需要不同的包去运行项目。所以看项目结构,有两个环境的配置:
application-dev.properties:开发环境
application-prod.properties:生产环境

Spring Boot 是通过 application.properties 文件中,设置 spring.profiles.active 属性,比如 ,配置了 dev ,则加载的是 application-dev.properties :
# Spring Profiles Active
spring.profiles.active=dev

那运行 springboot-properties 工程中 Application 应用启动类,从控制台中可以看出,是加载了 application-dev.properties 的属性输出:
HomeProperties{province='ZheJiang', city='WenLing', desc='dev: I'm living in ZheJiang WenLing.'}

将 spring.profiles.active 设置成 prod,重新运行,可得到 application-prod.properties的属性输出:
HomeProperties{province='ZheJiang', city='WenLing', desc='prod: I'm living in ZheJiang WenLing.'}

根据优先级,顺便介绍下 jar 运行的方式,通过设置 -Dspring.profiles.active=prod 去指定相应的配置:
mvn package
java -jar -Dspring.profiles.active=prod springboot-properties-0.0.1-SNAPSHOT.jar

五、小结

常用的样板配置在 Spring Boot 官方文档给出,我们常在 application.properties(或 yml)去配置各种常用配置:

感谢资料:

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!
Posted in Spring, Spring Boot, 技术

Spring Boot 中如何使用 Dubbo Activate 扩展点

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!

『 公司的核心竞争力在于创新 – 《启示录》 』

继续上一篇:《 Springboot 整合 Dubbo/ZooKeeper 》,在 Spring Boot 使用 Dubbo Activate 扩展点。这是一个群友问的,我总结下,分享给更多人。

本文提纲
一、什么是 Dubbo Activate 注解
二、使用 Dubbo Activate
三、小结

 

运行环境:JDK 7 或 8,Maven 3.0+
技术栈:SpringBoot 1.5+、Dubbo 2.5+、ZooKeeper 3.3+

 

一、什么是 Dubbo Activate 注解

@Activate 是一个 Duboo 框架提供的注解。在 Dubbo 官方文档上有记载:
对于集合类扩展点,比如:Filter, InvokerListener, ExportListener, TelnetHandler, StatusChecker等, 可以同时加载多个实现,此时,可以用自动激活来简化配置。

 

用 @Activate 来实现一些 Filter ,可以具体如下:
1. 无条件自动激活
直接使用默认的注解即可

import com.alibaba.dubbo.common.extension.Activate;
import com.alibaba.dubbo.rpc.Filter;
 
@Activate // 无条件自动激活
public class XxxFilter implements Filter {
    // ...
}

 

2. 配置 xxx 参数,并且参数为有效值时激活,比如配了cache=”lru”,自动激活 CacheFilter

import com.alibaba.dubbo.common.extension.Activate;
import com.alibaba.dubbo.rpc.Filter;
 
@Activate("xxx") // 当配置了xxx参数,并且参数为有效值时激活,比如配了cache="lru",自动激活CacheFilter。
public class XxxFilter implements Filter {
    // ...
}

 

3. 只对提供方激活,group 可选 provider 或 consumer

import com.alibaba.dubbo.common.extension.Activate;
import com.alibaba.dubbo.rpc.Filter;
 
@Activate(group = "provider", value = "xxx") 
// 只对提供方激活,group可选"provider"或"consumer"
public class XxxFilter implements Filter {
    // ...
}

 

二、使用 Dubbo Activate 注解

基于以前的 springboot-dubbo-server 和 springboot-dubbo-client 工程,GitHub 地址:https://github.com/JeffLi1993/springboot-learning-example 。

这里我们在消费端,既 springboot-dubbo-client 工程上添加一个 Filter。代码如下:

package com.xxx;
 
import com.alibaba.dubbo.rpc.Filter;
import com.alibaba.dubbo.rpc.Invoker;
import com.alibaba.dubbo.rpc.Invocation;
import com.alibaba.dubbo.rpc.Result;
import com.alibaba.dubbo.rpc.RpcException;
 
 
public class XxxFilter implements Filter {
    public Result invoke(Invoker<?> invoker, 
Invocation invocation) throws RpcException {
        // before filter ...
        Result result = invoker.invoke(invocation);
        // after filter ...
        return result;
    }
}

 

启动 client 工程发现,Console 报错,出现:

Caused by: java.lang.IllegalStateException: No such extension dubboConsumerFilter for filter/com.alibaba.dubbo.rpc.Filter

发现这个 Filter 初始化时,报错了。证明没有配置成功。

 

原来根据官方文档中描述,我们需要配置扩展点配置文件。

在 META-INF 中配置:

xxx=com.xxx.XxxFilter

Maven 项目目录结构

src
 |-main
    |-java
        |-com
            |-xxx
                |-XxxFilter.java (实现Filter接口)
    |-resources
        |-META-INF
            |-dubbo
                |-com.alibaba.dubbo.rpc.Filter (纯文本文件,内容为:xxx=com.xxx.XxxFilter)

三、小结

调用拦截扩展的应用场景很多,比如黑白名单,比如 IP 等。

 

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!
http://www.bysocket.com/
https://github.com/JeffLi1993

Posted in 清文

为你写了一首歌叫 《工作》

一个人这座城市
弥漫着不想要有的焦虑

 

为了更好去面试
为了收入而工作

 

那曾是诱惑学生的美梦
梦醒后
又来一趟挤不上的地铁

 

三号线
像是在空中行驶

 

你用余光进了车厢
并用余光找到座位

 

工作就把我丢在陌生的人潮
只有耳机让单曲循环伴随

 

下班路上
走在盲道的自己
看霓虹闪烁

 

就像太阳东起西落
我坐上往西的列车
像是追赶着时间
日不落
人未眠

 

列车和谐号
就像一条温柔的蛇
蛇想家了

 

醒来却知是梦
未止梦的甜
继续工作

 

循环
Posted in Spring, Spring Boot, 技术

Spring Boot 整合 Redis 实现缓存操作

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!
『 产品没有价值,开发团队再优秀也无济于事 – 《启示录》 』

本文提纲
一、缓存的应用场景
二、更新缓存的策略
三、运行 springboot-mybatis-redis 工程案例
四、springboot-mybatis-redis 工程代码配置详解

运行环境
Mac OS 10.12.x
JDK 8 +
Redis 3.2.8
Spring Boot 1.5.1.RELEASE

一、缓存的应用场景

什么是缓存?
在互联网场景下,尤其 2C 端大流量场景下,需要将一些经常展现和不会频繁变更的数据,存放在存取速率更快的地方。缓存就是一个存储器,在技术选型中,常用 Redis 作为缓存数据库。缓存主要是在获取资源方便性能优化的关键方面。

Redis 是一个高性能的 key-value 数据库。GitHub 地址:https://github.com/antirez/redis 。Github 是这么描述的:
Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes, HyperLogLogs, Bitmaps.

缓存的应用场景有哪些呢?
比如常见的电商场景,根据商品 ID 获取商品信息时,店铺信息和商品详情信息就可以缓存在 Redis,直接从 Redis 获取。减少了去数据库查询的次数。但会出现新的问题,就是如何对缓存进行更新?这就是下面要讲的。

二、更新缓存的策略

参考《缓存更新的套路》http://coolshell.cn/articles/17416.html,缓存更新的模式有四种:Cache aside, Read through, Write through, Write behind caching。

这里我们使用的是 Cache Aside 策略,从三个维度:(摘自 耗子叔叔博客)
失效:应用程序先从cache取数据,没有得到,则从数据库中取数据,成功后,放到缓存中。
命中:应用程序从cache中取数据,取到后返回。
更新:先把数据存到数据库中,成功后,再让缓存失效。

大致流程如下:
获取商品详情举例
a. 从商品 Cache 中获取商品详情,如果存在,则返回获取 Cache 数据返回。
b. 如果不存在,则从商品 DB 中获取。获取成功后,将数据存到 Cache 中。则下次获取商品详情,就可以从 Cache 就可以得到商品详情数据。
c. 从商品 DB 中更新或者删除商品详情成功后,则从缓存中删除对应商品的详情缓存

三、运行 springboot-mybatis-redis 工程案例

git clone 下载工程 springboot-learning-example ,项目地址见 GitHub – https://github.com/JeffLi1993/springboot-learning-example
下面开始运行工程步骤(Quick Start):

1.数据库和 Redis 准备
a.创建数据库 springbootdb:
CREATE DATABASE springbootdb;

b.创建表 city :(因为我喜欢徒步)
DROP TABLE IF EXISTS  `city`;
CREATE TABLE `city` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '城市编号',
  `province_id` int(10) unsigned  NOT NULL COMMENT '省份编号',
  `city_name` varchar(25) DEFAULT NULL COMMENT '城市名称',
  `description` varchar(25) DEFAULT NULL COMMENT '描述',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

c.插入数据
INSERT city VALUES (1 ,1,'温岭市','BYSocket 的家在温岭。');

d.本地安装 Redis
详见写过的文章《 Redis 安装 》http://www.bysocket.com/?p=917

2. springboot-mybatis-redis 工程项目结构介绍
springboot-mybatis-redis 工程项目结构如下图所示:
org.spring.springboot.controller - Controller 层
org.spring.springboot.dao - 数据操作层 DAO
org.spring.springboot.domain - 实体类
org.spring.springboot.service - 业务逻辑层
Application - 应用启动类
application.properties - 应用配置文件,应用启动会自动读取配置

3.改数据库配置
打开 application.properties 文件, 修改相应的数据源配置,比如数据源地址、账号、密码等。
(如果不是用 MySQL,自行添加连接驱动 pom,然后修改驱动名配置。)

4.编译工程
在项目根目录 springboot-learning-example,运行 maven 指令:
mvn clean install

5.运行工程
右键运行 springboot-mybatis-redis 工程 Application 应用启动类的 main 函数。
项目运行成功后,这是个 HTTP OVER JSON 服务项目。所以用 postman 工具可以如下操作
根据 ID,获取城市信息
GET http://127.0.0.1:8080/api/city/1
再请求一次,获取城市信息会发现数据获取的耗时快了很多。服务端 Console 输出的日志:
2017-04-13 18:29:00.273  INFO 13038 --- [nio-8080-exec-1] o.s.s.service.impl.CityServiceImpl       : CityServiceImpl.findCityById() : 城市插入缓存 >> City{id=12, provinceId=3, cityName='三亚', description='水好,天蓝'}
2017-04-13 18:29:03.145  INFO 13038 --- [nio-8080-exec-2] o.s.s.service.impl.CityServiceImpl       : CityServiceImpl.findCityById() : 从缓存中获取了城市 >> City{id=12, provinceId=3, cityName='三亚', description='水好,天蓝'}
可见,第一次是从数据库 DB 获取数据,并插入缓存,第二次直接从缓存中取。

更新城市信息
PUT http://127.0.0.1:8080/api/city
删除城市信息
DELETE http://127.0.0.1:8080/api/city/2
这两种操作中,如果缓存有对应的数据,则删除缓存。服务端 Console 输出的日志:
2017-04-13 18:29:52.248  INFO 13038 --- [nio-8080-exec-9] o.s.s.service.impl.CityServiceImpl       : CityServiceImpl.deleteCity() : 从缓存中删除城市 ID >> 12

四、springboot-mybatis-redis 工程代码配置详解

这里,我强烈推荐 注解 的方式实现对象的缓存。但是这里为了更好说明缓存更新策略。下面讲讲工程代码的实现。

pom.xml 依赖配置:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>springboot</groupId>
    <artifactId>springboot-mybatis-redis</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>springboot-mybatis-redis :: 整合 Mybatis 并使用 Redis 作为缓存</name>

    <!-- Spring Boot 启动父依赖 -->
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.1.RELEASE</version>
    </parent>

    <properties>
        <mybatis-spring-boot>1.2.0</mybatis-spring-boot>
        <mysql-connector>5.1.39</mysql-connector>
        <spring-boot-starter-redis-version>1.3.2.RELEASE</spring-boot-starter-redis-version>
    </properties>

    <dependencies>

        <!-- Spring Boot Reids 依赖 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-redis</artifactId>
            <version>${spring-boot-starter-redis-version}</version>
        </dependency>

        <!-- Spring Boot Web 依赖 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!-- Spring Boot Test 依赖 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>

        <!-- Spring Boot Mybatis 依赖 -->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>${mybatis-spring-boot}</version>
        </dependency>

        <!-- MySQL 连接驱动依赖 -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>${mysql-connector}</version>
        </dependency>

        <!-- Junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
    </dependencies>
</project>
包括了 Spring Boot Reids 依赖、 MySQL 依赖和 Mybatis 依赖。

在 application.properties 应用配置文件,增加 Redis 相关配置
## 数据源配置
spring.datasource.url=jdbc:mysql://localhost:3306/springbootdb?useUnicode=true&characterEncoding=utf8
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

## Mybatis 配置
mybatis.typeAliasesPackage=org.spring.springboot.domain
mybatis.mapperLocations=classpath:mapper/*.xml

## Redis 配置
## Redis数据库索引(默认为0)
spring.redis.database=0
## Redis服务器地址
spring.redis.host=127.0.0.1
## Redis服务器连接端口
spring.redis.port=6379
## Redis服务器连接密码(默认为空)
spring.redis.password=
## 连接池最大连接数(使用负值表示没有限制)
spring.redis.pool.max-active=8
## 连接池最大阻塞等待时间(使用负值表示没有限制)
spring.redis.pool.max-wait=-1
## 连接池中的最大空闲连接
spring.redis.pool.max-idle=8
## 连接池中的最小空闲连接
spring.redis.pool.min-idle=0
## 连接超时时间(毫秒)
spring.redis.timeout=0
详细解释可以参考注释。对应的配置类:org.springframework.boot.autoconfigure.data.redis.RedisProperties

CityRestController 控制层依旧是 Restful 风格的,详情可以参考《Springboot 实现 Restful 服务,基于 HTTP / JSON 传输》。 http://www.bysocket.com/?p=1627 domain 对象 City 必须实现序列化,因为需要将对象序列化后存储到 Redis。如果没实现 Serializable ,控制台会爆出以下异常:
Serializable
java.lang.IllegalArgumentException: DefaultSerializer requires a Serializable payload but received an object of type

City.java 城市对象:
package org.spring.springboot.domain;

import java.io.Serializable;

/**
 * 城市实体类
 *
 * Created by bysocket on 07/02/2017.
 */
public class City implements Serializable {

    private static final long serialVersionUID = -1L;

    /**
     * 城市编号
     */
    private Long id;

    /**
     * 省份编号
     */
    private Long provinceId;

    /**
     * 城市名称
     */
    private String cityName;

    /**
     * 描述
     */
    private String description;

    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    public Long getProvinceId() {
        return provinceId;
    }

    public void setProvinceId(Long provinceId) {
        this.provinceId = provinceId;
    }

    public String getCityName() {
        return cityName;
    }

    public void setCityName(String cityName) {
        this.cityName = cityName;
    }

    public String getDescription() {
        return description;
    }

    public void setDescription(String description) {
        this.description = description;
    }

    @Override
    public String toString() {
        return "City{" +
                "id=" + id +
                ", provinceId=" + provinceId +
                ", cityName='" + cityName + '\'' +
                ", description='" + description + '\'' +
                '}';
    }
}
如果需要自定义序列化实现,只要实现 RedisSerializer 接口去实现即可,然后在使用 RedisTemplate.setValueSerializer 方法去设置你实现的序列化实现。

主要还是城市业务逻辑实现类 CityServiceImpl.java:
package org.spring.springboot.service.impl;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.spring.springboot.dao.CityDao;
import org.spring.springboot.domain.City;
import org.spring.springboot.service.CityService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.core.ValueOperations;
import org.springframework.stereotype.Service;

import java.util.List;
import java.util.concurrent.TimeUnit;

/**
 * 城市业务逻辑实现类
 * <p>
 * Created by bysocket on 07/02/2017.
 */
@Service
public class CityServiceImpl implements CityService {

    private static final Logger LOGGER = LoggerFactory.getLogger(CityServiceImpl.class);

    @Autowired
    private CityDao cityDao;

    @Autowired
    private RedisTemplate redisTemplate;

    /**
     * 获取城市逻辑:
     * 如果缓存存在,从缓存中获取城市信息
     * 如果缓存不存在,从 DB 中获取城市信息,然后插入缓存
     */
    public City findCityById(Long id) {
        // 从缓存中获取城市信息
        String key = "city_" + id;
        ValueOperations<String, City> operations = redisTemplate.opsForValue();

        // 缓存存在
        boolean hasKey = redisTemplate.hasKey(key);
        if (hasKey) {
            City city = operations.get(key);

            LOGGER.info("CityServiceImpl.findCityById() : 从缓存中获取了城市 >> " + city.toString());
            return city;
        }

        // 从 DB 中获取城市信息
        City city = cityDao.findById(id);

        // 插入缓存
        operations.set(key, city, 10, TimeUnit.SECONDS);
        LOGGER.info("CityServiceImpl.findCityById() : 城市插入缓存 >> " + city.toString());

        return city;
    }

    @Override
    public Long saveCity(City city) {
        return cityDao.saveCity(city);
    }

    /**
     * 更新城市逻辑:
     * 如果缓存存在,删除
     * 如果缓存不存在,不操作
     */
    @Override
    public Long updateCity(City city) {
        Long ret = cityDao.updateCity(city);

        // 缓存存在,删除缓存
        String key = "city_" + city.getId();
        boolean hasKey = redisTemplate.hasKey(key);
        if (hasKey) {
            redisTemplate.delete(key);

            LOGGER.info("CityServiceImpl.updateCity() : 从缓存中删除城市 >> " + city.toString());
        }

        return ret;
    }

    @Override
    public Long deleteCity(Long id) {

        Long ret = cityDao.deleteCity(id);

        // 缓存存在,删除缓存
        String key = "city_" + id;
        boolean hasKey = redisTemplate.hasKey(key);
        if (hasKey) {
            redisTemplate.delete(key);

            LOGGER.info("CityServiceImpl.deleteCity() : 从缓存中删除城市 ID >> " + id);
        }
        return ret;
    }

}

首先这里注入了 RedisTemplate 对象。联想到 Spring 的 JdbcTemplate ,RedisTemplate 封装了 RedisConnection,具有连接管理,序列化和 Redis 操作等功能。还有针对 String 的支持对象 StringRedisTemplate。

Redis 操作视图接口类用的是 ValueOperations,对应的是 Redis String/Value 操作。还有其他的操作视图,ListOperations、SetOperations、ZSetOperations 和 HashOperations 。ValueOperations 插入缓存是可以设置失效时间,这里设置的失效时间是 10 s。

回到更新缓存的逻辑
a. findCityById 获取城市逻辑:
如果缓存存在,从缓存中获取城市信息
如果缓存不存在,从 DB 中获取城市信息,然后插入缓存

b. deleteCity 删除 / updateCity 更新城市逻辑:
如果缓存存在,删除
如果缓存不存在,不操作

其他不明白的,可以 git clone 下载工程 springboot-learning-example ,工程代码注解很详细。 https://github.com/JeffLi1993/springboot-learning-example。

五、小结

本文涉及到 Spring Boot 在使用 Redis 缓存时,一个是缓存对象需要序列化,二个是缓存更新策略是如何的。

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!
Posted in Working Skills, 技术

Elasticsearch 和插件 elasticsearch-head 安装详解

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!
『 产品没有价值,开发团队再优秀也无济于事 – 《启示录》 』
本文提纲
一、Elasticsearch 安装
二、可视化插件 elasticsearch-head 安装
三、小结
运行环境
Mac OS 10.12.x
Elasticsearch 5.3.x
JDK 8 +

一、Elasticsearch 安装

什么是 Elasticsearch ?
Elasticsearch 是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域,Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。并通过简单的 RESTful API 来隐藏 Lucene 的复杂性,从而让全文搜索变得简单。

Elasticsearch 不仅仅是 Lucene 和全文搜索,我们还能这样去描述它:
分布式的实时文件存储,每个字段都被索引并可被搜索
分布式的实时分析搜索引擎
可以扩展到上百台服务器,处理PB级结构化或非结构化数据

注意:安装版本 5.3,需要 JDK 1.8 以上。下面开始具体安装步骤:

1. .tar.gz 安装包安装 Elasticsearch 
首先打开官网下载页 https://www.elastic.co/downloads/elasticsearch ,下载对应的 elasticsearch-5.3.0.tar.gz 文件。然后在文件的当前目录,通过 tar 命令解压安装包完成安装。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar.gz
tar -xzf elasticsearch-5.3.0.tar.gz
cd elasticsearch-5.3.0/

2. 配置文件
在启动运行前,我们介绍下 Elasticsearch 配置文件,即 config/elasticsearch.yml。这里我们需要在配置中增加以下配置,为了允许 elasticsearch-head 运行时的跨域:
# allow origin
http.cors.enabled: true
http.cors.allow-origin: "*"

3. 运行
一般在后台起守护线程启动 Elasticsearch,在命令行加入 -d 指定。自然,也可以加入 -p ,可将进程 ID 记录到文件中。
./bin/elasticsearch -d

访问 http://localhost:9200/ ,可以看到成功运行的案例,返回的 JSON 页面。如图:
要关闭 Elasticsearch 进程,需要通过 ps 找到对应的 pid,在 kill pid 即可。
ps aux |grep elasticsearch
kill -7 pid

二、可视化插件 elasticsearch-head 安装

官方 GitHub 地址:https://github.com/mobz/elasticsearch-head。安装也很简单,安装 README 步骤走就好了。
下载 master 分支项目,然后在项目当前目录通过 npm 安装,再通过 npm 运行启动该项目即可。
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm run start

访问 http://localhost:9100/ ,右上角表示连接上了上小节启动的 Elasticsearch。如图

三、小结

本文写的比较基础,记录下主要两个坑。一个版本对应的 JDK 环境需要对应,第二个可视化插件官方(xpart 全家桶 https://www.elastic.co/ )也有,但推荐的 head 不需要以插件形式安装。但必须允许跨域设置。

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!

Posted in Machine Learning, 技术

机器学习的数学 之 python 矩阵运算

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢!
A Bullet Is Forever
本文提纲
1. 什么是矩阵
2. 矩阵在现实应用场景
3. 矩阵表示
4. 矩阵运算
5. 理解矩阵乘法

一、 什么是矩阵

一个 m × n 的矩阵是一个由 m 行 n 列元素排列成的矩形阵列。以下是一个由 6 个数字元素构成的 2 行 3 列的矩阵:

矩阵属于线性代数数学分支。线性代数是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究,同时也涉及到所有的向量空间的一般性质。表面上,排成矩形的数字就是个矩阵。实际,矩阵是有限维线性空间的线性变换的表示形式。它代表着空间到空间的映射。

二、 矩阵在现实应用场景

在程序中,配合矩阵模拟真实数据,并可以实现如下功能:二维图形变换、人脸变换、人脸识别、信息转换等。比如一张图片,简单的黑白图只有黑色和白色构成,是不是可以有 1 0 两个数值的二维矩阵来表示呢?自然,尤其在图像处理里面,图像信息是用二维矩阵数据。
矩阵分析,是一种方便的计算工具,可以以简单的形式表达复杂的信息。

三、 矩阵表达式

我们选择 Python 作为代码演示案例。利用的是 NumPy 库。什么是 NumPy?
NumPy 是一个基础科学的计算包,包含:
  • 一个强大的N维数组对象
  • sophisticated (broadcasting) functions
  • tools for integrating C/C++ and Fortran code
  • 有用的线性代数、傅立叶转换和随机数生成函数
在代码中,导入 numpy 函数。
比如下面展示 1 × 2 和 2 × 2 的矩阵。调用 shape 方法,可获取矩阵的大小。同样,numpy 方便了我们很多操作。可以直接创建全 0 矩阵、全 1 矩阵和单元矩阵。代码 matrix_exp.py 如下:

# -*- coding: utf-8 -*-

# 导入 numpy 函数,以 np 开头
import numpy as np

if __name__ == '__main__':
    mat1 = np.array([1, 3])
    mat1 = np.mat(mat1)  # 相当于 np.mat([1,3]), mat 函数将目标数据的类型转换为矩阵(matrix)
    print mat1
    # 1 行 2 列的矩阵(也称 1 * 2 矩阵)
    # ==> [[1 3]]

    print

    mat2 = np.array([[1, 3], [3, 4]])
    mat2 = np.mat(mat2)
    print mat2
    # 2 * 2 矩阵
    # ==> [[1 3]
    # ==>  [3 4]]

    # 获取矩阵的大小
    print mat1.shape
    print mat2.shape

    print

    mat3 = np.zeros((2, 3))  # 2 * 3 的全 0 矩阵
    mat4 = np.ones((3, 2))   # 3 * 2 的全 1 矩阵
    mat5 = np.identity(3)    # 3 * 3 的单元矩阵
    mat6 = np.eye(3, 3, 0)   # eye(N, M=None, k=0, dtype=float) 对角线是 1 其余值为 0 的矩阵, k 指定对角线的位置
    print mat3
    print mat4
    print mat5
    print mat6
右键,Run 可得到下面结果:

[[1 3]]

[[1 3]
 [3 4]]
(1, 2)
(2, 2)

[[ 0.  0.  0.]
 [ 0.  0.  0.]]
[[ 1.  1.]
 [ 1.  1.]
 [ 1.  1.]]
[[ 1.  0.  0.]
 [ 0.  1.  0.]
 [ 0.  0.  1.]]
[[ 1.  0.  0.]
 [ 0.  1.  0.]
 [ 0.  0.  1.]]
如上注解详细解释了方法的使用。
「提示」代码共享在 GitHub:https://github.com/JeffLi1993/robot-mumu

四、 矩阵运算

矩阵运算包括了加减乘除、转置、逆矩阵、行列式、矩阵的幂、伴随矩阵等。
矩阵加法、减法、数量乘法规则如下:(和向量的运算规则一样)
-A = (-1)A
A – B = A + (-B)
2A + 3B = (2A)+ (3B)
比如下面展示下 矩阵与矩阵相乘、矩阵求逆、转置矩阵及每行或每列求和的运算。代码 matrix_op.py 如下:
# -*- coding: utf-8 -*-

# 导入 numpy 函数,以 np 开头
import numpy as np

if __name__ == '__main__':
    # 矩阵相乘
    mat1 = np.mat([1, 3])
    mat2 = np.mat([[3], [4]])
    mat3 = mat1 * mat2
    print mat3
    # 1 * 2 矩阵乘以 2 * 1 矩阵,得到 1 * 1 矩阵
    # ==> [[15]]

    print

    # 矩阵求逆
    mat4 = np.mat([[1, 0, 1], [0, 2, 1], [1, 1, 1]])
    mat5 = mat4.I  # I 对应 getI(self) ,返回可逆矩阵的逆
    print mat5
    # 矩阵的逆
    # ==> [[-1. -1.  2.]
    # ==>  [-1.  0.  1.]
    # ==>  [ 2.  1. -2.]]

    print

    # 转置矩阵
    mat6 = np.mat([[1, 1, 1], [0, 2, 1], [1, 1, 1]])
    mat7 = mat6.T  # I 对应 getT(self) ,返回矩阵的转置矩阵
    print mat7
    # 矩阵的转置矩阵
    # ==> [[1 0 1]
    # ==>  [1 2 1]
    # ==>  [1 1 1]]

    print

    # 矩阵每一列的和
    sum1 = mat6.sum(axis=0)
    print sum1
    # 矩阵每一行的和
    sum2 = mat6.sum(axis=1)
    print sum2
    # 矩阵所有行列的总和
    sum3 = sum(mat6[1, :])
    print sum3

    print

    # 矩阵与数组之间的转换
    mat8 = np.mat([[1, 2, 3]])
    arr1 = np.array(mat8)  # 矩阵转换成数组
    print arr1
    arr2 = [1, 2, 3]
    mat9 = np.mat(arr2)  # 数组转换成矩阵
    print mat9
右键,Run 可得到下面结果:
[[15]]

[[-1. -1.  2.]
 [-1.  0.  1.]
 [ 2.  1. -2.]]

[[1 0 1]
 [1 2 1]
 [1 1 1]]

[[2 4 3]]
[[3]
 [3]
 [3]]
[[0 2 1]]

[[1 2 3]]
[[1 2 3]]

五、 理解矩阵和向量乘法

推荐下下面的文章去更深入的理解:
Posted in Machine Learning, TensorFlow

TensorFlow 安装详解

摘要: 原创出处:www.bysocket.com 泥瓦匠BYSocket 希望转载,保留摘要,谢谢!
『不要把手段当成目标 — 《一个瑜伽行者的自传》』
本文提纲
1. 机器学习
2. TensorFlow 介绍
    2.1 什么是 TensorFlow
    2.2 TensorFlow 能做什么
3. 安装 TensorFlow
    3.1 安装 pip
    3.2 安装 TensorFlow
    3.3 运行 Hello,TensorFlow 案例
4. 小结

一、机器学习

机器学习,并不能理解成机器学习算法。机器学习,就是为了让机器可以去模拟人类。在应用实践上,可以狭义理解为机器学习算法,但聚焦在具体算法实现和编程上,往往实践中不尽人意。机器学习是一种学科,一种类似数学的学科,交叉了数学、算法、计算机等多门学科。目的是让机器(这里指计算机)如何模拟或者实现人类的学习行为。就像我们读小学,读初中,读高中… 让机器学习的话可能需要 1 小时,因为机器效率很高。

机器学习的应用:
     语音识别
     自动驾驶
     语言翻译
     计算机视觉
     推荐系统
     无人机
     识别垃圾邮件

已经实践的Demo:
     人脸识别
     无人驾驶汽车
     电商推荐系统

二、TensorFlow 介绍

标语:TensorFlow 是一个用于人工智能的开源神器

什么是 TensorFlow 呢?
TensorFlow™ 是一个采用数据流图(Data Flow Graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。它灵活的架构让你可以在多种平台上展开计算,例如台式计算机中的一个或多个 CPU(或GPU),服务器,移动设备等等。TensorFlow 最初由 Google 大脑小组(隶属于 Google 机器智能研究机构)的研究员和工程师们开发出来,用于机器学习和深度神经网络方面的研究,但这个系统的通用性使其也可广泛用于其他计算领域。

那什么是数据流图(Data Flow Graphs)呢?
数据流图用“结点”(nodes)和“线”(edges)的有向图来描述数学计算。“节点” 一般用来表示施加的数学操作,但也可以表示数据输入(feed in)的起点/输出(push out)的终点,或者是读取/写入持久变量(persistent variable)的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组,即“张量”(tensor)。张量从图中流过的直观图像是这个工具取名为“Tensorflow”的原因。一旦输入端的所有张量准备好,节点将被分配到各种计算设备完成异步并行地执行运算。

TensorFlow 能做什么?
上面也说了,用于数值计算。具体而言,语音识别,自然语言理解,计算机视觉,广告等等。所以未来有更多的产品,将想法和机器学习算法产品化。

TensorFlow 的特征如下:
1. 高度的灵活性
2. 真正的可移植性(Portability)
3. 将科研和产品联系在一起
4. 自动求微分
5. 多语言支持
6. 性能最优化

三、安装 TensorFlow

环境:Mac OS 10.x
TensorFlow 支持多种安装,比如 Pip, Docker, Virtualenv, Anaconda 或源码编译的方法安装 TensorFlow。我自己推荐当然是 Pip 安装。什么是 Pip ?Pip 是一个 Python 的软件包安装与管理工具。

1. 安装 pip
然后解压 pip ,并执行 python 进行安装。

tar zvxf pip-9.0.1.tar.gz
cd pip-9.0.1 
sudo python setup.py install

2. 安装 TensorFlow
用 pip 安装 TensorFlow :
sudo pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl

Mac OS X 10.x 因 SIP 安全问题无法运行,安装会不成功。所以重启 OS,长按 Command + R 。点击 Utilities(实用工具)-> Terminal(终端),输入如下命令:
csrutil disable

然后开机,重新用 pip 安装 TensorFlow :

sudo pip install https://storage.googleapis.com/tensorflow/mac/tensorflow-0.5.0-py2-none-any.whl
(需要翻墙哈)

3. 运行 Hello,TensorFlow 案例
使用 TensorFlow, 你必须明白 TensorFlow:
a. 使用图 (graph) 来表示计算任务.
b. 在被称之为 会话 (Session) 的上下文 (context) 中执行图.
c. 使用 tensor 表示数据.
d. 通过 变量 (Variable) 维护状态.
e. 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据

这里我们执行下 Hello,TensorFlow 。证明 TensorFlow 安装成功就好。打开 PyCharm,新建一个 HelloTensorFlow.py 。创建一个字符串常量,然后创建一个 Session 对象,从会话中构造器中会默认启动一个图,Session 对象使用后要需要关闭并释放资源。
代码如下:
# -*- coding: utf-8 -*-
import tensorflow as tf

# 创建另外一个字符串常量
helloTf = tf.constant('Hello,TensorFlow!')

# 启动默认图
sess = tf.Session()

# 调用 sess 的 'run()' 方法来执行
# 返回值 'result' 是一个字符串对象.
result = sess.run(helloTf)
print result
# ==> Hello,TensorFlow!

# 任务完成, 关闭会话.
sess.close()

然后运行即可得到输出:
Hello,TensorFlow!

四、小结

本文主要介绍了机器学习、TensorFlow 安装及简单使用。

推荐书《一个瑜伽行者的自传》一本讲行者的故事。

欢迎扫一扫我的公众号关注 — 及时得到博客订阅哦!

Posted in 清文

你挣到钱了吗?

我看的书不多,所以会抓紧看书。范老说过:思考重要,行动更重要。看书需要思考,看书这个动作需要落地。不然应着莎士比亚的名言“你们这些净会发誓的家伙”。书中,比如《奥黛丽赫本》、《你好,我是费曼》等。如实给我们讲了
“我为了金钱工作,因为我不得不如此” – 奥黛丽赫本

 

「你挣到钱了吗?」
挣钱,在商业中更多的是信息不对称之间的利润。我们生活在一个谎言的时代,谎言的互联网时代。互联网告诉我们,信息是透明的,公开的。你百度,谷歌下,信息就出来了。呵呵,FU。但谎言几乎像瘟疫一样蔓延,蔓延在发展和发展中国家。
同样,工作能挣钱。是的,毫无疑问,把每天 8 小时给了上班,获得工资仿佛是铁打的。但如果你想打工,那么就一直。需要保持不被淘汰,保持你的必不可缺,哪怕就一点就好。你会随着公司的,平台的上升而上升,同样收入也会 UP。李开复在病后对工作的看法是

 

做自己感兴趣的工作是最重要的

 

为啥呢?感兴趣的东西,你才会去学,深入的,专业的学。官方说,“学到东西”很重要。你想想“学到东西”,不就是为了谋得更好的收入和更好的前途吗?
李开复笃信 付出一定有回报,没有错。赌客信条说,因为我们的努力,可以换来比别人多一次的抽奖机会,如果你放弃了,连这个都不去尝试,如何奢望一次大奖。这是你的选择后你的结果,这是蝴蝶效应。这里我想到了 TED 《被拒 100 天》,被拒可以作为垫脚石,可以一点点提高你赢的概率

 

挣钱还有
还有记得投资,投资有风险。让钱帮你工作,让钱帮你挣钱
还有做些纯粹的付出带来纯粹的快乐,说公益大了,说乐于助人就好,这样做,U will feel nice

 

回想到我最初的收入的故事。

 

「良知的导师,良知的事」
我第一笔收入是开始于,于大学,于大学实验室
记得大一下半学期,从 ACM 导师跳到了叶老那。那次谈话,他讲了他自己节节高升的故事:保高中,保大学,保研 – 一路上走过了还是个屁。
他告诉我在实验室你能得到了,但不能考研。最后一年你得回报团队(带一个好徒弟,做一个 nice project)。
对伪学习爱好者,我当时觉得好难。考个研是咋体验呢?后来还是觉得我选择加入。因为他就是导师,他是一个镜子,折射出了教育的点滴…

 

就这样跟了良知的导师
每月的补贴,挺好
逃课,和一群 nice 的人,做 nice 的事。
一起熬夜天台扯淡为了是凌晨 2 点用户在线少发布项目。

 

最近联系上了一群高中的家伙,一群一起搞竞赛的家伙。脑残、非兄、大黄,老 K 等…
脑残考上了上财,酒后吐槽了研究生的软蛋。说仿佛一个选择的错误,导致的就业的错误。就业又要跟着市场,跟着人才的不对称走。他跟我灌输了金融,灌输了金融界的饱和,恐惧就业。

 

找个良知的导师,能靠自己 ,互赢的做靠谱良知的事就好。和我现在一样,这也是我工作的目标。

 

就业我说不好,太大就业是靠行情。但学校和社会之间的衔接很少,很不全。脑残说,我们那会高中将毕业,金融火的上天。现在金融不缺人才。不是说不缺高端人才,高端人才一直是稀缺状态。但谁能一出生就是高端人才呢,往往把那群喜欢的人拦在了门外,侧门进来了充数的。
现在比如好的职业,工程师等,导致了很多培训机构,转行。未来可能是 AI(人工智能) 工程师、训机师等… 谁知道,谁知道

 

国内的氛围,在沿海知识分子云集,教育普及大的地方。大家被学校,被教育成了财务、经济、法律的盲人。恰恰那些的基础是生活的基本。这是来自海归的同事,朋友的感受。他们活的不一样,我还在向他们学习。

 

你挣到钱了吗?还没有。

 

就当我在
白日做梦瞎扯淡