您現在的位置是:首頁 > 網路遊戲首頁網路遊戲

Springboot 日誌、配置檔案、介面資料如何脫敏?

簡介定製JSON序列化實現下面將是重要實現,對標註註解@Sensitive的欄位進行脫敏,實現如下:*** 序列化註解自定義實現* JsonSerializer:指定String 型別,serialize()方法用於將修改後的資料載入

怎麼獲取屬性上的註解

一、前言

核心隱私資料無論對於企業還是使用者來說尤其重要,因此要想辦法杜絕各種隱私資料的洩漏。下面陳某帶大家從以下三個方面講解一下隱私資料如何脫敏,也是日常開發中需要注意的:

配置檔案資料脫敏

介面返回資料脫敏

日誌檔案資料脫敏

文章目錄如下:

Springboot 日誌、配置檔案、介面資料如何脫敏?

二、配置檔案如何脫敏?

經常會遇到這樣一種情況:專案的配置檔案中總有一些敏感資訊,比如資料來源的url、使用者名稱、密碼。。。。這些資訊一旦被暴露那麼整個資料庫都將會被洩漏,那麼如何將這些配置隱藏呢?

以前都是手動將加密之後的配置寫入到配置檔案中,提取的時候再手動解密,當然這是一種思路,也能解決問題,但是每次都要手動加密、解密不覺得麻煩嗎?

Springboot 日誌、配置檔案、介面資料如何脫敏?

今天介紹一種方案,讓你在無感知的情況下實現配置檔案的加密、解密。利用一款開源外掛:

jasypt-spring-boot

。專案地址如下:

https://github。com/ulisesbocchio/jasypt-spring-boot

使用方法很簡單,整合Spring Boot 只需要新增一個

starter

1。 新增依賴

com。github。ulisesbocchio jasypt-spring-boot-starter 3。0。3

2。 配置秘鑰

在配置檔案中新增一個加密的秘鑰(任意),如下:

jasypt: encryptor: password: Y6M9fAJQdU7jNp5MW

當然將秘鑰直接放在配置檔案中也是不安全的,我們可以在專案啟動的時候配置秘鑰,命令如下:

java -jar xxx。jar -Djasypt。encryptor。password=Y6M9fAJQdU7jNp5MW

3。 生成加密後的資料

這一步驟是將配置明文進行加密,程式碼如下:

@SpringBootTest @RunWith(SpringRunner。class) public class SpringbootJasyptApplicationTests { /** * 注入加密方法 */ @Autowired private StringEncryptor encryptor; /** * 手動生成密文,此處演示了url,user,password */ @Test public void encrypt() { String url = encryptor。encrypt(“jdbc\\:mysql\\://127。0。0。1\\:3306/test?useUnicode\\=true&characterEncoding\\=UTF-8&zeroDateTimeBehavior\\=convertToNull&useSSL\\=false&allowMultiQueries\\=true&serverTimezone=Asia/Shanghai”); String name = encryptor。encrypt(“root”); String password = encryptor。encrypt(“123456”); System。out。println(“database url: ” + url); System。out。println(“database name: ” + name); System。out。println(“database password: ” + password); Assert。assertTrue(url。length() > 0); Assert。assertTrue(name。length() > 0); Assert。assertTrue(password。length() > 0); } }

上述程式碼對資料來源的url、user、password進行了明文加密,輸出的結果如下:

database url: szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA= database name: L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm database password: EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ

4。 將加密後的密文寫入配置

jasypt

預設使用

ENC()

包裹,此時的資料來源配置如下:

spring: datasource: # 資料來源基本配置 username: ENC(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm) password: ENC(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ) driver-class-name: com。mysql。jdbc。Driver url: ENC(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=) type: com。alibaba。druid。pool。DruidDataSource

上述配置是使用預設的

prefix=ENC(

suffix=)

,當然我們可以根據自己的要求更改,只需要在配置檔案中更改即可,如下:

jasypt: encryptor: ## 指定字首、字尾 property: prefix: ‘PASS(’ suffix: ‘)’

那麼此時的配置就必須使用

PASS()

包裹才會被解密,如下:

spring: datasource: # 資料來源基本配置 username: PASS(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm) password: PASS(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ) driver-class-name: com。mysql。jdbc。Driver url: PASS(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=) type: com。alibaba。druid。pool。DruidDataSource

5。 總結

jasypt還有許多高階用法,比如可以自己配置加密演算法,具體的操作可以參考Github上的文件。

三、介面返回資料如何脫敏?

通常介面返回值中的一些敏感資料也是要脫敏的,比如身份證號、手機號碼、地址。。。。。通常的手段就是用

*

隱藏一部分資料,當然也可以根據自己需求定製。

言歸正傳,如何優雅的實現呢?有兩種實現方案,如下:

整合Mybatis外掛,在查詢的時候針對特定的欄位進行脫敏

整合Jackson,在序列化階段對特定欄位進行脫敏

基於

Sharding Sphere

實現資料脫敏,檢視之前的文章:

基於Sharding Sphere實現資料“一鍵脫敏”

第一種方案網上很多實現方式,下面演示第二種,整合Jackson。

1。 自定義一個Jackson註解

需要自定義一個脫敏註解,一旦有屬性被標註,則進行對應得脫敏,如下:

/** * 自定義jackson註解,標註在屬性上 */ @Retention(RetentionPolicy。RUNTIME) @Target(ElementType。FIELD) @JacksonAnnotationsInside @JsonSerialize(using = SensitiveJsonSerializer。class) public @interface Sensitive { //脫敏策略 SensitiveStrategy strategy(); }

2。 定製脫敏策略

針對專案需求,定製不同欄位的脫敏規則,比如手機號中間幾位用

*

替代,如下:

/** * 脫敏策略,列舉類,針對不同的資料定製特定的策略 */ public enum SensitiveStrategy { /** * 使用者名稱 */ USERNAME(s -> s。replaceAll(“(\\S)\\S(\\S*)”, “$1*$2”)), /** * 身份證 */ ID_CARD(s -> s。replaceAll(“(\\d{4})\\d{10}(\\w{4})”, “$1****$2”)), /** * 手機號 */ PHONE(s -> s。replaceAll(“(\\d{3})\\d{4}(\\d{4})”, “$1****$2”)), /** * 地址 */ ADDRESS(s -> s。replaceAll(“(\\S{3})\\S{2}(\\S*)\\S{2}”, “$1****$2****”)); private final Function desensitizer; SensitiveStrategy(Function desensitizer) { this。desensitizer = desensitizer; } public Function desensitizer() { return desensitizer; } }

以上只是提供了部分,具體根據自己專案要求進行配置。

3。 定製JSON序列化實現

下面將是重要實現,對標註註解

@Sensitive

的欄位進行脫敏,實現如下:

/** * 序列化註解自定義實現 * JsonSerializer:指定String 型別,serialize()方法用於將修改後的資料載入 */ public class SensitiveJsonSerializer extends JsonSerializer implements ContextualSerializer { private SensitiveStrategy strategy; @Override public void serialize(String value, JsonGenerator gen, SerializerProvider serializers) throws IOException { gen。writeString(strategy。desensitizer()。apply(value)); } /** * 獲取屬性上的註解屬性 */ @Override public JsonSerializer<?> createContextual(SerializerProvider prov, BeanProperty property) throws JsonMappingException { Sensitive annotation = property。getAnnotation(Sensitive。class); if (Objects。nonNull(annotation)&&Objects。equals(String。class, property。getType()。getRawClass())) { this。strategy = annotation。strategy(); return this; } return prov。findValueSerializer(property。getType(), property); } }

4。 定義Person類,對其資料脫敏

使用註解

@Sensitive

註解進行資料脫敏,程式碼如下:

@Data public class Person { /** * 真實姓名 */ @Sensitive(strategy = SensitiveStrategy。USERNAME) private String realName; /** * 地址 */ @Sensitive(strategy = SensitiveStrategy。ADDRESS) private String address; /** * 電話號碼 */ @Sensitive(strategy = SensitiveStrategy。PHONE) private String phoneNumber; /** * 身份證號碼 */ @Sensitive(strategy = SensitiveStrategy。ID_CARD) private String idCard; }

5。 模擬介面測試

以上4個步驟完成了資料脫敏的Jackson註解,下面寫個controller進行測試,程式碼如下:

@RestController public class TestController { @GetMapping(“/test”) public Person test(){ Person user = new Person(); user。setRealName(“不才陳某”); user。setPhoneNumber(“19796328206”); user。setAddress(“浙江省杭州市溫州市。。。。”); user。setIdCard(“4333333333334334333”); return user; } }

呼叫介面檢視資料有沒有正常脫敏,結果如下:

{ “realName”: “不*陳某”, “address”: “浙江省****市溫州市。。****”, “phoneNumber”: “197****8206”, “idCard”: “4333****34333” }

6。 總結

資料脫敏有很多種實現方式,關鍵是哪種更加適合,哪種更加優雅。。。。。

四、日誌檔案如何資料脫敏?

上面講了配置檔案、介面返回值的資料脫敏,現在總該輪到日誌脫敏了。專案中總避免不了列印日誌,肯定會涉及到一些敏感資料被明文打印出來,那麼此時就需要過濾掉這些敏感資料(身份證、號碼、使用者名稱。。。。。)。

關於Spring Boot 日誌方面的問題有不理解的可以看我之前的文章:

Spring Boot第三彈,一文帶你搞懂日誌如何配置?

Spring Boot第二彈,配置檔案怎麼造?

下面以

log4j2

這款日誌為例講解一下日誌如何脫敏,其他日誌框架大致思路一樣。

1。 新增log4j2日誌依賴

Spring Boot 預設日誌框架是logback,但是我們可以切換到log4j2,依賴如下:

org。springframework。boot spring-boot-starter-web <!—— 去掉springboot預設配置 ——> org。springframework。boot spring-boot-starter-logging <!——使用log4j2替換 LogBack——> org。springframework。boot spring-boot-starter-log4j2

2。 在/resource目錄下新建log4j2。xml配置

log4j2的日誌配置很簡單,只需要在

/resource

資料夾下新建一個

log4j2。xml

配置檔案,內容如下圖:

Springboot 日誌、配置檔案、介面資料如何脫敏?

Springboot 日誌、配置檔案、介面資料如何脫敏?

關於每個節點如何配置,含義是什麼,在我上面的兩篇文章中有詳細的介紹。

上圖的配置並沒有實現資料脫敏,這是普通的配置,使用的是

PatternLayout

3。 自定義PatternLayout實現資料脫敏

步驟

2中的配置使用的是

PatternLayout

實現日誌的格式,那麼我們也可以自定義一個PatternLayout來實現日誌的過濾脫敏。

PatternLayout的類圖繼承關係如下:

Springboot 日誌、配置檔案、介面資料如何脫敏?

從上圖中可以清楚的看出來,PatternLayout繼承了一個抽象類

AbstractStringLayout

,因此想要自定義只需要繼承這個抽象類即可。

1、建立CustomPatternLayout,繼承抽象類AbstractStringLayout

程式碼如下:

/** * log4j2 脫敏外掛 * 繼承AbstractStringLayout **/ @Plugin(name = “CustomPatternLayout”, category = Node。CATEGORY, elementType = Layout。ELEMENT_TYPE, printObject = true) public class CustomPatternLayout extends AbstractStringLayout { public final static Logger logger = LoggerFactory。getLogger(CustomPatternLayout。class); private PatternLayout patternLayout; protected CustomPatternLayout(Charset charset, String pattern) { super(charset); patternLayout = PatternLayout。newBuilder()。withPattern(pattern)。build(); initRule(); } /** * 要匹配的正則表示式map */ private static Map REG_PATTERN_MAP = new HashMap<>(); private static Map KEY_REG_MAP = new HashMap<>(); private void initRule() { try { if (MapUtils。isEmpty(Log4j2Rule。regularMap)) { return; } Log4j2Rule。regularMap。forEach((a, b) -> { if (StringUtils。isNotBlank(a)) { Map collect = Arrays。stream(a。split(“,”))。collect(Collectors。toMap(c -> c, w -> b, (key1, key2) -> key1)); KEY_REG_MAP。putAll(collect); } Pattern compile = Pattern。compile(b); REG_PATTERN_MAP。put(b, compile); }); } catch (Exception e) { logger。info(“>>>>>> 初始化日誌脫敏規則失敗 ERROR:{}”, e); } } /** * 處理日誌資訊,進行脫敏 * 1。判斷配置檔案中是否已經配置需要脫敏欄位 * 2。判斷內容是否有需要脫敏的敏感資訊 * 2。1 沒有需要脫敏資訊直接返回 * 2。2 處理: 身份證 ,姓名,手機號敏感資訊 */ public String hideMarkLog(String logStr) { try { //1。判斷配置檔案中是否已經配置需要脫敏欄位 if (StringUtils。isBlank(logStr) || MapUtils。isEmpty(KEY_REG_MAP) || MapUtils。isEmpty(REG_PATTERN_MAP)) { return logStr; } //2。判斷內容是否有需要脫敏的敏感資訊 Set charKeys = KEY_REG_MAP。keySet(); for (String key : charKeys) { if (logStr。contains(key)) { String regExp = KEY_REG_MAP。get(key); logStr = matchingAndEncrypt(logStr, regExp, key); } } return logStr; } catch (Exception e) { logger。info(“>>>>>>>>> 脫敏處理異常 ERROR:{}”, e); //如果丟擲異常為了不影響流程,直接返回原資訊 return logStr; } } /** * 正則匹配對應的物件。 * * @param msg * @param regExp * @return */ private static String matchingAndEncrypt(String msg, String regExp, String key) { Pattern pattern = REG_PATTERN_MAP。get(regExp); if (pattern == null) { logger。info(“>>> logger 沒有匹配到對應的正則表示式 ”); return msg; } Matcher matcher = pattern。matcher(msg); int length = key。length() + 5; boolean contains = Log4j2Rule。USER_NAME_STR。contains(key); String hiddenStr = “”; while (matcher。find()) { String originStr = matcher。group(); if (contains) { // 計算關鍵詞和需要脫敏詞的距離小於5。 int i = msg。indexOf(originStr); if (i < 0) { continue; } int span = i - length; int startIndex = span >= 0 ? span : 0; String substring = msg。substring(startIndex, i); if (StringUtils。isBlank(substring) || !substring。contains(key)) { continue; } hiddenStr = hideMarkStr(originStr); msg = msg。replace(originStr, hiddenStr); } else { hiddenStr = hideMarkStr(originStr); msg = msg。replace(originStr, hiddenStr); } } return msg; } /** * 標記敏感文字規則 * * @param needHideMark * @return */ private static String hideMarkStr(String needHideMark) { if (StringUtils。isBlank(needHideMark)) { return “”; } int startSize = 0, endSize = 0, mark = 0, length = needHideMark。length(); StringBuffer hideRegBuffer = new StringBuffer(“(\\S{”); StringBuffer replaceSb = new StringBuffer(“$1”); if (length > 4) { int i = length / 3; startSize = i; endSize = i; } else { startSize = 1; endSize = 0; } mark = length - startSize - endSize; for (int i = 0; i < mark; i++) { replaceSb。append(“*”); } hideRegBuffer。append(startSize)。append(“})\\S*(\\S{”)。append(endSize)。append(“})”); replaceSb。append(“$2”); needHideMark = needHideMark。replaceAll(hideRegBuffer。toString(), replaceSb。toString()); return needHideMark; } /** * 建立外掛 */ @PluginFactory public static Layout createLayout(@PluginAttribute(value = “pattern”) final String pattern, @PluginAttribute(value = “charset”) final Charset charset) { return new CustomPatternLayout(charset, pattern); } @Override public String toSerializable(LogEvent event) { return hideMarkLog(patternLayout。toSerializable(event)); } }

關於其中的一些細節,比如

@Plugin

@PluginFactory

這兩個註解什麼意思?log4j2如何實現自定義一個外掛,這裡不再詳細介紹,不是本文重點,有興趣的可以檢視

log4j2

的官方文件。

2、自定義自己的脫敏規則

上述程式碼中的

Log4j2Rule

則是脫敏規則靜態類,我這裡是直接放在了靜態類中配置,實際專案中可以設定到配置檔案中,程式碼如下:

/** * 現在攔截加密的日誌有三類: * 1,身份證 * 2,姓名 * 3,身份證號 * 加密的規則後續可以最佳化在配置檔案中 **/ public class Log4j2Rule { /** * 正則匹配 關鍵詞 類別 */ public static Map regularMap = new HashMap<>(); /** * TODO 可配置 * 此項可以後期放在配置項中 */ public static final String USER_NAME_STR = “Name,name,聯絡人,姓名”; public static final String USER_IDCARD_STR = “empCard,idCard,身份證,證件號”; public static final String USER_PHONE_STR = “mobile,Phone,phone,電話,手機”; /** * 正則匹配,自己根據業務要求自定義 */ private static String IDCARD_REGEXP = “(\\d{17}[0-9Xx]|\\d{14}[0-9Xx])”; private static String USERNAME_REGEXP = “[\\u4e00-\\u9fa5]{2,4}”; private static String PHONE_REGEXP = “(?<!\\d)(?:(?:1[3456789]\\d{9})|(?:861[356789]\\d{9}))(?!\\d)”; static { regularMap。put(USER_NAME_STR, USERNAME_REGEXP); regularMap。put(USER_IDCARD_STR, IDCARD_REGEXP); regularMap。put(USER_PHONE_STR, PHONE_REGEXP); } }

經過上述兩個步驟,自定義的

PatternLayout

已經完成,下面將是改寫

log4j2。xml

這個配置檔案了。

4。 修改log4j2。xml配置檔案

其實這裡修改很簡單,原配置檔案是直接使用

PatternLayout

進行日誌格式化的,那麼只需要將預設的

這個節點替換成

,如下圖:

Springboot 日誌、配置檔案、介面資料如何脫敏?

直接全域性替換掉即可,至此,這個配置檔案就修改完成了。

5。 演示效果

步驟3

這邊自定義了脫敏規則靜態類

Log4j2Rule

,其中定義了姓名、身份證、號碼這三個脫敏規則,如下:

Springboot 日誌、配置檔案、介面資料如何脫敏?

下面就來演示這三個規則能否正確脫敏,直接使用日誌列印,程式碼如下:

@Test public void test3(){ log。debug(“身份證:{},姓名:{},電話:{}”,“320829112334566767”,“不才陳某”,“19896327106”); }

控制檯列印的日誌如下:

身份證:320829******566767,姓名:不***,電話:198*****106

哦豁,成功了,so easy!!!

6。 總結

日誌脫敏的方案很多,陳某也只是介紹一種常用的,有興趣的可以研究一下。

五、總結

本篇文章從三個維度介紹了隱私資料的脫敏實現方案,碼字不易,趕緊點贊收藏吧!!

Top